Машинное обучение: какие ML-идеи сработали у «Нетологии», а какие провалились

Быстрое развитие искусственного интеллекта значительно повлияло на внутренние процессы многих компаний – для повышения эффективности бизнес начал активно внедрять инструменты на основе ИИ. Один из них – машинное обучение (ML). О том, какие ML-идеи были реализованы в образовательной платформе «Нетология» и почему некоторые из них провалились, порталу Biz360.ru рассказал руководитель отдела машинного обучения «Нетологии» Владимир Ли.

ML или машинное обучение – это подраздел науки об искусственном интеллекте, который помогает решать какие-либо прикладные задачи с помощью математических алгоритмов, кода и автоматизации. Важный момент: ML не заменяет человеческие способности, а лишь помогает оптимизировать рутинные процессы с помощью дата-инструментов. 

Среди основных направлений ML, которые у нас получилось сделать прикладными, можно выделить: 

• Обработка естественного языка (NLP) – позволяет автоматически анализировать большие объёмы текстовой информации. Это может быть полезно в таких областях, как маркетинг, анализ отзывов клиентов и автоматизация документооборота.
  
  

• Классификация различных объектов – используется для присвоения меток объектам, например, распределение обращений клиентов по темам, или детекция определённой темы в различных наборах данных.
  
  

• Рекомендательные системы – на основе анализа предпочтений пользователей компании могут предлагать товары и услуги, максимально соответствующие интересам клиентов. В нашем подразделении такие системы успешно применяются для персонализации клиентских предложений и повышения конверсии. 

Для успешного внедрения машинного обучения в бизнес важно учитывать несколько ключевых факторов. Первый и самый главный – наличие достаточного объёма данных. Если компания уже собирает аналитическую информацию о пользователях, имеет историю взаимодействия с продуктами и значительный месячный трафик (от 100 тысяч уникальных посетителей), можно смело рассматривать возможности внедрения машинного обучения. Если данных мало, то результат работы ML может быть неприемлемым для использования в реальных бизнес-сценариях, так как будет неточным или случайным. 

Помочь успешному внедрению машинного обучения могут также Low-code и No-code платформы. Всем известный ChatGPT – один из них. Такие платформы позволяют аналитикам и продакт-менеджерам без глубоких технических знаний начинать работу с инструментами ML. Современные технологии значительно снижают барьер, который препятствует изучению ИИ, что позволяет компании начать использовать машинное обучение и без специализированной команды. 

Если же вы понимаете, что у вашей компании есть достаточный объём данных для внедрения машинного обучения, но нет ресурсов для создания собственной команды дата-сайентистов, то одно из решений этой проблемы – привлечение фрилансера для тестирования и разработки ML-идей.

Применение машинного обучения в нашей компании можно разделить на следующие направления: 

Маркетинг и продажи 

ML-идеи, реализованные в этом направлении, в первую очередь служат для анализа поведения потенциальных клиентов. С помощью них мы можем предсказать не только вероятность заказа, так как модели с предсказанием повторной покупки у нас пока только в разработке, но и определить оптимальное время для предложения нового продукта. Мы оцениваем степень «горячести» лидов и определяем, какой аудитории следует уделить внимание в первую очередь. 

В направлении маркетинга и продаж мы также реализуем проект, который предоставляет потенциальным клиентам персонализированные рекомендации по курсам «Нетологии» на основе опросника. Ранее подобные коммуникации с аудиторией происходили напрямую через наших сотрудников. Теперь же пользователи получают предложения мгновенно, что повышает их удовлетворённость и экономит наше время. 

Поддержка пользователей 

• Классификатор заявок на возврат. Наш внутренний эксперимент показал: чем быстрее заявка с целью возврата попадает в обработку специально выделенной для этого группе экспертов, тем выше вероятность сохранить клиента. Поэтому мы внедрили ML-идею, которая отделяет такие заявки от других и автоматически перенаправляет их в группу экспертов по удержанию. Это решение помогает нам минимизировать отток пользователей.
  
  

• Conversational AI и NLP. Внедрение технологий NLP позволяет автоматически отвечать на наиболее частые вопросы клиентов, снижая нагрузку на службу поддержки. Сегодня система может самостоятельно помочь с решением 26 вопросов, у нас в планах расширить их до 50. Это значительно экономит время сотрудников и обеспечивает более быстрое обслуживание студента.
  
  

• Предсказание оттока пользователей. С помощью машинного обучения мы реализуем проект, который на основе поведения пользователей позволяет предсказать вероятность прекращения обучения пользователем на 30 дней вперёд. Это даёт компании время на проведение превентивных мер по удержанию клиента.
  
  

• AI-tutor. Мы планируем эксперимент по внедрению AI-tutor для поддержки студентов в обучении. Среди основных его задач – отвечать на вопросы по курсу, проверять знания и помогать в самостоятельном изучении материала. 

Несмотря на многочисленные успешные проекты по внедрению машинного обучения, мы сталкивались и с неудачными экспериментами. Вот несколько примеров ML-идей, которые не оправдали ожиданий: 

Оптимизация последовательности блоков лендинга

В одном из первых проектов мы сформулировали гипотезу о существовании «волшебной пилюли» в виде универсального формата лендинга, который привёл бы к увеличению заказов. Мы применили три различных ML-алгоритма, которые показали увеличение конверсии на этапе тестирования. Однако анализ показал увеличение конверсии в заказы, но при этом конверсия в покупку была ниже, чем в контрольной группе. Сразу после этого проект был закрыт.

Эксперимент с холодным трафиком 

Наша команда задалась вопросом: как догреть холодный трафик? Мы провели A/B-тестирование, в котором выявляли пользователей с нулевой или околонулевой вероятностью заказа и автоматически предлагали им промокод для удержания. Однако A/B-тест не показал значимого результата, поэтому эксперимент свернули и не стали масштабировать. 

Зарплатный индикатор, или зарплатный калькулятор 

Проект уже был запущен во внутреннее бета-тестирование и работал следующим образом: пользователь вводил данные о своей текущей должности, регионе, навыках и опыте работы (выбирал из параметров: менее года, 1-3 года, 3-6, 6 и более лет), а ML-модель предсказывала ему возможную зарплатную вилку. Основная цель – продемонстрировать клиентам, как обучение может повлиять на их доходы и привлечь их к покупке наших курсов. Однако проект был деприоритезирован продакт-менеджерами, так как были более приоритетные на тот момент задачи. 

Авто-дискриптор 

Наши редакторы вручную анализируют сотни описаний вакансий, чтобы выявить основные требования и запросы работодателей к кандидатам. Затем тренды используются при составлении программ и добавляются в описание на сайт, чтобы подчеркнуть релевантность наших курсов спросу на те или иные навыки. Мы решили сэкономить время редакторов и попытались использовать ML для составления описаний курсов и программ «Нетологии» на основе анализа текстов вакансий с рабочих сайтов. Стоит отметить, что в тот момент ChatGPT ещё не было, поэтому мы искали решение без него. 

Из платформы модель генерировала тексты, отражающие актуальные требования рынка труда: обязанности кандидатов, soft skills и hard skills, а также выводила количество упоминаний различных навыков. И редакторы могли создавать тексты для описания курсов уже на основе полученной информации, а не искать её вручную. Однако экономический эффект был маленьким – порядка 640 тысяч рублей в год – поэтому проект проигрывал на фоне остальных и его перестали применять в работе. 

Основная проблема провалившихся проектов заключалась в том, что их экономический эффект был трудно измерим и непрозрачен, либо невелик. Эти ML-идеи оказывали опосредованное влияние на бизнес-метрики. В отличие от успешных решений в области маркетинга и продаж, которые сразу же показывали рост выручки или конверсии, эффективность неудавшихся проектов не была очевидна. 

В некоторых случаях проекты закрылись из-за изменения приоритетов бизнеса или смены команд. Бывали случаи, когда ML-идея не приносила ценности и, как итог, потеряла поддержку и финансирование. 

Некоторые проекты оказались слишком сложными и трудоёмкими в реализации. При этом конечный результат был не очевиден и не гарантировал значимой выгоды. Впоследствии затраты на ресурсы и низкая эффективность привели к тому, что от проектов решили отказаться. 

• Ваша ML-идея имеет шансы на успех только в том случае, если чётко определены метрики, на которые она должна влиять. Без понимания того, как измерять результативность проекта, невозможно оценить эффект, прирост и улучшение от ML.
  
  

• Для успешного внедрения ML-проектов необходимо проводить эксперименты и A/B тестирования, которые покажут, действительно ли модель внесет полезный вклад в развитие компании. Однако перед этим этапом стоит проверить, позволяют ли ваши исходные данные и техническая подготовка команды начать разработку ML-идей. Важно своевременно оценить возможность реализации проекта с имеющимися ресурсами и данными, чтобы избежать бессмысленных затрат времени и усилий.
  
  

• Ещё один из главных «красных флагов», который может привести к провалу, – незаинтересованность заказчика. Если он не проявляет активного участия, медленно предоставляет необходимую информацию или переключает внимание на другие приоритеты, то это уже «тревожный звоночек», подсказывающий, что проект рискует оказаться заброшенным.
  
  

• Если же ваш ML-проект не удался, не останавливайтесь. После провала гипотезы проведите анализ, который поможет вам выявить основные причины неудачи. На основе этой информации станет ясно, стоит ли дорабатывать эту идею или же переходить к разработке следующей.

Чтобы не пропустить интересную для вас статью о малом бизнесе, подпишитесь на наш Telegram-канал, страницу в «ВКонтакте» и канал на «Яндекс.Дзен».
biz360