Как Мегамаркет внедрял ИИ для отсечения отзывов нейросетей и ботов

Мегамаркет внедрил фильтрацию отзывов от ботов и нейросетей. В компании обещают, что модель позволит практически свести к нулю отзывы, написанные ботами и нейросетями. 

Задачи, которые стояли перед компанией

Согласно собственным данным, 87% людей принимают решение о выборе товара на маркетплейсе с помощью отзывов, отмечает руководитель отдела контент-маркетинга Мегамаркета Артем Герасимович. При этом, вместе с ростом популярности и доступности чат-ботов с генеративным искусственным интеллектом появляются новые вызовы для онлайн площадок. 

Выявлять AI-отзывы без дополнительных технологий стало проблематично, при этом они бесполезны для покупателей, хотя дополнительно влияют на рейтинг и конверсию продавцов. Поэтому Мегамаркету понадобился новый алгоритм, чтобы минимизировать количество фейковых комментариев и улучшить пользовательский опыт.

Новая технология позволяет фильтровать отзывы (как позитивные, так и негативные) без конкретных деталей, которые можно разместить под любым товаром. При этом модель обучена так, что вероятность принять комментарий реального пользователя за AI-текст минимальна.

Плюсы технологии

·         Пользователи могут не сомневаться, что читают отзывы от покупателей: алгоритм не пропускает AI-комментарии и удаляет те, которые были написаны ранее.

·         Селлеры смогут назначать повышенные бонусы за отзывы и быть уверенными, что их напишут осознанно, без применения нейросетей. Такой подход позволит быстрее наполнить карточки товаров качественными отзывами, повысить конверсию и получить качественную обратную связь, которая поможет доработать продукт и другие процессы.

Как проходила работа над алгоритмом

Для создания модели Мегамаркет проанализировал жалобы продавцов на комментарии от ботов и выделил паттерны AI-контента. Также ИТ-специалисты совместно со специалистами по пользовательскому контенту рассмотрели отзывы с большим количеством лайков и дизлайков. После этого в компании усовершенствовали существующий каскад текстовых моделей, обучив его на сотнях тысяч решений "живых" модераторов, которые проверяли комментарии на соответствие правилам Мегамаркета: удаляли нецензурные выражения, оскорбления и комментарии, не относящиеся к товару или продавцу.

Результатом работы стал датасет, на котором обучили модель детекции AI-отзывов. Сейчас каждый текст отзыва на Мегамаркете оценивает несколько моделей. В зависимости от предварительной оценки, он отправляется на дополнительную проверку к людям или публикуется на сайте", - поясняет менеджер продукта карточки товара Мегамаркета Даниил Болдин.

В результате внедрения новой технологии были выявлены и удалены отзывы, оставленные с 2020 года по настоящее время, сгенерированные с применением AI-технологий. В планах у маркетплейса — итерационно улучшать качество работы модели.