Как настроить мониторинг цен, если у товаров нет стандартных артикулов и маркировок

Игорь Бахарев

Многие ритейлеры понимают, насколько важно мониторить цены конкурентов — терять прибыль или клиентов никому не хочется. Но не всем удается внедрить такой мониторинг без головной боли и пробуксовок. И часто это случается на этапе матчинга — сопоставления товаров компании с аналогичными позициями у конкурентов. О технологиях для решения этой проблемы рассказывает Генрих Гогин, специалист техподдержки сервиса мониторинга цен Priceva. 

Нестандартная маркировка товара? Не все потеряно! 

Чтобы вести мониторинг конкурентов в интернете — цен, ассортимента, наличия, скидок, — необходимо по каждой собственной товарной позиции подобрать ссылки на аналогичные предложения соперников по рынку. Если у товара имеется четкий артикул или стандартное описание, проблем не возникает. Компания может сама сделать такое сопоставление или заказать матчинг сервису мониторинга.

Но случается, что в той или иной отрасли нет общепринятых, регламентированных артикулов или стандартной маркировки: название и характеристики одного и того же товара у разных продавцов могут быть написаны по-разному. И тогда эти особенности становятся камнем преткновения при мониторинге конкурентов в интернете. Сотрудникам компаний приходится искать, анализировать и сопоставлять описания товаров вручную, теряя качество данных, неэффективно тратя время, ресурсы и собственные нервы. 

Глеб Козлов, маркетолог ООО «СпецЭнергоСистемы»: В нашей отрасли — электротехнической и кабельно-проводниковой продукции — отсутствуют артикулы как таковые. Это значит, что у разных производителей и поставщиков марка одного и того же товара может быть написана как угодно. 

Например, один артикул кабеля может иметь до 16 вариантов написания. Даже у одного поставщика один и тот же кабель может быть обозначен по-разному в зависимости от производителя. А у одного и того же производителя — в зависимости от даты выпуска партии. Как быть, если в каталоге таких товаров более 3000 и каждый день добавляются новые?

Не позавидуешь тем, кто должен вручную подбирать ссылки вот на такие позиции с «плавающими» маркировками и рядом параметров, необязательных к указанию: 

Глеб Козлов: Я искал подрядчика на эту задачу около двух лет — с 2015 года. Варианты решений были разными. Сначала мы обратились к программистам, чтобы получить собственную систему сбора данных, — озадачили свою IT-службу, искали сторонних разработчиков. Но все сотрудники, заинтересованные в мониторинге, в один голос заявляли: хотим работать не просто с парсером, а с уже структурированными данными. 

Потом стали обращаться в компании, которые специализируются на сборе данных. Нас ждал шок: 80 % потенциальных исполнителей отказывались сразу, а остальные 10 % — на этапе брифа, когда видели варианты маркировок кабеля. Немногие оставшиеся, кто обещал создать индивидуальное решение, отказывались сотрудничать на этапе матчинга.

Надо ли говорить, что менеджеры «СпецЭнергоСистем» после двухлетнего поиска решения своей проблемы хватались за любой шанс. Таким шансом стал автоматический матчинг по параметрам — задача непростая, но результаты эта технология показала уже через 45 дней после старта проекта.

Автоматический матчинг по параметрам: как это работает

Матчинг по параметрам основан на скрупулезном сборе и обработке характеристик товара, определяющих его как уникальную единицу. Именно к нему прибегают в ситуации, когда нужно сопоставить сотни или тысячи товаров со сложным артикулом или нестандартизированной кодировкой.

Автоматический матчинг спасает, если товаров для сопоставления сотни и тысячи. При таком способе система скачивает нужные блоки информации или веб-страницы целиком, автоматически находя идентичные товары. Процесс занимает считаные часы и может повторяться по заданному расписанию, чтобы поддерживать актуальность базы для мониторинга. 

Сопоставление по параметрам — один из способов автоматического матчинга, «тяжелая артиллерия», случай, когда машинный разум все-таки уступает человеческому, но действуют они в симбиозе.

На примере кабельной продукции покажем, как работает это решение, — все 5 этапов. 

Этап 1. Сбор первичных данных

На старте проекта мы получаем от заказчика:

  • файл с перечнем товаров и их характеристиками;

  • перечень конкурентов (ссылки на сайты), на которых будем искать аналогичные товарные позиции.

Прежде всего проводим предварительный анализ исходных данных — достаточно ли их для работы, запрашиваем по необходимости дополнительную информацию. В этой работе заказчик принимает непосредственное участие — именно он может предоставить нужные сведения, а заодно видит, насколько они пригодны для сопоставления.

Далее собираем с сайтов конкурентов и загружаем в систему все данные по интересующей категории товара. Первоначально это неструктурированный поток информации (в нашем случае — о кабелях), где перемешаны типы, бренды и параметры. 

Составляющие маркировки могут быть представлены в разном порядке, в разном написании — латинском/кириллическом, в разном сочетании цифровой и буквенной информации. 

Например, кабель ВВГ-Пнг(А)-LS:

Буквы ВВГ здесь означают марку, все остальное — особенности конструкции. Буква П (означает плоскую форму проводника) может находиться в любом месте маркировки: ВВГ-Пнг(А)-LS, ВВГп-нг(А)-LS, ВВГ-нгп-LS и ВВГ-нг(А)-LSП — итого 4 варианта для обозначения одного и того же товара.

Буква А означает класс нераспространения горения и не обязательна к указанию. Более того, она должна быть латинской, но в маркировках часто пишут кириллическую: для человека разницы нет, но эта вроде бы мелочь сбивает с толку алгоритм сопоставления. Число вариантов написания удваивается — 8. 

Буквы LS (пониженное дымовыделение при горении) могут быть написаны с дефисом или без. 

Также у любого кабеля есть тип, есть количество жил (многопроволочная — МЖ, однопроволочная — ОЖ), есть сечение кабеля, присутствие нулевой жилы и жилы заземления — место расположения этих параметров в маркировке если и регламентировано, то далеко не всегда соблюдается. 

Собираем и загружаем в систему максимальное количество параметров. Конечно, чем больше характеристик, тем сложнее классифицировать данные. С другой стороны, чем больше информации, тем выше точность матчинга в итоге. 

Этап 2. Анализ данных

Теперь из всего массива данных необходимо выделить основные параметры. Каждый параметр вручную, но всего один раз заводим в систему матчинга, «причесываем» данные так, чтобы их можно было сопоставлять и находить среди тысяч комбинаций те, которые обозначают один товар.

Для этого определяем, какие существуют классификации товара.



Например, устанавливаем в системе тип товаров: в нашем случае фиксируем, что весь товар по загруженным параметрам — это силовой кабель (на каком-то сайте может использоваться слово «провод», тогда отмечаем в системе, что это тот же тип товара).

Далее определяем бренд, например, «Электрокабель», «КамКабель», TITANEX, Aristoncavi и т. д. 

Формируем «дерево параметров» — основные характеристики для каждого типа и бренда. В финале их должно остаться как можно меньше.

Этап 3. Нормализация

Структурируем собранные характеристики товара по правилам — наборам основных параметров, которые сформировали на предыдущем этапе. Это и есть процесс нормализации.

На сайте конкурента может присутствовать такой же набор параметров, но в другой последовательности или в другом месте страницы — система будет выявлять и учитывать ключевые характеристики, в каком виде и где бы они ни находились.

Например, в проекте с кабельно-проводниковой продукцией мы насчитали 16 различных параметров, определяющих каждый кабель. Но после проверки только 5 из них оказались ключевыми — без них товар не определялся, т. е. не сопоставлялся с другим. 

Главное, чтобы эти ключевые параметры были, а где — неважно: в названии, описании, технических характеристиках. А иногда какая-то характеристика не подходит ни в одно поле. Тогда обращаемся к вспомогательным данным, чтобы выявить закономерность.

Например, в кабельной продукции ключевой параметр — тип кабеля. Он обозначается буквами и цифрами, например: СИП2А, СИП3, СВШ.

Но есть и вспомогательные данные: сечение кабеля обозначается целым числом, номинальное сечение жилы — тоже. Чтобы не путать их, смотрим, где они располагаются в названии, и ищем закономерность. Например, номинальное сечение жилы указывается в миллиметрах: если рядом с цифрами видим «мм», значит эта часть названия соответствует сечению. 

Если стоит дробное число — это другой параметр, если слеш рядом — третий. Всегда есть закономерность, которую можно обнаружить и после улучшить нормализацию для матчинга. Все выявленные закономерности фиксируем.

Этап 4. Матчинг

Итак, имеем описание необходимых для матчинга товаров, сделанное по заданной структуре. Далее система сопоставляет их и ищет совпадения. 

По сути, матчинг — это сравнение ключевых параметров, которые должны быть одинаковыми. И если в другом товаре набор параметров совпадает с заданным, он определится как идентичный нашему.

Например, марка нашего кабеля ВВГ — и на сайте конкурентов ВВГ, номинальное сечение жилы 3 мм — и другого 3 мм, сечение кабеля там и там 100. Это ключевые параметры, и они совпали. Фиксируем совпадение в системе матчинга. Если хоть один ключевой параметр будет отличаться, то сопоставления товара не произойдет.

Если копнуть глубже, для каждого параметра можно задать свой вес и допустимый процент погрешности. Это делает автоматический матчинг очень гибким инструментом. Но работа эта трудоемкая и даже пугающая: набор букв и цифр выглядит на первый взгляд полной абракадаброй, а задача кажется нерешаемой (поэтому подрядчики и отказывались от проекта «СпецЭлектроСистем»). Чтобы нормализовать данные, необходимо понимать продукт на уровне заказчика, а иногда и лучше.

Этап 5. Анализ первых результатов матчинга

После того как система автоматически сопоставила товары по заданным параметрам, проводим анализ результатов. Допустим, нужно было сматчить 5000 товаров с 3000 товаров конкурентов. В итоге совпало всего 300. Тогда необходимо выяснить, почему так мало данных сопоставилось — где ошиблись, что не учли? 

В процессе анализа мы можем добавлять в список ключевых параметров новые характеристики или корректировать текущие — смотрим, как они определяются. Приходится повторять описанные выше этапы снова и снова.

Сказать заранее, сколько итераций потребуется, нельзя: может быть, 5 или 10, а может, всего 2 — работаем до тех пор, пока клиента не удовлетворит результат.

Глеб Козлов: Когда менеджер сказал, что задача сложная, но выполнимая, скажу честно, — не поверил. Однако решил не упускать ни единой возможности, и, как в итоге выяснилось, не зря. На решение задачи, с которой не смогли или не захотели справиться ряд потенциальных подрядчиков и на которую было потрачено 2 года поисков, ушло чуть больше месяца: 31 октября 2017 мы передали первую информацию для сопоставления — и уже 21 декабря получили сообщение, что мониторинг настроен.

После того как составлены конфигурации параметров для матчинга, первые результаты проверены, система уже автоматически обрабатывает новые массивы данных. Добавив новые товары категории или новых конкурентов, уже не нужно проходить описанные выше этапы (могут потребоваться лишь точечные корректировки).

Сколько стоит матчинг по параметрам

Пока услуга автоматического матчинга не включена в стандартный пакет сервиса и предоставляется как дополнительная — у большей части ритейлеров все-таки в распоряжении есть четкие артикулы. Поэтому решение таких нестандартных задач мы рассматриваем как возможность накопить опыт, совершенствовать систему и процесс, «обкатать» их для целой ниши.

Соответственно, возможность реализации и стоимость каждого пилотного проекта согласовываем с заказчиком индивидуально перед стартом проекта, учитывая объем задач, особенности товаров, полноту исходных данных.

В итоге клиенты судят о цене и ценности по тем показателям, которые наблюдают после внедрения мониторинга. Конечно, это один из инструментов для бизнеса, и его вклад вливается в результаты других процессов, поэтому его бывает сложно выразить в цифрах. Тем не менее клиенты видят отдачу.

Глеб Козлов: До подключения сервиса из всего ассортимента на сайте было представлено лишь около 30 карточек, и цены на некоторых не обновлялись месяцами. Теперь, несмотря на сложности с сопоставлением товаров, в 2000 карточек на сайте отображаются актуальные рыночные цены.

Мониторинг цен помогает оперативно определить оптимальную для каждого конкретного контракта цену и сформировать выгодное и для клиента, и для компании коммерческое предложение на 2–3 дня быстрее, чем это делают конкуренты. 

Мониторинг цен позволяет держать цены на сайте «в рынке». Такой баланс помогает нам стабильно улучшать KPI: с октября 2017 по июль 2021 года средняя конверсия по сайту выросла с 1,49 до 2,72 %, а средняя конверсия КП в закрытие возросла за тот же период с 24,33 до 25,6 %. 

Что дальше

Сейчас мы разрабатываем автоматический матчинг для ниши автомобильных шин. Пилотный проект находится на стадии нормализации данных. Ожидаем, что он продлится 4 месяца — в финале будут собираться данные с 40 сайтов. Первые данные по 20 сайтам уже получены. 

Шины — не единственный интересный рынок для реализации технологии автоматического матчинга по параметрам. Те или иные проблемы с сопоставлением товаров могут возникнуть в любых отраслях. Но чаще всего сложности испытывают сферы зоотоваров, фармацевтики. Описанная технология способна решить проблемы матчинга и для этих отраслей — в ближайшей перспективе мы планируем проекты под эти рынки.

Материал по теме

Системы MDM в российских реалиях: чек лист и несколько рекомендаций

Материал по теме

Нейросети в продажах. Как ИИ решает задачи продавцов на маркетплейсах

Материал по теме

Как сделать прогноз эффективности трафика из соц. сетей на товарные карточки Ozon

Подписаться на новости

Актуальное сейчас

Системы MDM в российских реалиях: чек лист и несколько рекомендаций

Уход с российского рынка западных IT-гигантов обнажил острую проблему импортозамещения ПО в области управления данными. Сегодня бесперебойная работа бизнес-процессов и независимость от иностранных поставщико...

Росаккредитация проверила более 21 млн карточек на маркетплейсах

Росаккредитация на сегодняшний день проверила уже более 21 млн товаров на маркетплейсах. Проверка велась более чем на 20 крупнейших российских онлайн-площадках, включая Wildberries, OZON, Яндекс.Маркет и Ме...

Мэрия Москвы ужесточает контроль над курьерами

Московские власти вводят ряд мер, направленных на ужесточение контроля за деятельностью курьеров. Уже с 15 мая в столице заработает новая система контроля за курьерами. Для них вводится строгий дресс-код: закры...

СберМаркет и METRO запустили новый способ оплаты покупок

Онлайн-сервис доставки из магазинов и ресторанов СберМаркет представил способ покупок в офлайн-магазинах - ScanPay. По утверждению разработчиков, на российском рынке этот проект не имеет аналогов. Пилот был зап...

"Магнит" рассказала о ребрендинге "Магнит Маркет"

Сеть "Магнит" представила новую концепцию и визуальное оформление бренда "Магнит Маркет" - маркетплейса, который компания развивает на базе приобретенной онлайн-площадки KazanExpress. Также ритейлер приступает ...

Роспотребнадзор добился запрета "Леруа Мерлен" отменять интернет-заказы

Суд поддержал требования Роспотребнадзора по Красноярскому краю и обязал ООО "Леруа Мерлен Восток" прекратить отменять интернет-заказы покупателей в одностороннем порядке. Ранее в ведомство поступило...

Согласие на обработку персональных данных

×

Физическое лицо, оставляя заявку на веб-сайте e-pepper.ru через форму «Обсудим ваш проект» и форму подписки на e-mail рассылку, действуя свободно, своей волей и в своем интересе, а также подтверждая свою дееспособность, предоставляет свое согласие на обработку персональных данных (далее — Согласие) Обществу с ограниченной ответственностью «АЭРОКОМ» (ООО «АЭРОКОМ») (ИНН 9705136776, info@aeroidea.ru, +7(495)120-12-38, +7 968 900-23-45), которому принадлежит веб-сайт https://e-pepper.ru и которое зарегистрировано по адресу 111024, г. Москва, вн.тер.г.муниципальный округ Лефортово, ул. Авиамоторная, д.50, стр.2, этаж 2, помещ.XI, комната 25, офис А79, на обработку своих персональных данных со следующими условиями:

  1. Данное Согласие дается на обработку персональных данных, как без использования средств автоматизации, так и с их использованием.
  2. Согласие дается на обработку следующих моих персональных данных: персональные данные, не относящиеся к специальной категории персональных данных или к биометрическим персональным данным: адрес электронной почты (e-mail); имя; сведения о месте работы; номер мобильного телефона.
  3. Цель обработки персональных данных: обсуждение возможного проекта.
  4. В ходе обработки с персональными данными будут совершены следующие действия: сбор; запись; систематизация; накопление; хранение; уточнение (обновление, изменение); извлечение; использование; передача (предоставление, доступ); блокирование; удаление; уничтожение.
  5. Третьи лица, обрабатывающие персональные данные по поручению ООО "Аэроком” для указанной в согласии цели:
    • АО "АМОЦРМ", 21205, г. Москва, вн.тер.г. Муниципальный Округ Можайский, Тер Сколково Инновационного Центра, б-р Большой, д. 42 стр. 1
    • ООО "Яндекс", 119021, г. Москва, ул. Льва Толстого, д. 16
  6. Персональные данные обрабатываются в течение 30 дней с момента отказа в дальнейшем обсуждении проекта или с момента принятия решения о заключении договора на проект в соответствии с ч. 4 ст. 21 152-ФЗ, смотря что произойдет раньше.
  7. Согласие может быть отозвано вами или вашим представителем путем направления ООО "Аэроком” письменного заявления или электронного заявления, подписанного согласно законодательству Российской Федерации в области электронной подписи, по адресу, указанному в начале Согласия.
  8. В случае отзыва вами или вашим представителем Согласия ООО "Аэроком” вправе продолжить обработку персональных данных без него при наличии оснований, указанных в пунктах 2 — 11 части 1 статьи 6, части 2 статьи 10 и части 2 статьи 11 Федерального закона № 152-ФЗ «О персональных данных» от 27.07.2006 г.
  9. Настоящее согласие действует все время до момента прекращения обработки персональных данных, указанных в п. 6 и п. 7 Согласия.