Как настроить мониторинг цен, если у товаров нет стандартных артикулов и маркировок

Многие ритейлеры понимают, насколько важно мониторить цены конкурентов — терять прибыль или клиентов никому не хочется. Но не всем удается внедрить такой мониторинг без головной боли и пробуксовок. И часто это случается на этапе матчинга — сопоставления товаров компании с аналогичными позициями у конкурентов. О технологиях для решения этой проблемы рассказывает Генрих Гогин, специалист техподдержки сервиса мониторинга цен Priceva. 

Нестандартная маркировка товара? Не все потеряно! 

Чтобы вести мониторинг конкурентов в интернете — цен, ассортимента, наличия, скидок, — необходимо по каждой собственной товарной позиции подобрать ссылки на аналогичные предложения соперников по рынку. Если у товара имеется четкий артикул или стандартное описание, проблем не возникает. Компания может сама сделать такое сопоставление или заказать матчинг сервису мониторинга.

Но случается, что в той или иной отрасли нет общепринятых, регламентированных артикулов или стандартной маркировки: название и характеристики одного и того же товара у разных продавцов могут быть написаны по-разному. И тогда эти особенности становятся камнем преткновения при мониторинге конкурентов в интернете. Сотрудникам компаний приходится искать, анализировать и сопоставлять описания товаров вручную, теряя качество данных, неэффективно тратя время, ресурсы и собственные нервы. 

Глеб Козлов, маркетолог ООО «СпецЭнергоСистемы»: В нашей отрасли — электротехнической и кабельно-проводниковой продукции — отсутствуют артикулы как таковые. Это значит, что у разных производителей и поставщиков марка одного и того же товара может быть написана как угодно. 

Например, один артикул кабеля может иметь до 16 вариантов написания. Даже у одного поставщика один и тот же кабель может быть обозначен по-разному в зависимости от производителя. А у одного и того же производителя — в зависимости от даты выпуска партии. Как быть, если в каталоге таких товаров более 3000 и каждый день добавляются новые?

Не позавидуешь тем, кто должен вручную подбирать ссылки вот на такие позиции с «плавающими» маркировками и рядом параметров, необязательных к указанию: 

Глеб Козлов: Я искал подрядчика на эту задачу около двух лет — с 2015 года. Варианты решений были разными. Сначала мы обратились к программистам, чтобы получить собственную систему сбора данных, — озадачили свою IT-службу, искали сторонних разработчиков. Но все сотрудники, заинтересованные в мониторинге, в один голос заявляли: хотим работать не просто с парсером, а с уже структурированными данными. 

Потом стали обращаться в компании, которые специализируются на сборе данных. Нас ждал шок: 80 % потенциальных исполнителей отказывались сразу, а остальные 10 % — на этапе брифа, когда видели варианты маркировок кабеля. Немногие оставшиеся, кто обещал создать индивидуальное решение, отказывались сотрудничать на этапе матчинга.

Надо ли говорить, что менеджеры «СпецЭнергоСистем» после двухлетнего поиска решения своей проблемы хватались за любой шанс. Таким шансом стал автоматический матчинг по параметрам — задача непростая, но результаты эта технология показала уже через 45 дней после старта проекта.

Автоматический матчинг по параметрам: как это работает

Матчинг по параметрам основан на скрупулезном сборе и обработке характеристик товара, определяющих его как уникальную единицу. Именно к нему прибегают в ситуации, когда нужно сопоставить сотни или тысячи товаров со сложным артикулом или нестандартизированной кодировкой.

Автоматический матчинг спасает, если товаров для сопоставления сотни и тысячи. При таком способе система скачивает нужные блоки информации или веб-страницы целиком, автоматически находя идентичные товары. Процесс занимает считаные часы и может повторяться по заданному расписанию, чтобы поддерживать актуальность базы для мониторинга. 

Сопоставление по параметрам — один из способов автоматического матчинга, «тяжелая артиллерия», случай, когда машинный разум все-таки уступает человеческому, но действуют они в симбиозе.

На примере кабельной продукции покажем, как работает это решение, — все 5 этапов. 

На старте проекта мы получаем от заказчика:

• файл с перечнем товаров и их характеристиками;

• перечень конкурентов (ссылки на сайты), на которых будем искать аналогичные товарные позиции.

Прежде всего проводим предварительный анализ исходных данных — достаточно ли их для работы, запрашиваем по необходимости дополнительную информацию. В этой работе заказчик принимает непосредственное участие — именно он может предоставить нужные сведения, а заодно видит, насколько они пригодны для сопоставления.

Далее собираем с сайтов конкурентов и загружаем в систему все данные по интересующей категории товара. Первоначально это неструктурированный поток информации (в нашем случае — о кабелях), где перемешаны типы, бренды и параметры. 

Составляющие маркировки могут быть представлены в разном порядке, в разном написании — латинском/кириллическом, в разном сочетании цифровой и буквенной информации. 

Например, кабель ВВГ-Пнг(А)-LS:

Буквы ВВГ здесь означают марку, все остальное — особенности конструкции. Буква П (означает плоскую форму проводника) может находиться в любом месте маркировки: ВВГ-Пнг(А)-LS, ВВГп-нг(А)-LS, ВВГ-нгп-LS и ВВГ-нг(А)-LSП — итого 4 варианта для обозначения одного и того же товара.

Буква А означает класс нераспространения горения и не обязательна к указанию. Более того, она должна быть латинской, но в маркировках часто пишут кириллическую: для человека разницы нет, но эта вроде бы мелочь сбивает с толку алгоритм сопоставления. Число вариантов написания удваивается — 8. 

Буквы LS (пониженное дымовыделение при горении) могут быть написаны с дефисом или без. 

Также у любого кабеля есть тип, есть количество жил (многопроволочная — МЖ, однопроволочная — ОЖ), есть сечение кабеля, присутствие нулевой жилы и жилы заземления — место расположения этих параметров в маркировке если и регламентировано, то далеко не всегда соблюдается. 

Собираем и загружаем в систему максимальное количество параметров. Конечно, чем больше характеристик, тем сложнее классифицировать данные. С другой стороны, чем больше информации, тем выше точность матчинга в итоге. 

Теперь из всего массива данных необходимо выделить основные параметры. Каждый параметр вручную, но всего один раз заводим в систему матчинга, «причесываем» данные так, чтобы их можно было сопоставлять и находить среди тысяч комбинаций те, которые обозначают один товар.

Для этого определяем, какие существуют классификации товара.

Например, устанавливаем в системе тип товаров: в нашем случае фиксируем, что весь товар по загруженным параметрам — это силовой кабель (на каком-то сайте может использоваться слово «провод», тогда отмечаем в системе, что это тот же тип товара).

Далее определяем бренд, например, «Электрокабель», «КамКабель», TITANEX, Aristoncavi и т. д. 

Формируем «дерево параметров» — основные характеристики для каждого типа и бренда. В финале их должно остаться как можно меньше.

Структурируем собранные характеристики товара по правилам — наборам основных параметров, которые сформировали на предыдущем этапе. Это и есть процесс нормализации.

На сайте конкурента может присутствовать такой же набор параметров, но в другой последовательности или в другом месте страницы — система будет выявлять и учитывать ключевые характеристики, в каком виде и где бы они ни находились.

Например, в проекте с кабельно-проводниковой продукцией мы насчитали 16 различных параметров, определяющих каждый кабель. Но после проверки только 5 из них оказались ключевыми — без них товар не определялся, т. е. не сопоставлялся с другим. 

Главное, чтобы эти ключевые параметры были, а где — неважно: в названии, описании, технических характеристиках. А иногда какая-то характеристика не подходит ни в одно поле. Тогда обращаемся к вспомогательным данным, чтобы выявить закономерность.

Например, в кабельной продукции ключевой параметр — тип кабеля. Он обозначается буквами и цифрами, например: СИП2А, СИП3, СВШ.

Но есть и вспомогательные данные: сечение кабеля обозначается целым числом, номинальное сечение жилы — тоже. Чтобы не путать их, смотрим, где они располагаются в названии, и ищем закономерность. Например, номинальное сечение жилы указывается в миллиметрах: если рядом с цифрами видим «мм», значит эта часть названия соответствует сечению. 

Если стоит дробное число — это другой параметр, если слеш рядом — третий. Всегда есть закономерность, которую можно обнаружить и после улучшить нормализацию для матчинга. Все выявленные закономерности фиксируем.

Итак, имеем описание необходимых для матчинга товаров, сделанное по заданной структуре. Далее система сопоставляет их и ищет совпадения. 

По сути, матчинг — это сравнение ключевых параметров, которые должны быть одинаковыми. И если в другом товаре набор параметров совпадает с заданным, он определится как идентичный нашему.

Например, марка нашего кабеля ВВГ — и на сайте конкурентов ВВГ, номинальное сечение жилы 3 мм — и другого 3 мм, сечение кабеля там и там 100. Это ключевые параметры, и они совпали. Фиксируем совпадение в системе матчинга. Если хоть один ключевой параметр будет отличаться, то сопоставления товара не произойдет.

Если копнуть глубже, для каждого параметра можно задать свой вес и допустимый процент погрешности. Это делает автоматический матчинг очень гибким инструментом. Но работа эта трудоемкая и даже пугающая: набор букв и цифр выглядит на первый взгляд полной абракадаброй, а задача кажется нерешаемой (поэтому подрядчики и отказывались от проекта «СпецЭлектроСистем»). Чтобы нормализовать данные, необходимо понимать продукт на уровне заказчика, а иногда и лучше.

После того как система автоматически сопоставила товары по заданным параметрам, проводим анализ результатов. Допустим, нужно было сматчить 5000 товаров с 3000 товаров конкурентов. В итоге совпало всего 300. Тогда необходимо выяснить, почему так мало данных сопоставилось — где ошиблись, что не учли? 

В процессе анализа мы можем добавлять в список ключевых параметров новые характеристики или корректировать текущие — смотрим, как они определяются. Приходится повторять описанные выше этапы снова и снова.

Сказать заранее, сколько итераций потребуется, нельзя: может быть, 5 или 10, а может, всего 2 — работаем до тех пор, пока клиента не удовлетворит результат.

Глеб Козлов: Когда менеджер сказал, что задача сложная, но выполнимая, скажу честно, — не поверил. Однако решил не упускать ни единой возможности, и, как в итоге выяснилось, не зря. На решение задачи, с которой не смогли или не захотели справиться ряд потенциальных подрядчиков и на которую было потрачено 2 года поисков, ушло чуть больше месяца: 31 октября 2017 мы передали первую информацию для сопоставления — и уже 21 декабря получили сообщение, что мониторинг настроен.

После того как составлены конфигурации параметров для матчинга, первые результаты проверены, система уже автоматически обрабатывает новые массивы данных. Добавив новые товары категории или новых конкурентов, уже не нужно проходить описанные выше этапы (могут потребоваться лишь точечные корректировки).

Сколько стоит матчинг по параметрам

Пока услуга автоматического матчинга не включена в стандартный пакет сервиса и предоставляется как дополнительная — у большей части ритейлеров все-таки в распоряжении есть четкие артикулы. Поэтому решение таких нестандартных задач мы рассматриваем как возможность накопить опыт, совершенствовать систему и процесс, «обкатать» их для целой ниши.

Соответственно, возможность реализации и стоимость каждого пилотного проекта согласовываем с заказчиком индивидуально перед стартом проекта, учитывая объем задач, особенности товаров, полноту исходных данных.

В итоге клиенты судят о цене и ценности по тем показателям, которые наблюдают после внедрения мониторинга. Конечно, это один из инструментов для бизнеса, и его вклад вливается в результаты других процессов, поэтому его бывает сложно выразить в цифрах. Тем не менее клиенты видят отдачу.

Глеб Козлов: До подключения сервиса из всего ассортимента на сайте было представлено лишь около 30 карточек, и цены на некоторых не обновлялись месяцами. Теперь, несмотря на сложности с сопоставлением товаров, в 2000 карточек на сайте отображаются актуальные рыночные цены.

Мониторинг цен помогает оперативно определить оптимальную для каждого конкретного контракта цену и сформировать выгодное и для клиента, и для компании коммерческое предложение на 2–3 дня быстрее, чем это делают конкуренты. 

Мониторинг цен позволяет держать цены на сайте «в рынке». Такой баланс помогает нам стабильно улучшать KPI: с октября 2017 по июль 2021 года средняя конверсия по сайту выросла с 1,49 до 2,72 %, а средняя конверсия КП в закрытие возросла за тот же период с 24,33 до 25,6 %. 

Что дальше

Сейчас мы разрабатываем автоматический матчинг для ниши автомобильных шин. Пилотный проект находится на стадии нормализации данных. Ожидаем, что он продлится 4 месяца — в финале будут собираться данные с 40 сайтов. Первые данные по 20 сайтам уже получены. 

Шины — не единственный интересный рынок для реализации технологии автоматического матчинга по параметрам. Те или иные проблемы с сопоставлением товаров могут возникнуть в любых отраслях. Но чаще всего сложности испытывают сферы зоотоваров, фармацевтики. Описанная технология способна решить проблемы матчинга и для этих отраслей — в ближайшей перспективе мы планируем проекты под эти рынки.