"Всевидящее око" в ритейле: кейс Х5 Group

Технологии самообслуживания во время пандемии стали важнейшими для развития торговли. Резко вырос запрос на бесконтактные покупки и оплату товаров, "умные" тележки, омниканальные системы. Фаворитами оказались торговые сети, которые уже имели разработки в отрасли видеоаналитики. Руководитель департамента инноваций Х5 Group Роман Тимаев рассказал о том, как его компания оказалась одним из технологических лидеров российского ритейла.

Первые эксперименты в отрасли видеоаналитики Х5 Group начала ещё в 2014 году. На сегодняшний день департамент инноваций рассматривает 27 различных сценариев, где, в теории, могут использоваться  видео-аналитические инструменты. Часть из них группа уже внедрила или уже протестировала, одобрила, но пока не запустила в работу по тем или иным причинам.

"Тестовыми полигонами" для новых технологий выступают как обычные магазины группы, так и экспериментальные "Пятёрочки #налету". На данный момент у X5 две таких точки, сильно отличающихся друг от друга. Первая была запущена в ЖК "Испанские кварталы" (Москва). Это был прототип, который продолжает работать и сейчас. А в прошлом году X5 открыла новый формат "Пятёрочки "на лету" на Ходынском бульваре. 

Вход в новый магазин, в отличие от прототипа, свободный. Для совершения покупок необходимо воспользоваться приложением «Пятёрочка #Налету» и зарегистрироваться с помощью Х5 ID. Точка работает по принципу «умного дома»: на основе архитектуры IoT (интернета вещей) за происходящим в зале наблюдают 15 камер, полки оснащены электронными ценниками, а на выходе стоят кассы самообслуживания. В среднем покупка в #Налету занимает около 3,5 минут, самая быстрая - 30 секунд. 

По словам Тимаева, новую концепцию тоже ещё придётся пилотировать, какие-то решения модернизировать, но она гораздо ближе к тому, что группа хотела бы видеть в массовом формате.

В магазинах используется большинство наработок компании, в чем-то они похожи на знаменитые Amazon Go, однако есть и важные отличия.

"В отличие от Amazon мы с самого начала поставили себе задачу сделать так, чтобы решение "магазина без кассиров" в будущем стало бы себя окупать. Для этого мы отказались от ряда технологий, которые показались нам слишком затратными. Важнейшую функцию в customer journey играет мобильное приложение клиента, на нём завязаны все основные моменты покупки товара", - говорит Тимаев.

По первым оценкам X5, видеоаналитика в десятки раз ускоряет контроль планограмм, сокращает на 10% количество людей, уходящих из магазина без покупок, и на 20% — потери магазинов.

Взаимодействие с покупателями в магазине

Мониторинг трафика в магазинах

Задача системы видеонаблюдения в данном случае - вычленять людей, входящих в магазин и отслеживать их перемещения по всему торговому залу, составляя "тепловые карты", с помощью которых будет понятно, где бывает больше всего покупателей, какие именно полки они выбирают, что им мешает пройти, а где они появляются редко. 

"Мы с помощью этой системы можем сформировать гипотезы о том, почему в данном конкретном месте не продаётся тот или иной товар, изменить выкладку или переставить стеллажи для того, чтобы увеличить продажи того или иного товара", - поясняет Тимаев. 

Данная система находится пока на стадии тестирования в "Перекрёстке". В "Пятёрочке #налету" она не пилотировалась, так как эти магазины слишком малы для того, чтобы создавать там "тепловые карты".

Сканирование штрихкодов товаров ("Экспресс-скан")

Система "Экспресс-скан" - важнейшее решение для самостоятельных покупок. Оно превращает приложение, которое установлено на смартфоне, в персональную кассу.  Технология позволила обеспечить полную поддержку процесса покупки — от сканирования штрихового кода и проведения оплаты, до отражения результатов в локальных системах магазинов, центральных системах и системах фискализации продаж.

Как это работает: Для начала работы необходимо скачать приложение Х5 «Экспресс-скан» и зарегистрироваться там с помощью X5ID, а также привязать банковскую карту для оплаты покупок. В магазине пользователь сканирует штрихкод товара, который хочет купить. Приложение направляет код сервису Goods, который знает все мастер-данные о товаре и ограничениях по его продаже — например, если речь идет об алкогольной продукции. Далее сервисы Price и микросервис промо-механик формируют конечные цены на товары, исходя из всех скидок и бонусов для каждого клиента. Оплатить товары можно на выходе из магазина в самом интерфейсе приложения. 

По оценке аналитиков X5, пользователь приложения в среднем тратит в магазине 5 минут, на три минуты меньше, чем стандартный посетитель. Чаще всего с помощью «Экспресс-скана» покупают молочную продукцию (17%), бакалею (15%), кондитерские изделия (13%), соки и воду (по 11%). 

"Мы начали тестировать эту технологию в сентябре 2020 года, когда на фоне неблагоприятной эпидемиологической обстановки покупатели испытывали острую необходимость в бесконтактных покупках. Однако пользователи продолжили ей пользоваться и в 2021 году, так как почувствовали, насколько удобна эта функция", - говорит Тимаев.

Основные сложности при реализации сервиса состояли в том, что система при покупке товара должна учитывать возможное участие клиента в программах лояльности различных магазинов сети. Именно для этого была внедрена платформа X5ID.

Контроль и прогнозирование очередей в магазинах

Система предотвращает ситуацию скопления людей в очереди. Она предсказывает, что кассиры не успеют справиться с потоком покупателей. Это снижает число брошенных тележек и репутационных потерь магазина. Это снижает недовольство покупателей, а, значит, NPS также растет.

Как это работает: Группа камер на входе в магазин и у кассовых аппаратов собирает данные о количестве покупателей. Данные передаются нейросети на обработку.

Математическая модель, в свою очередь, строит прогноз, на основе входящего трафика и данных по чекам с кассового узла. Прогноз строится на интервале 10 минут. Точность сейчас превышает 90% на уровне подсчета необходимого количества касс.

Получая данные со счетчиков в режиме реального времени, контролируя кол-во открытых касс и обладая историческими данными, нейронная сеть прогнозирует какое кол-во людей через 10 минут окажется в зоне обслуживания. Если мы понимаем, что даже, если они все равномерно распределятся по кассам, и в одной кассе будет более 3х человек, то она сама подключается к звуковому оповещению магазина, чтобы информировать кассиров о, что нужно открыть дополнительные кассы.

Биометрическая оплата

Одним из самых перспективных сервисов, внедряемых X5 в своих магазинах, является бесконтактная оплата товаров с помощью модуля Face ID. Инновационный департамент оснастил кассы самообслуживания специальными фронтальными камерами, с помощью которых можно распознавать лица покупателей. Камеры для биометрической оплаты были встроено с самого начала разработки касс - когда компания решила запустить “оплату взглядом”, техническое дооснащение не потребовалось.

Как это работает: Клиент при оплате непосредственно на кассе самообслуживания может выбрать опцию "Оплата одним взглядом". Тогда камера включается, фотографирует лицо покупателя и обращается за подтверждением личности в "Сбер", который выступает партнёром в этом проекте, отвечая за хранение и обработку биометрических данных. Биометрические данные сличают с теми, которые привязаны к аккаунту клиента. После подтверждения оплаты с банковской карты автоматически списываются средства.

"Мы постоянно подключаем магазины, при этом кассы с оплатой с помощью модуля оплаты лицом появляются как в новых, так и в старых точках, проходящих модернизацию. Сейчас уже есть более 300 магазинов, где стоят кассы с биометрическим модулем оплаты", - рассказывает Роман Тимаев. 

Сегодня уже тысячи людей производят оплату с помощью лица каждый день, и в компании полностью удовлетворены их заинтересованностью, поясняет эксперт. Пока что рано говорить, достиг ли проект установленных KPI, выводы по его успешности планируется делать только в июне 2022 года. До этого пройдёт маркетинговая компания, которую X5 проводит совместно с VISA.

Поведение покупателей в магазине

Видеоаналитическая система оценивает паттерны движения человека и отслеживает нестандартное поведение. Она в состоянии понять, хочет ли посетитель украсть товар или просто нервничает, находится ли он в сильном алкогольном опьянении и так далее. Соответствующий сигнал поступает в службу безопасности.

Кроме того, такая система в состоянии обнаруживать забытую посетителем сумку, упавший с полки товар, брошенную корзину или паллету, которую поставили в проходе, что мешает людям перемещаться. 

"Бывает, что посетитель передумал покупать курицу, которую вытащил из холодильника. Сейчас, пока её увидят и отнесут на место, проходит время, а она портится. Алгоритм будет предупреждать такие ситуации", - говорит Тимаев.

На данный момент это решение находится в состоянии разработки.

Антифрод-система в автоматизированных магазинах

Важнейшее применение видеоаналитики в магазинах без сотрудников - наблюдать за действиями покупателей. Ещё в 2016 году X5 начала разрабатывать антифрод-систему, способную пресекать противоправные действия посетителей.

В "магазинах без кассиров" была пропилотирована технология видеонаблюдения, которая на входе в магазин распознаёт лицо покупателя и сопоставляет с базой клиентов, ранее замеченных в нарушениях. Кроме того система способна мониторить перемещение по магазину каждого клиента и понимать, например, когда клиент берет тот или иной товар и кладёт обратно. 

"Мы не стали вводить систему распознания, какие именно товары берутся с полок, это довольно дорогое и трудоемкое внедрение. Зато нейросеть прекрасно справляется с классической схемой фрода, когда клиент берёт с полок, например, десять товаров, а платит за восемь. В это момент возникает инцидент, когда требуется вмешательство службы безопасности", - поясняет Тимаев. 

Антифрод на кассах самообслуживания

Система пока что находится на стадии разработки. Её задача - отследить ситуации, когда посетитель пытается обмануть систему самообслуживания, например, пробивая вместо креветок, которые он положил в корзину, лук. Также она сделает невозможным пронос товара без сканирования, подмену товара, когда клиент подсовывает сканеру штрих-код одного товара вместо другого и так далее. Также она позволит исключить и элементарные ошибки, которые случаются гораздо чаще фрода, когда товар не пробивается по невнимательности. 

Валидация возраста покупателя

Потенциально такая система распознавала бы возраст клиента у кассы, и если тот несовершеннолетний, формулировала бы кассиру требование проверить паспорт потенциального покупателя алкоголя, энергетиков или табачных изделий. Однако на данный момент, поясняет Тимаев, в России возраст покупателя пока еще продавец должен проверять и технологии здесь использовать нельзя - по юридическим причинам. 

Персональные оферы

Система видеонаблюдения способна, сканируя лица входящих в магазин клиентов, сопоставлять их с базой лояльности и анализировать историю покупок этих людей. Пока посетитель ещё не приступил к покупкам, она могла бы формировать персональное предложение каждому, например, предлагать скидку на тот или иной товар в приложении. Однако сейчас такое решение внедрить или даже начать тестировать невозможно, так как существуют законодательные ограничения на сбор биометрических данных. Данное решение может попробовать реализовать тот, кто является оператором биометрических данных. 

Видеоаналитика в торговом зале

Мониторинг ценников

Решение предназначено для проверки наличия и актуальности ценников в магазине. 

Как это работает: По фотографии стеллажа\полок, где на фото попадает до 10-12 ценников (количество зависит от качества камеры), система может распознать текст. Далее распознанный текст сопоставляется с данными в системе. Алгоритм может подсказать, насколько  корректны данные на ценниках. Кроме того, он способен увидеть места, где не отмечено, что товар акционный.

Распознавание товаров на полках

Ещё одна разработка, прошедшая пилотирование в X5 - система распознавания товара на полках на уровне SKU. 

Как это работает: Алгоритм считывает сигнал с камеры, мониторящей полки с товарами и сверяет с ассортиментной матрицей магазина и запасами на складе торговой точки. Его задача - проверить, чтобы в данный момент на полках стоял хотя бы один товар соответствующего SKU.

Эти улучшения положительно влияют на товарооборот, особенно если работают в режиме реального времени. Технология показала точность на уровне 93.7% в распознавании товаров на полках. За время пилота она научилась распознавать около 1500 товаров. 

Потенциальные выгоды от внедрения автоматизированного контроля за наличием товаров на полке могут составить от 2 до 5% в увеличение доступности товаров на полке и рост товарооборота.

Контроль планограмм

Инструмент осуществляет проверку соответствия расположения товаров на полках планограмме товаров. 

Сотрудник магазина фотографирует выкладку товара с помощью приложения. Специально обученная нейросеть автоматически сверяется с планограммой соответствующего участка полки, определяет несоответствия и даёт рекомендацию сотруднику. Например, она может посоветовать пополнить запасы, если товар есть на складе магазина. Это намного более сложная система, которая следит за наличием товара и его достаточностью.

"Алгоритм знает, что в данном месте полки должно, условно, стоять лицом к покупателю две бутылочки кока-колы по 0,5. При любом несоответствии он сам вычисляет, как сотруднику исправить проблему и сообщает ему об этом", - рассказывает Тимаев.

Разработку уже протестировали в пяти супермаркетах «Перекресток» московского региона. По данным Тимаева, система в несколько раз упрощает составление планограмм и увеличивает доступность товара на полке, сокращает на 10% количество людей, уходящих из магазина без покупок, и на 20% — потери магазинов. 

"Одна проблема - обучать распознаванию каждого товара и поддерживать такую систему с учетом ротации ассортимента очень дорого", - поясняет Тимаев. Поэтому компания в данный момент тестирует альтернативные решения.

Контроль утилизации полки

Есть похожая, но чуть более простая задача, которую также ставят перед системами видеоаналитики - определение, насколько много товара на полках. 

Как это работает: Алгоритм анализирует пустоты между товарами, и как только пустота превышает определенный порог, формируется задание сотруднику: пополнить стеллаж и чаем\ макаронами\ конфетами и т.п.

Данное решение не требует конкретного определения, какой именно товар стоит на полке, поэтому оно не такое дорогое. 

В пилотных магазинах после внедрения технологии наблюдался некоторый прирост среднего чека отдельных категорий товаров по сравнению с контрольной группой (магазинами без системы видеоконтроля полок). Это самое дешевое в реализации решение контроля за товарами на полке, однако статистической значимости влияния процента утилизации на товарооборот пока не получено, так как в разных магазинах были отмечены противоположные результаты. Поэтому о массовом внедрении этой системы в "Пятёрочках" речь пока не идёт. 

Впрочем, есть два товарных сегмента, где система дистанционного контроля утилизации полки уже внедрена. Это зона фруктов и овощей (ФРОВ) и выпечки. Считается, что зона ФРОВ привлекает наибольший трафик магазина и повышает средний чек. Важно, чтобы у клиентов всегда был достаточный выбор качественных овощей и фруктов. Поэтому, в отличие от зоны бакалеи или молочных продуктов необходим постоянный мониторинг за дисциплиной сотрудников, ответственных за эту зону. 

Видеоаналитика позволяет отслеживать заполняемость витрины и спрогнозировать возникновение пустот в выкладке. Своевременные уведомления сотрудников позволяют не только улучшить наполненность зоны ФРОВ, но и повысить чистоту отдела.

Технология была протестирована в 30 магазинах "Перекрёсток". Сейчас проводится расширенный пилот на 130 супермаркетов сети. Зона контроля расширена на выкладку собственной выпечки. Также компания тестирует систему оценки качества фруктов и выпечки, которые выставлены в магазине. Это обеспечит возможность динамического планирования выпечки в режиме реального времени.

"В сегменте выпечки мы не просто внедрили эту технологию, но уже пошли дальше: мы пилотируем распознавание системой ассортимента на уровне каждого товара", - добавляет Тимаев.

Робот-мерчендайзер

В августе 2021 года "Пятёрочка" в тестовом режиме начала использовать специального робота. Устройство строит карту магазина, автономно перемещается между полками, объезжает препятствия и гостей, сканирует прилавки. Параллельно происходит распознавание товаров и ценников на полках для сопоставления с планограммой на предмет отсутствия товаров и корректности ценников.

Алгоритм анализирует освободившиеся места, оценивая не только выкладку товара, но и всю глубину полки. Также робот способен проверять наличие ценников и правильность указанных на них цен. Всю получаемую информацию робот оперативно передаёт на сервер для дальнейшей обработки, после чего сотрудники магазина получают отчёт о выявленных несоответствиях.

Управление взглядом

Решение при котором камера отслеживает направление взгляда посетителя. Благодаря ей клиент сможет управлять кассой самообслуживания или прайсчекером в зале. Сценарий пока что даже не разрабатывается компанией, но о его перспективности активно размышляют.

Взаимодействие с сотрудниками

Распознавание весовых товаров на весах кассира ("Умные весы") 

Система "умные весы" помогает кассирам обрабатывать весовые товары. Она  автоматически распознаёт фрукты, овощи, конфеты и т.д. Алгоритм успешно справляется с задачей, даже если товар находится в пакете. Это позволяет ускорить время операций на кассе. 

По статистике "Пятёрочки", весовые товары входят в 30% чеков, отмечают в компании. В течение одного часа кассир взвешивает продукты около 47 раз, каждая операция занимает в среднем 14,5 секунд. На сегодняшний день решение уже прошло пилотирование в 108 магазинах. Там была выявлена точность распознавания объектов до 98,4%.

"На сегодняшний день мы сравниваем это решение с альтернативным, чтобы понять, какое пойдёт в тираж. Наша задача понять, сможет ли технология, не требующая использования систем видеоаналитики "дорасти" до тех показателей, которые показали "умные весы" (а именно увеличение скорости взвешивания товаров на 30% и на 5% - общее увеличение пропускной способности всей кассы)", - говорит Тимаев.

Видеоконтроль кассовых операций ("КЭШ контроль")

Система, которая позволяет следить за манипуляциями кассиров на рабочем месте и служит для предотвращения воровства и ошибок. 

Как это работает: Над кассовыми зонами установлена камера, которая следит за действиями кассира. Специальный алгоритм в онлайн-режиме анализирует кассовые данные, сопоставляя их с камерами, и выявляет сомнительные действий кассиров.

 Анализируются нажатия кнопок на кассе, действия кассиров, временные промежутки между теми или иными кассовыми операциями и прочие паттерны поведения. Если у алгоритма возникает подозрение на фрод, он создаёт инцидент и передаёт запрос в службу безопасности. Сотрудник службы безопасности в ручном режиме просматривает видеозапись и разбирает эти инциденты. 

Тепловизоры

В X5 видят две модели использования тепловизоров в продуктовом ритейле. 

А. Первая система уже внедрена и активно используется в офисах компании для проверки температуры входящих сотрудников и посетителей и вычисления потенциально болеющих людей. 

Потоковый тепловизизор в состоянии проанализировать весь поток посетителей. При выявлении человека с повышенной температурой доступ его в офис блокируется. 

Б. Мониторинг работоспособности холодильного оборудования. Служит для выявления ситуаций, когда по каким-либо причинам повышается температура  пристенных холодильниках с замороженной или охлажденной продукцией. 

"Если оборудование сломалось, не всегда бывает так, что автоматически создаётся инцидент и информация об этом попадает в систему мониторинга. Бывает, что некорректно работает датчик в самом холодильнике. Исправить ситуацию может внешнее наблюдение с помощью тепловизоров", - поясняет Тимаев. 

Эта система пока ещё проходит тестирование.

Табелирование персонала по FaceID 

В 2020 году X5 представила усовершенствованный прайсчекер, который не только помогает покупателям проверить цены в магазине по штрих-коду, но и выполняет множество других функций. Они дают информацию об остатках товара на складе, там можно увидеть пользовательскую оценку или поставить свою оценку товару или магазину, записаться на собеседование в "Пятёрочку" или оставить обратную связь, как  в "Книге жалоб и предложений".

В том числе, с помощью этого девайса проводится табелирование персонала по биометрическим данным.

Как это работает: Сотруднику магазина для начала и завершения смены достаточно сделать снимок встроенной в планшет камерой. Остальное сделает автоматизированная система распознавания лиц и учёта рабочего времени. 

Кроме того устройство предоставляет информационный сервис для сотрудников "Пятёрочки": доступ в личный кабинет, к учебно-информационному порталу и другим сервисам.

Работа в офисах и на складах

Системы безопасности и контроля автотранспорта ("Антисон")

Система контролирует состояние водителей грузового транспорта, перевозящего продукты из распределительных центров в магазин. Её задача предотвращать ситуацию, когда водители создают своими действиями аварийные ситуации на дороге.

Как это работает: В решении задействованы видеорегистратор и камера, направленная на водителя. Они фиксируют состояние водителя: повороты головы, мимику, частоту моргания и другие факторы. Алгоритмы определяют усталость и снижение концентрации водителя и прогнозируют, может ли он заснуть за рулём. Тогда система срабатывает, не давая ему это сделать. Исходя из энергоресурсов каждого сотрудника формируется рабочий график водителей.

Также, с ее помощью можно следить за действиями работника, которые влияют на неаккуратное и неосторожное вождение: переписка, курение, телефонные разговоры. Электроника способна оценивать степень безопасности вождения, для чего собирает информацию о дорожных знаках и разметке, расстоянии до других машин на дороге, резких торможениях или ускорениях.Данная система хорошо подходит для новичков или водителей с пережогами топлива.

Видеологистика на распределительных центрах

Эта система служит для мониторинга перемещений сотрудников склада. В основной мере речь касается комплектовщиков заказов магазинов (сборка товаров на паллет).

Система интегрирована с WMS системой склада. Решение используется в большей степени сотрудниками СБ.

При возникновении акта расхождения при поставке заказ с распределительного центра  в магазин (недостача товара) служба безопасности отрабатывает инцидент. Достаточно ввести номер заказа и номер SKU, и на экране появляется видеоряд момента подбора этого товара комплектовщиком.

Динамическое сканирование паллет

Для того, чтобы поддерживать в актуальном состоянии остатки на распределительных центрах необходима инвентаризация. Сейчас сотрудники вынуждены сами подниматься к каждой ячейке многоэтажных стеллажей, сканерами считывать штрих-коды на паллетах и переписывать, коробки с какими именно товарами есть в наличии.

"Наша система предполагает, что видеокамеры закрепляются на погрузчиках, которые транспортируют паллеты. Эти камеры в онлайн-режиме ведут съёмку полок, а алгоритм анализирует поступающую информацию, выявляет штрих-коды паллет, автоматически их сканирует и данные об имеющемся товаре заносит в систему. Таким образом людям не надо проводить инвентаризацию. Аппарат сам ежедневно актуализирует остатки", - рассказывает Тимаев.

"Умные очки" (аналог Apple Glass)

Решение предназначено для комплектовщиков заказов на распределительных центрах. Сотрудник, который носит "Умные очки", в режиме дополненной реальности видит стрелочки, куда надо идти для того, чтобы взять следующий товар. Эти же очки позволяют подтвердить, что сборщик попал в нужную ячейку. Если в зону видимости очков попадает QR-код, соответствующий заданному в списке собираемых товаров, он автоматически считывается очками. 

Когда сборщик берет товар, он должен подтвердить, что он взял именно то, что нужно. Особенно сложно это сделать в случае весового товара, когда надо голосом проговорить его вес. В этих очках сотруднику достаточно просто посмотреть на штрих-код, он сразу же считается с весом товара. 

"Мы сейчас уже закончили разработку базовых сценариев и ведём техническое тестирование интеграции очков и всей системы. Мы не первые в мире, кто использует "Умные очки", но в российском ритейле - первые", - уверяет Тимаев. 

Оценка качества ФРОВ

Система предназначена для работы на распределительных центрах продуктового ритейла. В её задаче распознавать качество фруктов и овощей, которые привёз поставщик. 

На данный момент этим занимаются сотрудники - специалисты по качеству. Они осматривают товар, разрезают, берут пробы, контролируют. С этой работой гораздо быстрее и в автоматическом режиме сможет справиться система видеонаблюдения. Алгоритм сможет оценивать картинку ящика с лежащими там помидорами и определять их качество.