Пользователи Мегамаркета теперь могут находить одежду, обувь и аксессуары с помощью поиска по фото

Находить понравившиеся одежду, обувь и аксессуары на Мегамаркете теперь поможет поиск по фотографиям. Пользователи могут загружать как фотографии отдельных предметов, так и целый образ - нейросеть подберет максимально похожие товары и предложит их списком.

Поиск по фотографиям работает благодаря технологии компьютерного зрения, которое было создано на основе платформы Layer от Сбера. Нейросеть обучалась более полутора лет - за это время через нее прошли миллионы фотографий из модных журналов, с дизайнерских показов и фотосессий.

"Можно сказать, что поиск по фото становится своеобразным стандартом в категории Fashion. С его помощью можно найти как отдельные предметы гардероба, так и собрать полноценный лук - например, по примеру популярного стиля, образа любимой звезды или конкретной модели с показа. Так, можно взять фотографию из модного журнала и за несколько мгновений подобрать максимально похожие товары, - положить их в корзину и заказать. Точность у технологии очень высокая - согласно данным тестирования, точность достигает 98%", - рассказывает Игорь Рожков, директор по маркетингу Мегамаркета.

Нейросеть распознает не только одежду, но и пол, а также возраст человека на снимке. Это стало возможным благодаря внедрению в Layer собственной, основанной на визуальном трансформере модели MiVOLO, которая существенно упрощает поиск и позволяет давать более точные рекомендации. Например, нейросеть не будет предлагать платья для взрослых, если на фотографии изображен ребенок, а также предложит мужские предметы гардероба, если на снимке мужчина.

Благодаря усовершенствованным алгоритмам MiVOLO превосходит многие другие модели. Так, она с легкостью справится с определением пола и предположит возраст даже в том случае, если в кадре нет лица или модель стоит спиной к камере. Нейросеть справляется лучше человека: как показывают тесты, при просмотре фотографий респонденты в среднем допускают погрешность до 7 лет при определении возраста, тогда как алгоритмы - до 4 лет.

Загрузить в поиск можно изображения форматов jpg, jpeg и png, при этом нет ограничений в размере фотографии. Выдача происходит по наибольшему совпадению, а при необходимости все товары можно легко отфильтровать по категориям.

"Так как нейросеть тренировалась на самых разных фотографиях, фон не имеет значения - это может быть даже простой снимок, где человек на улице или среди разнообразных атрибутов для фотосессии. Стоит учесть, что, если нужно найти какой-то конкретный аксессуар, например, очки или сумку, то лучше выбирать фотографии, где они полностью в кадре и крупным планом, иначе нейросеть в качестве рекомендаций будет подбирать сразу все вещи со снимка", - добавляет Игорь Рожков, директор по маркетингу Мегамаркета.