REES46 вызвал Retail Rocket на eCommerce-баттл

Генеральный директор сервиса товарных рекомендаций REES46 Михаил Кечинов предложил магазинам сравнить услуги своей компании с работой сервиса RetailRocket. «В связи с тем, что в этом тысячелетии не было ни одного полноценного A/B теста REES46 vs RetailRocket, приглашаем интернет-магазины, готовые провести этот тест», - заявил он в Facebook.

Условия спора: магазин тестирует оба сервиса и предоставляет результаты по итогам теста. Тестирование проходит по чистой прибыли от исполненных заказов, чтобы речь шла не просто об оформленных заказах, а оформленных, оплаченных, доставленных и не отмененных, чтобы исключить оформление фейковых заказов. «Не просто выручка, а чистая прибыль для магазина: чтобы не 10 товаров по 100р с маржой 2%, а 20 товаров по цене 30 рублей с маржой 30%», - уточнил Кечинов.

• Если оказывается, что REES46 показал меньшую эффективность, чем RetailRocket, компания выплачивает магазину 100'000 рублей.
• Если REES46 выигрывает с разницей меньше 5% - магазин сможет использовать любые наши сервисы (rees46.com/overview) бесплатно в течение трех месяцев.
• Если REES46 выигрывает с разницей меньше 5%, то у магазина появится удачная возможность выбрать, какой из сервисов использовать дальше.

Требования к магазину:

• Посещаемость - от 30000 посетителей в день.
• Отрасли: одежда, ювелирные украшения, товары для детей, зоотовары, бытовая техника, электроника.
• RetailRocket должен быть подключен, настроен и работать в полную силу.
• Кейс должен быть публичным (Кечинов согласен, чтобы цифры оглашались в процентах, а не в абсолютном значении).

Основатель Retail Rocket Николай Хлебинский оказался не в восторге от идеи. «Надоело заниматься отоплением космоса. За 5 лет мы тестировались со всеми: и с реес, и с кросс, и с таргет2селл, и с емарсис, и с рич релеванс, и с гравити и НИ РАЗУ нас никто не обошел, мы сто раз уже доказали, что у нас лучшие технологии и процессы, как в России, так и в мире. Времени и денег (человекочасов) на это утоплено огромное количество, раз в полгода появляется очередная команда, которая хочет аб тест. Никогда такого не было, и вот опять!» - говорит он.

По словам Хлебинского, подобное «тестирование» уже проводилось, однако REES46 не признавал проигрыш. В частности, он попросил директора по электронной коммерции зоомагазина «Бетховен» Петра Рощина озвучить результаты тестирования REES на его площадке. Рощин ответил, что "не комментирует публично косяки того или иного подрядчика". Позже в беседе с E-pepper.ru он рассказал, что магазин сейчас использует рекомендации от Retail Rocket. 

Основатель Retail Rocket говорит, что 60% интернет-магазинов в стране все еще не используют сервисов товарных рекомендаций. Следовало бы обучать рынок и работать над его расширением, вместо снижения маржинальности на сформированном спросе. «Лучше оставайтесь в среднем- сегменте, у вас же хорошо идет там? Или начинайте генерировать ценность вместо демпинга и развивайте рынок вместо грызни», - обратился он к коллегам.

Основатель Driveback Константин Юревич утверждает, что подобный тест обойдется крупному магазину минимум в 300 тыс. рублей чистых расходов, а если к этому добавить упущенную выгоду из-за отвлечения IT-ресурсов от важных для бизнеса задач, то расходы могут превысить 1-2 млн. рублей.  

Эксперт уточняет, на что пойдут деньги:

1. Необходимо настроить серверное разделение трафика и передать нужные dimensions в Google Analytics через Measurement Protocol.
2. Учитывая то, что экспериментальные сессии должны делиться/считаться начиная с первой страницы даже для новых пользователей - придется отказаться от стандартного google cid (который генерится на клиенте) и использовать свой собственный идентификатор клиента.
3. Необходимо настроить трекинг статуса заказов в Google Analytics через Measurement Protocol (полную синхронизацию с CRM/ERP).
4. По прошествии предполагаемого периода теста необходимо выгрузить информацию обо всех заказах и сессиях из Google Analytics при помощи API.
5. Необходимо соединить полученные данные с маржинальностью каждого заказа, чтобы посчитать EBITDA от каждого заказа.
6. Необходимо загрузить все полученные цифры по EBITDA в R/Python/Excel и оценить распределение выборки.
7. Необходимо отсечь все аномалии (95/99-percentile) и посчитать среднеквадратическое отклонение.
8. Необходимо посчитать доверительные интервалы и статистическую значимость для полученной выборки.
9. Продолжить тест, если доверительные интервалы слишком большие и не достигнута значимость.

«Уже это обойдется больше 300к руб. при условии, что вы найдете специалиста, который это осилит, и магазин, который будет реализовывать», - добавил он.

Кечинов говорит, что это некорректная оценка. Так или иначе,  по его словам, уже нашелся магазин, который вызвался принять участие в тесте. Старт проекта начнется в апреле. Будем ждать подробностей!