Добрый день. Расскажите, с чем вам пришлось разбираться?
Любой крупный проект сейчас в какой-то степени зависит от AWS (Amazon Web Services). Retail Rocket - не исключение. У нас там находятся некоторые подсистемы, например, хранятся веб-версии писем. 18 апреля, когда сервис Amazon по хранению файлов частично попал под блокировку РКН, они стали недоступны и пришлось срочно искать пути решения проблемы.
Сколько времени пришлось на это потратить?
Дня 3-4 плотной работы. Со среды, когда начались проблемы и до конца прошлой недели.
Насколько серьёзно вы пострадали?
Блокировки затронули нас напрямую, хотя и не сильно. С помощью резервных прокси-серверов мы полностью восстановили работоспособность всех систем. Клиенты не пострадали.
Основной ущерб, который мы понесли, заключается в том, что нам пришлось готовить ряд решений на случай, если наши основные мощности вдруг будут заблокированы.
А кроме переключения на резервные прокси-сервера можно ещё конкретики, что вы сделали?
Пока не можем предоставить больше подробностей. Почти вся инженерная команда сейчас занята превентивными мерами на случай дальнейших блокировок и не может отвлекаться на комментарии по ситуации. Могу лишь добавить, что наша команда периодически проводит "учебные тревоги" для тестирования механизмов переключения трафика, поэтому к подобным ситуациям мы, в принципе, готовы и знаем, как действовать.
Инженерная команда Retail Rocket постоянно мониторит объем трафика, обсуждает возможности и прорабатывает планы, как действовать при отказах ДЦ.
Такая подготовка требует работы почти всего инженерного отдела в тесном контакте с несколькими российскими компаниями. Это прямое отвлечение значительной части ресурсов от нашей прямой деятельности - развития бизнеса и создания новых продуктов. Вместо того, чтобы работать над дополнительной ценностью для рынка, мы вынуждены переделывать то, что было сделано ранее, тратить ресурсы инженерной команды и нести финансовые потери.
Что вы посоветуете другим компаниям, которые попали в похожую ситуацию?
Компаниям, кто уже попал или боится попасть под действие блокировок, можно посоветовать заранее прорабатывать возможность отказа любых частей системы и искать пути их дублирования, хотя бы в разных зонах одного провайдера (тот же Amazon достаточно легко позволяет это сделать), но лучше в независимых ДЦ.