У каждой скидки свой адрес: как собирать данные с точностью до магазина

Для сервиса скидок недостаточно знать, что товар участвует в акции где-то в торговой сети. Пользователю важно предложение, доступное именно рядом с ним — в конкретном городе и магазине. Но цены и ассортимент могут различаться даже между соседними адресами, поэтому единый федеральный каталог не дает полной картины.

Metacommerce помогает ежедневно получать локальные данные из двух крупных российских розничных источников. Один сценарий охватывает свежие промо сети косметики и парфюмерии в совокупности по 200 адресам, второй — выбранные категории продуктового ритейлера в совокупности по 10 000 адресам.

Охват проекта не зафиксирован раз и навсегда: список торговых точек меняется, а система сбора адаптируется к его актуальному масштабу.

Клиент - сервис, который объединяет информацию о скидках, акциях, купонах и других выгодных предложениях. Чтобы показывать пользователям действительно полезные предложения, сервису нужны не усредненные данные по сети, а ассортимент и цены с привязкой к регионам и магазинам.

Это позволяет сравнивать предложения между адресами и находить наиболее выгодные цены внутри одной или нескольких торговых сетей.

В проекте было важно:

• ежедневно обновлять информацию о товарах и промо;
• охватывать максимум доступных торговых точек;
• учитывать различия цен и ассортимента между адресами;
• собирать актуальные категории и промопредложения;
• контролировать полноту и качество данных;
• передавать результат в формате, который принимает внутренняя система Едадила.

Проект работает с российскими источниками и ориентирован на локальные предложения для пользователей на рынке РФ.

Изюминка проекта — сочетание масштаба и локальной точности. Один источник собирается не один раз: система последовательно воспроизводит тысячи адресных контекстов, чтобы сохранить различия между конкретными магазинами.

Для клиента работают два независимых сценария сбора. Они различаются масштабом и инфраструктурой, но подчиняются общей логике: ежедневно получать актуальные локальные предложения и готовить их для продуктовой системы клиента. Список торговых точек с адресами и координатами передает клиент — эти данные задают географию сбора.

Свежие промо сети косметики и парфюмерии

Первый сценарий собирает товары из пяти первых промо в разделе актуальных акций крупной сети косметики и парфюмерии в совокупности по 200 адресам.

В фокус попадают актуальные предложения, их цены и привязка к торговым точкам. Благодаря этому компания получает не статичный каталог, а регулярно обновляемую картину действующих акций.

Выбранные категории продуктового ритейлера

Второй сценарий собирает данные в совокупности по 10 000 адресам крупной продуктовой сети. Клиент определяет категории для сбора данных, а система ежедневно получает соответствующий ассортимент по актуальному списку торговых точек.

Для такого масштаба используется отдельная инфраструктура на выделенных серверах. Она позволяет обрабатывать большое количество адресов и развивать этот поток независимо от первого сценария.

Подготовка данных для системы клиента

После ежедневного сбора результаты преобразуются в JSON-формат, подходящий для системы клиента, и автоматически передаются клиенту.

Компания получает сведения о торговых точках и предложениях: адреса и координаты магазинов, названия и изображения товаров, штрихкоды, актуальные и прежние цены и ссылки.

Клиент обрабатывает полученные данные по своим правилам и использует их для формирования предложений, которые видят пользователи сервиса.

Полнота и корректность результатов проверяются вручную каждый день. Команда контролирует, что данные относятся к нужным магазинам, а изменения на стороне источников не привели к пропускам или ошибкам.

Проект стабильно работает с 2018 года. Сегодня два сценария обеспечивают ежедневный сбор локальных товарных данных более чем по 10 000 адресов.

В результате клиент может:

• формировать предложения с учетом региона и конкретного магазина;
• сравнивать цены между адресами одной сети;
• находить наиболее выгодные предложения среди нескольких торговых точек;
• работать с актуальными промо и выбранными категориями;
• расширять или корректировать географию без перестройки всего процесса;
• автоматически загружать подготовленные данные во внутренний продукт;
• ежедневно контролировать полноту и корректность результатов.

Вместо общей витрины по сети компания получает локальную картину: что продается, по какой цене и в каком магазине доступно предложение. После обработки этих данных по собственным правилам сервис показывает пользователям актуальные варианты рядом с ними.

Такой сценарий особенно полезен:

• агрегаторам скидок и выгодных предложений;
• сервисам сравнения цен;
• розничным сетям;
• производителям с широкой региональной дистрибуцией;
• компаниям, создающим цифровые продукты на основе внешних товарных данных.

Он подойдет командам, которым важно не просто собрать каталог, а помочь пользователю найти товар по выгодной цене в подходящем магазине.

Если предложения меняются от одной торговой точки к другой, можно сначала проверить сценарий на ограниченной выборке, согласовать состав данных и затем масштабировать его до тысяч адресов.