Недавно пробежала новость: WB снова урезал часть данных, и у половины аналитических систем парсеры просто легли. Наш — работает как часы.

А буквально вечером появилась ещё одна — Ozon снова повышает тарифы. Кажется, не в последний раз. Так что продукт, цель которого — сэкономить продавцам и увеличить их долю прибыли на маркетплейсах, пока выглядит чертовски своевременным.

Путь по граблям

Правильный продуктовый путь по гайдам нам по-прежнему не ведом. Мы идём своим маршрутом, через ошибки и эксперименты. И раз уж на сайте пока нет журнала изменений, буду вести его здесь — в блоге.

С момента прошлого апдейта у нас многое поменялось. Напомню, речь идёт о GuardPrice — сервисе, цель которого управлять ценами на маркетплейсах по разным стратегиям, ориентируясь на собственные цены продавца и реальные цены, которые видит конечный покупатель.

От коробки к полноценному SaaS

Коробочная Enterprise-версия обросла популярными стратегиями вроде «следования за конкурентом», «удержания позиции» и так далее. Но главное — мы окончательно ударились головой и решили делать полноценный SaaS-сервис.

С подписками, тарифами, личным кабинетом — как и положено. Первый релиз уже совсем близко, и, конечно, не без приключений.

Поддержка площадок

Так как GuardPrice изначально гибкий и умеет работать с любым API для обратной загрузки цен, мы решили не ограничиваться только Ozon и Wildberries. В список подключений входят Яндекс.Маркет, Ламода, М.Видео-Эльдорадо, Аптека.ру, и фактически можно прикрутить любой другой e-commerce, где есть API.

Есть и отдельный профиль — «стратегия парсинга». Он просто собирает цены без обратной выгрузки. Зачем? Всё просто: можно указать любую ссылку на товар, задать, где находится блок с ценой, и сервис сам соберёт данные. Очень удобно, когда нужно быстро оценить рынок или конкурентов.

Балансировка и прокси

Самая интересная часть — получение реальных цен, которые видит покупатель.
Маркетплейсы всеми силами пытаются это закрыть: антибот-механизмы, проверка user-агентов, капчи,  блокировки IP — полный набор.

В начале мы сжигали прокси буквально за сутки: вчера работают, сегодня уже бан.
Перепробовали десятки пулов и форматов, пока не поняли, что дело не только в самих прокси, но и в нагрузке по времени, частоте запросов и очередности IP.

Теперь у нас построена полноценная балансировка нагрузки,  где каждый поток живёт по расписанию. Мы ротируем прокси по группам, проверяем «живость» перед каждым заходом и автоматически выкидываем подозрительные адреса из пула. Так что теперь не выжигаем IP, не теряем данные и не вылетаем в баны.

Кстати, неожиданное открытие — бан может быть временным. Некоторые прокси действительно «оживают» через сутки-двое. Теперь это тоже учитываем при ротации.

Дальше — красота, аналитика и новые грабли

Из ближайших задач — улучшить интерфейс. Сейчас он функционален, но выглядит как технический кабинет администратора. Хотим сделать понятнее, аккуратнее и ближе к продукту уровня «из коробки». 

Параллельно готовим новые стратегии и полноценный аналитический блок. Было бы странно не использовать тот объём данных, который мы уже накопили и агрегировали.

Скоро первый релиз.
Дальше — новые рынки, новые функции и, конечно, новые грабли. О них вы знаете, где почитать. Подписывайтесь — впереди самое интересное.