Как мы следим за ценами конкурентов — и почему без обхода капч не обойтись

Продаём двери и интерьерные решения онлайн уже несколько лет. Конкуренция в нише нормальная — крупные агрегаторы давят ценой, небольшие магазины стараются на сервисе. Чтобы не выпадать из рынка, нужно понимать, что происходит у других: какие цены, что в наличии, что убрали из ассортимента. Раньше один из сотрудников делал это вручную — заходил на сайты конкурентов, смотрел, записывал в таблицу. Потом мы это автоматизировали. И вот тут выяснилось, что просто так взять и собрать данные с чужих сайтов не получится — везде стоит защита, и нужно уметь обойти reCAPTCHA. Сейчас у нас настроен автоматический обход капч через CapMonster Cloud — расскажу, как пришли к этому решению.

Зачем вообще следить за конкурентами

Многие думают, что мониторинг цен — это про то, чтобы всегда быть дешевле всех. На самом деле нет. Нам важнее понимать, где мы можем стоить дороже — и при этом продавать. Если у конкурента одна позиция дешевле на 500 рублей, но она весь месяц висит без наличия — зачем нам снижать на неё цену?

Ещё полезно отслеживать, что конкуренты добавляют и убирают из ассортимента. Если несколько магазинов одновременно убрали какую-то серию — скорее всего, у производителя проблемы. Значит, нам тоже надо проверить сток.

Вручную это занимало у сотрудника часа три в неделю. Не критично, но бессмысленно — механическая работа, которую должна делать программа.

Первая попытка — и почему она не сработала

Написали простой скрипт на Python. Заходит на сайт, находит цены, пишет в таблицу. Первые несколько дней работал нормально. Потом сайты начали его замечать и выдавать капчи вместо данных.

Cloudflare стоит у большинства нормальных магазинов — видит, что запросы идут слишком ровно, без пауз, без движения мышью, и решает, что это не человек. Дальше либо капча, либо вообще блокировка.

Подкрутили скрипт: добавили случайные паузы, поменяли заголовки, сделали имитацию браузера через Playwright. Стало лучше, но не до конца — процентов 30 запросов всё равно застревало на проверке.

Как решили проблему с капчами

Начали смотреть, что есть для автоматического решения. Сначала попробовали сервис с живыми операторами — они принимают задачу, человек решает вручную, возвращает ответ. Работает, но долго: 10–20 секунд на каждую. Когда скрипт проверяет 80 позиций у десяти конкурентов — это начинает ощутимо тормозить.

Потом нашли CapMonster Cloud. Там нейросеть вместо живых людей — отвечает за 1–3 секунды. Для нашей задачи разница была заметна сразу.

Интеграция заняла буквально полчаса. В скрипте добавили несколько строк: если получили капчу — отправить в сервис, получить токен, продолжить. Примеры кода есть в документации, переписывать с нуля ничего не нужно.

Что получили в итоге

Скрипт теперь собирает данные сам, без участия людей. Раз в сутки запускается, обходит конкурентов, пишет результаты в таблицу. Утром открываем — видим актуальную картину.

Время сбора данных по всем позициям — около 40 минут вместо трёх часов ручной работы. Сотрудник теперь не тратит время на это вообще — занимается другими задачами.

Стоимость использования CapMonster Cloud — мелочь. У нас около 200–300 капч в день, выходит рублей 10–15 в месяц. Такие деньги даже обсуждать смешно.

Пара нюансов, о которых стоит знать

Капча — это один слой защиты, не единственный. Если сайт конкурента агрессивно защищается, одного сервиса решения капч недостаточно. Нужны ещё хорошие прокси — желательно резидентные, не дата-центровые — и нормальная настройка браузерного окружения. Cloudflare Turnstile, который сейчас у всех, смотрит не только на капчу, но и на общее поведение сессии.

Но для большинства стандартных интернет-магазинов наша схема работает без проблем. Playwright + нормальные прокси + CapMonster Cloud для тех случаев, когда всё равно выдают капчу — этого хватает.

Стоит ли автоматизировать мониторинг цен

Если у вас десятки или сотни позиций и несколько конкурентов — точно стоит. Вы получаете актуальные данные каждый день без ручной работы. Это меняет то, как принимаются ценовые решения — не раз в неделю на основе устаревших данных, а в реальном времени.

Порог входа невысокий: базовый скрипт на Python + бесплатный пробный период у CapMonster Cloud + пару часов на настройку. Если разбираетесь в технической части хотя бы на базовом уровне — справитесь сами. Если нет — любой фрилансер настроит за один рабочий день.