Web scraping

Парсеры сайтов и маркетплейсов под заказ

Собираем данные с Wildberries, Ozon, Avito, Яндекс.Маркета, сайтов конкурентов и отраслевых каталогов. Регулярная выгрузка с прокси, обходом блокировок, ИИ-нормализацией и доставкой в Excel, БД или API.

Какие задачи закрывает

  • мониторинг цен конкурентов на маркетплейсах и в каталогах
  • сбор каталогов товаров для интернет-магазина
  • агрегация объявлений на Avito по фильтрам и срокам
  • сбор отзывов с маркетплейсов для анализа репутации
  • парсинг тендеров, госзакупок, реестров и баз
  • сбор контактов и компаний из открытых источников (с учётом ПДн)
  • агрегация новостей и контента из СМИ и блогов

Что входит в проект

  • аудит источников, оценка защиты от ботов
  • проектирование схемы данных и выгрузки
  • разработка парсера на Python (sync или async)
  • подключение прокси и обход защиты
  • нормализация и очистка данных (можно с ИИ)
  • расписание, мониторинг ошибок, алерты
  • доставка данных в указанное место
  • сопровождение при изменении вёрстки источника
Типы парсеров

Какие парсеры чаще всего делаем

Парсер маркетплейсов

WB, Ozon, Яндекс.Маркет, Avito. Карточки товаров, цены, остатки, отзывы, позиции в поиске, конкуренты. С учётом региона и фильтров.

Парсер цен и наличия конкурентов

Мониторинг сайтов конкурентов: цены и наличие товаров по вашим SKU. Парсер наличия ловит момент, когда у конкурента закончился товар, - можно перехватить спрос. Уведомления об изменениях, отчёт в Excel или подача в систему ценообразования.

Парсер каталогов и баз

Отраслевые каталоги, B2B-базы, реестры компаний, ЕГРЮЛ/ЕГРИП, картотека арбитража. Регулярная выгрузка с дедупликацией.

Парсер контента и новостей

Агрегация статей, отзывов, постов в соцсетях, новостей. С ИИ-классификацией по темам и тональности, доставкой в дашборд или Telegram.

Кому подходит

  • интернет-магазины и продавцы на маркетплейсах - нужна динамика цен конкурентов и контроль собственных позиций
  • B2B-команды продаж: пополнение баз по отраслевым каталогам и реестрам, обогащение лидов открытыми данными
  • аналитические и маркетинговые отделы: сбор отзывов, упоминаний, новостей и мониторинг репутации
  • сервисные продукты: подача внешних данных в свою платформу - агрегаторы, сравнения, мониторы

Когда парсер, а когда официальный API

  • у маркетплейса есть API селлера (WB, Ozon, Яндекс Маркет) - для своих товаров берём именно его, парсер тут лишний риск
  • нужны данные конкурентов или общедоступного каталога без API - здесь парсер уместен, с учётом нагрузки на источник
  • источник официально продаёт данные через API/выгрузки (Контур, СПАРК, отраслевые базы) - дешевле подписаться, чем поддерживать парсер
  • источник активно меняет вёрстку и капчу - закладываем мониторинг и сопровождение, иначе парсер «протухнет» за месяц
Как работаем

Этапы разработки парсера

1. Аудит источника

Смотрим, как реально отдаются данные: HTML, JSON-эндпойнты, требуется ли авторизация, какая защита от ботов и какая нагрузка допустима.

2. Схема данных

Согласуем поля, типы, идентификаторы, дедупликацию и формат выгрузки. Это спасает от пересборки, когда «нужно ещё одно поле».

3. Сборка и прокси

Python-парсер на requests/httpx или Playwright, ротация прокси, антикапча, ретраи, асинхронный сбор там, где это даёт прирост.

4. Расписание и доставка

n8n или cron, мониторинг падений, алерты в Telegram, доставка в Excel, БД, API или CRM. Передаём документацию и доступы.

Стек подробно

  • Python. requests, httpx, asyncio для скорости. Playwright или Selenium - там, где нужен реальный браузер и JS.
  • Прокси. Резидентные и мобильные для маркетплейсов с жёсткой защитой, дата-центр - для лёгких источников. Ротация и геопривязка.
  • Антикапча. Подключаем сервисы решения reCAPTCHA, hCaptcha и текстовых капч. На критичных задачах закладываем алерт при росте капч.
  • Хранилище. PostgreSQL/MySQL для структурированных данных и истории, S3 для сырого HTML/JSON, при необходимости - векторная БД для поиска.
  • ИИ-нормализация. LLM приводит «грязные» поля (бренд, категория, вариант) к единому справочнику, размечает товары и отзывы.
  • Оркестрация. n8n или cron, очередь задач, retries, мониторинг падений и алерты в Telegram при росте ошибок.

Не берёмся и риски

  • не парсим данные, которые скрыты за платным API или требуют входа в личный кабинет без явного разрешения владельца
  • не собираем персональные данные пользователей с нарушением 99-З РБ / 152-ФЗ РФ - есть отдельный режим, обсуждаем заранее
  • не обходим намеренные технические блокировки маркетплейса для своих товаров: для своих SKU есть официальный API селлера
  • предупреждаем заранее: парсер живёт ровно столько, сколько стабильна вёрстка источника - поддержка обязательна, не «один раз навсегда»
  • не нагружаем источник «в лоб»: парсинг распределён по времени и IP, чтобы не положить сайт и не получить полный бан
Скоупинг

Разобрать ваш источник

За 30 минут смотрим URL и говорим: реально ли спарсить, какие нужны прокси, чем грозит изменение вёрстки и сколько это стоит поддерживать. Без обязательств.

Получить план автоматизации
Результат

Что получает бизнес

Свежие данные на расписании

Цены, остатки, лоты и отзывы обновляются автоматически - без копипасты из десятков вкладок раз в неделю.

Готовый формат под работу

Данные приходят туда, где работает команда: в Excel, БД, CRM, BI или Telegram. Без отдельного «выгрузить и почистить».

Контроль качества

Мониторинг падений, алерты при росте ошибок и при изменении вёрстки. Молча данные «не пропадают».

Прозрачное сопровождение

Знаете, что парсер требует ухода, и видите, на что уходит время. При смене источника решение принимает бизнес, не «случилось».

FAQ

FAQ перед стартом

Можно ли сделать парсер наличия товаров у конкурентов?

Да, это один из самых частых заказов. Парсер наличия по расписанию проверяет карточки конкурентов на их сайтах и маркетплейсах, фиксирует остатки и статус «в наличии / нет в наличии» и присылает уведомление, когда позиция у конкурента закончилась или появилась снова. Данные складываются в таблицу или подаются в вашу систему ценообразования - подробнее о связке с ценами в разборе мониторинга конкурентов.

Какие сайты и маркетплейсы парсите?

Wildberries, Ozon, Яндекс.Маркет, Avito, Lamoda, СберМегаМаркет, AliExpress, 1688, агрегаторы недвижимости и работы, отраслевые каталоги, сайты конкурентов. Технически - почти любой публичный источник, если данные доступны через браузер или API.

Что с блокировками, капчей и прокси?

Используем ротацию прокси (резидентные, мобильные, дата-центр - по задаче), эмуляцию реального браузера через Playwright/Selenium, обход капчи через антикапча-сервисы. Парсинг распределяется по времени и IP, чтобы не нагружать источник. На критичных задачах закладываем мониторинг и быстрые правки при изменении вёрстки.

Куда выгружаются данные?

Excel или Google Sheets, CSV, база данных (PostgreSQL, MySQL), собственный API, n8n-сценарий, Telegram-сообщение. Можно сразу подкладывать в CRM, систему ценообразования или BI-дашборд. Формат - на ваш выбор.

Это законно?

Сбор публично доступных данных в РБ и РФ не запрещён, но есть нюансы по условиям использования конкретного сайта и обработке персональных данных. Перед стартом обсуждаем источник и цель: если возможны риски - предупреждаем и предлагаем альтернативы (официальный API, партнёрские каналы, лицензированные базы).

Сколько стоит парсер?

Зависит от сложности источника, объёма данных, частоты обновлений и наличия защиты от ботов. Простой парсер каталога - короткий проект. Регулярный парсинг 5–10 источников с прокси, ИИ-нормализацией данных и доставкой в БД - больше. Точная оценка - после короткого аудита источников и требований.

Начать с этой услуги

Разработка парсеров под заказ

Опишите источник и какие данные нужны - оценим сложность, прокси и срок. Без обязательств.

Получить план автоматизации