Контекст задачи
Каталоги поставщиков нужно ежедневно собирать, чистить и обновлять цены/остатки в собственной БД. На входе процесса: сайты поставщиков, фиды XML/CSV, API маркетплейсов, расписание обновлений и правила маппинга.
Python · ETL
Парсер и ETL для маркетплейсов
Каталоги поставщиков нужно ежедневно собирать, чистить и обновлять цены/остатки в собственной БД.
Вход
Сайты поставщиков, фиды XML/CSV, API маркетплейсов, расписание обновлений и правила маппинга.
Логика
Асинхронные парсеры на httpx/Playwright, нормализация на Pandas, дедупликация, ретраи, отчёт об ошибках.
Интеграции
Python, httpx, Playwright, Pandas, SQLAlchemy, PostgreSQL, Celery/APScheduler, Telegram-алерты.
Результат
Актуальные цены и остатки попадают в БД и в маркетплейс без ручной выгрузки, а расхождения и сбои сбора видны в отчёте об ошибках.
Что получает бизнес
Решение: асинхронные парсеры на httpx/Playwright, нормализация на Pandas, дедупликация, ретраи, отчёт об ошибках. Связано с системами: Python, httpx, Playwright, Pandas, SQLAlchemy, PostgreSQL, Celery/APScheduler, Telegram-алерты. Результат для бизнеса: актуальные цены и остатки попадают в БД и в маркетплейс без ручной выгрузки, а расхождения и сбои сбора видны в отчёте об ошибках.
Кому подходит сценарий
Сценарий подходит проектам с кастомной логикой, аналитикой и нестандартными интеграциями, где SaaS не подходит, а также компаниям, где данные живут в нескольких системах (CRM, 1С, ERP, BI, сайт) и их нужно связать. Конкретная реализация подбирается под стек и объёмы.
Похожая задача?
Парсер и ETL для маркетплейсов
Опишем, как адаптировать этот сценарий под ваши данные и системы. Без обязательств.