Задача
Маркетплейс автозапчастей нуждался в автоматическом сборе данных с сайтов 8 поставщиков. Ручной ввод был невозможен — каталог превышал 120 000 позиций.
Решение
Написал систему парсеров на Python (Scrapy + Selenium для сайтов с JS-рендерингом). Данные собираются по расписанию и загружаются в WooCommerce через REST API.
Особенности
- 8 парсеров под разные структуры сайтов поставщиков
- Обход защит: ротация прокси, User-Agent, задержки
- Скачивание и оптимизация изображений (WebP, ресайз)
- Маппинг категорий поставщика → категории магазина
- Cron: ежедневное обновление цен и остатков
- Telegram-бот для уведомлений об ошибках