March 9

PAQ-MAN (Price Analise Query Master Aligned Negotiator) | АвтоКАЦ (АвтоРынок)

Это сложный скрипт для автоматического парсинга цен с веб-страниц через Selenium (WebDriver) с использованием Microsoft Edge. Он автоматизирует поиск в Google, сбор ссылок на товары, извлечение цен с помощью различных методов (JSON-LD, атрибуты, DOM, регулярные выражения) и запись результатов в Excel с помощью функции просмотра исходного кода веб-страниц с прокруткой.

📊 Описание макроса PAQ_v.5.4 (Price Analyzer Query)

Этот макрос — "автоматический сборщик цен" 🤖💰! Он выполняет поиск товаров в Google, переходит на сайты, извлекает цены и записывает их в Excel вместе со ссылками и оценкой надёжности. Идеальный инструмент для мониторинга рыночных цен и анализа конкурентов!


🎯 Основные функции макроса:

  • 🔍 Поиск в Google по запросам из Excel
    • Берёт запросы из столбца A листа "Лист1"
    • Формирует поисковый URL и открывает в браузере Edge через Selenium
  • 📑 Сбор ссылок на товары
    • Парсит страницу выдачи Google
    • Собирает до указанного количества ссылок (обычно 3-8)
    • Исключает нежелательные домены (ozon, market.yandex, alibaba — настраивается)
  • 🧭 Интеллектуальная навигация
    • Если ссылка ведёт на каталог/категорию, макрос пытается найти первую ссылку на конкретный товар
    • Обрабатывает редиректы Google и очищает URL от параметров
  • 💵 Извлечение цены несколькими способами (по убыванию надёжности):
    • JSON-LD (структурированные данные) — надёжность 95%
    • data-price атрибуты и специальные маркеры в HTML — 90%
    • DOM-элементы с классами price/cost — 80%
    • Регулярные выражения с валютой (руб, $, /шт) — 65%
    • "Свободный" regex (любые крупные числа) — 40%
  • 🔍 Режим просмотра исходного кода (view-source)
    • Может открывать страницу в режиме view-source и прокручивать её для загрузки динамического контента
    • Полезно для сайтов с JavaScript-рендерингом
  • 📊 Запись результатов в Excel
    • Для каждого аналога (до N штук) записываются:
      • Цена
      • Финальный URL (после всех редиректов)
      • Статус ("Ок", "Перепроверить", "Цена не найдена")
      • Коэффициент надёжности (0.00–1.00)
    • В конце строки — общий статус с цветовой индикацией (зелёный/жёлтый/красный)
  • 🚦 Цветовая маркировка как светофор:
    • 🟢 Зелёный — высокая надёжность (≥0.8)
    • 🟡 Жёлтый — средняя (0.4–0.8) — стоит перепроверить
    • 🔴 Красный — цена не найдена или очень низкая надёжность
  • 📝 Подробное логирование
    • Все действия записываются в текстовый файл price_log_v6.txt для последующего анализа ошибок

💼 Для кого этот макрос полезен:

👨💼 Маркетологи и аналитики:

  • Мониторинг цен конкурентов на аналогичные товары
  • Оценка среднерыночной цены перед запуском продукта
  • Сбор данных для формирования ценовой стратегии

🛒 Менеджеры по закупкам:

  • Поиск поставщиков с лучшими ценами
  • Сравнение цен на однотипные товары у разных продавцов

📈 Product-менеджеры:

  • Анализ ценового позиционирования товара
  • Отслеживание динамики цен на рынке

👨‍💻 SEO-специалисты:

  • Проверка, какие сайты попадают в топ выдачи по коммерческим запросам
  • Сбор данных для конкурентного анализа

📋 Что нужно для работы:

  1. Selenium Basic и специальный драйвер Microsoft Edge
  2. Excel с базовым листом "Лист1", где в столбце A перечислены поисковые запросы (например, "купить красные кроссовки", "ноутбук HP 15 цена")
  3. Настройка параметров при запуске:
    • Сколько сайтов проверять (рекомендуется 3-8)
    • Таймаут загрузки страницы (8-12 секунд)
    • Сколько аналогов записывать в Excel
    • Список исключаемых доменов (ozon.ru, market.yandex.ru и т.п.)
    • Режим view-source (Да/Нет) для визуализации поиска

⚙️ Как это работает (пошагово):

1. Пользователь вводит параметры в диалоговых окнах

2. Макрос открывает браузер Edge через Selenium и переходит на Google, при необходимости система сама распознает ввод капчи и попросит пройти ее:

3. Для каждого запроса из Excel:

    • Выполняется поиск в Google:
    • Собираются ссылки на результаты (кроме исключённых доменов)
    • Для каждой ссылки:
      • Если это каталог — ищется первый товар
      • Открывается страница, ожидается загрузка
      • Последовательно применяются методы извлечения цены
      • Фиксируется финальный URL и надёжность:
    • Результаты записываются в Excel с цветовой индикацией:

4. По окончании — показывается время выполнения и путь к логу


🔗 Идеальная связка с макросом CESAR (CreateEdgeScreenshotsAdvancedReliable) 🤝

Этот макрос PAQMAN собирает цифры и ссылки, а CESAR делает скриншоты страниц! Вместе они образуют полноценную систему мониторинга цен:

Сценарий использования:

  1. PAQMAN проходит по запросам, собирает цены и ссылки на товары конкурентов
  2. На основе полученных ссылок CESAR автоматически создаёт скриншоты этих страниц
  3. В результате вы получаете:
    • 📊 Таблицу с ценами и надёжностью (PAQMAN)
    • 🖼️ Папку со скриншотами (CESAR)
    • ✅ Возможность визуально проверить сомнительные позиции

Преимущества связки:

  • Полная документация: цена + визуальное подтверждение
  • Контроль качества: скриншоты помогают убедиться, что цена взята с правильной страницы
  • Архивация: можно сохранять снимки для отчётов или презентаций
  • Экономия времени: вместо ручного открытия каждого сайта — всё делается автоматически

🏆 Главное преимущество PAQMAN:

Макрос превращает часы ручного поиска и копирования цен в полностью автоматизированный процесс! ⏱️➡️🤖

Без PAQMAN:

  • Ввести запрос в Google
  • Просмотреть 5-10 сайтов вручную
  • Найти цену на странице
  • Скопировать в Excel
  • Повторить для 50 товаров → целый рабочий день

С PAQMAN:

  • Заполнить список запросов в Excel (5 минут)
  • Запустить макрос
  • Выпить кофе ☕
  • Получить готовую таблицу с ценами и ссылками (через 20–30 минут)

Более подробно — тут:

VK-Video

⚠️ Важные замечания:

  • Для работы требуется стабильное интернет-соединение (скорость обработки страниц пользователь вводит вручную)
  • Некоторые сайты могут блокировать автоматизированные запросы — тогда цена может не извлечься (статус "Цена не найдена")
  • CAPTCHA в Google обрабатывается вручную: макрос приостановится и попросит пользователя решить её
  • Рекомендуется использовать не более 5–8 запросов за один запуск, чтобы не перегружать браузер

🎯 Итог:

PAQMAN — это мощный инструмент конкурентного поиска ссылок🕵️‍♂️, который в связке с CESAR даёт полную картину рынка: цены, ссылки и визуальное подтверждение. Идеально подходит для:

  • Автоматизированного мониторинга цен
  • Подготовки отчётов для руководства
  • Обоснования ценовой политики клиентов

Автоматизируйте сбор данных и принимайте взвешенные решения! 🚀📈