Как Perplexity на%бали Reddit и пол-интернета

На днях наткнулся на новость: Perplexity запустила технологию Search as Code.

Звучит мощно. Суть: вместо того чтобы долбиться в поисковик с десятью ссылками, ИИ сам пишет код на Python, разворачивает параллельные запросы, сам же оптимизирует токены и выдаёт готовую выжимку.

«Ого, — подумал я. — Давно бы так».

Полез разбираться, как они этого добились. Оказалось, у Perplexity свой поисковый движок. Не Bing, не Google — свой. Свой краулер (PerplexityBot). Свой веб-индекс — больше 200 миллиардов URL.

«Ничего себе, — подумал я. — Как они за пару лет такое отгрохали? Это же миллиарды долларов и тонны инженерного пота».

А потом я начал копать глубже.

И чем глубже я копал, тем больше офигевал.

Потому что всё оказалось намного, НАМНОГО хуже.

Это не история про гениальность. Это история про то, как можно нанять фермы ботов, маскировать их под бабушек из Огайо, игнорировать robots.txt, парсить Google через чёрный ход и отмывать чужие данные. Всё ради того, чтобы не платить за лицензии.

Поэтому я расследовал всю эту кухню. От «экономии» до 9 исков одновременно. От уровня скрапинга NOVICE до GOD. И теперь делюсь с вами.

Часть 1. Как Perplexity "экономит" — там, где другие платят миллионы

Начнём с того, что рынок данных для ИИ уже давно перестал быть бесплатным. Пока новички типа Perplexity пытаются срезать углы, взрослые парни просто открывают чековую книжку:

• Google платит Reddit около $60 млн в год за доступ к его данным для обучения моделей Gemini.
• OpenAI выложила за пятилетнее соглашение с News Corp более $250 млн.
• А Amazon подписала с New York Times контракт на $20–25 млн в год.

Рынок лицензирования данных для ИИ только в 2025 году оценивался в $3.59 млрд, а в 2026-м вырастет до $4.44 млрд. И всё это потому, что Reddit и другие владельцы контента больше не готовы раздавать свои данные бесплатно. Сам CEO Reddit Стив Хаффман сказал прямо: данные платформы не должны "доставаться крупнейшим компаниям мира бесплатно".

А Perplexity сказала: "Зачем нам платить? Мы сами всё украдём".

Они подошли к вопросу творчески. Вместо того чтобы заключить лицензионное соглашение — как это сделали Google и OpenAI — они решили собирать контент через обходные пути. И сэкономили миллионы. Но какой ценой?

Сейчас у Perplexity накопилось столько исков, что юристы уже, наверное, сбились со счёта.

А началось всё с того, что они (как и многие другие) просто не знали, как работает скрапинг и где проходит грань между "халявной публичной информацией" и "промышленным хищением данных".

Часть 2. СКРАПИНГ 101 (или: как не сесть в тюрьму, собирая данные)

Как у любого уважающего себя ремесла, у веб-скрапинга есть своя "карьерная лестница". И уровни здесь — это не столько про техническую сложность, сколько про наглость разработчика и, как следствие, юридическую опасность.

Давайте разберём четыре стадии падения в бездну на примере Perplexity, которая, как мы знаем, не любит полумер.

🐣 УРОВЕНЬ NOVICE: Парсинг для чайников (кушай бамбук, пока не прилетело)

На этом уровне сидят студенты, пет-проджекты и те, кто уверен, что интернет — это бесплатная помойка.

• Инструменты: Requests + BeautifulSoup. Накидал скрипт за 5 минут, забыл про лимиты, robots.txt даже не открывал.
• Подход: "Чё там эти умники пишут про time.sleep(5)? Плевать, давай на все 100 потоков."
• Результат: Твой IP-адрес блокируют через 20 секунд. Прилетает капча, а потом 403-я ошибка и чёрный список Cloudflare. Родительский сайт ругается на возросшую нагрузку.
• Почему это по-детски: Ты пытаешься украсть конфеты из магазина, крича на весь зал: "Я ВОР".
• Где был Perplexity: Так это школа для малышей. Взрослые дяди так не работают.

🚀 УРОВЕНЬ ADVANCED: Умный, но предсказуемый (маскировка под бабушку)

Ты понял, что банить будут сразу. Включаем голову.

• Инструменты: Selenium или Playwright, ротация User-Agent, пулы дешёвых датацентрик-прокси.
• Подход: "Я притворюсь настоящим браузером! Запущу headless Chrome и даже мышь немного подвигаю!".
• Результат: Ты всё равно не вывозишь. Современные системы анти-бот защит анализируют TLS-отпечатки, паттерны поведения и кучу других слоёв. Они вычисляют даже самый хитрый датацентрик. Google смотрит на твой IP, понимает, что он от AWS, и выкидывает капчу.
• Слив: Ты тратишь кучу денег на прокси, но всё равно проигрываешь. Ты пытался натянуть трусы на глобус, но они всё равно порвались.

🎩 УРОВЕНЬ PRO: Резидентный армагеддон (Куда ты смотришь, Cloudflare?)

Тут сидят настоящие титаны индустрии — ценовые агрегаторы, SEO-гиганты и серьёзные ИИ стартапы уровня Perplexity.

• Инструменты: Резидентные прокси (Residential Proxies).
  Что это? Это не железяки в дата-центре. Это IP-адреса реальных людей.
  Как это работает? В мире существуют огромные сети из 10 миллионов «живых» IP (например, недавно запущенная сеть CatProxies насчитывает более 10 миллионов устройств). Откуда они берутся? Пользователи скачивают бесплатные приложения, подписываются на сомнительные VPN или их роутеры просто взламывают, а их трафик перепродают парсерам.
• Цена: За доступ к живому IP просят от $1 до $2.5 за гигабайт трафика. Это дорого, но это единственный способ обойти Google.
• Антидетект-браузеры: Специальный софт, который генерирует для каждого потока уникальный цифровой паспорт (веб-отпечаток). Он будет менять видеокарту, процессор, шрифты и даже "дёргать мышкой" с разной амплитудой.
• Суть: Ты платишь провайдеру резидентных прокси, и твой запрос идёт через домашнюю сеть какой-нибудь бабушки из Огайо.
• Результат: Google видит легитимный IP от провайдера типа Comcast. Система защиты думает, что это реальный пользователь из пригорода.

Почему уровень PRO всё ещё не БОГ? Потому что ты тратишь сотни тысяч долларов, постоянно воюешь с капчами и рискуешь однажды обнаружить, что твоя фирма-партнёр по резидентным проксям попала в скандал (как Oxylabs и AWMProxy, которых Reddit указал в иске как посредников). Ты профи, но ты всё ещё просто выполняешь чужую волю.

☠️ УРОВЕНЬ GOD: Архитектор фальши (когда ты сам пишешь законы)

• Уровень ИИ, который сам пишет себе задание. Этот уровень объединяет всё: резиденты, антидетект, распределённые кластеры, машинное обучение для обхода ML-защиты.
• Инструменты: Ты арендуешь не просто прокси, а "ферму браузеров", используешь AI-агентов, которые сами анализируют структуру страницы и перестраивают пайплайн. Ты не просто маскируешься, ты симулируешь поведение целой сети людей.
• Результат: Ты можешь качать петабайты данных, и никто не сможет тебя заблокировать технически.

Вот тут в игру и вступает Perplexity. Они не просто парсят — они построили целую экосистему "на профессиональном уровне", чтобы обходить любые барьеры.

Используя схемы выше, Perplexity организовала промышленный сбор данных, за который сейчас её судят по всему миру. Технология тут ни при чём — это вопрос выбора: платить владельцам данных или грабить их с умом.

Часть 3. Как всё было устроено на самом деле ("А давайте сломаем систему")

После того как Reddit направил Perplexity требование прекратить доступ к контенту ещё в мае 2024 года, количество ссылок на Reddit в ответах Perplexity выросло в 40 раз. Это как если бы вас попросили не брать печенье, а вы пришли домой и выгребли всю кладовку.

А потом случился момент гениальной тупости со стороны Perplexity. Reddit подстроил ловушку: они создали тестовый пост, который был доступен только для краулера Google и не показывался обычным пользователям и другим сборщикам данных. И что вы думаете? Уже через несколько часов этот пост появился в ответах Perplexity. Это как если бы вы помеченную купюру в ограблении использовали — идиотизм чистой воды, но в суде это прямое доказательство вины.

Reddit сравнил это с помеченными купюрами, и теперь юристы Perplexity объясняют судьям, как так вышло.

Но самое смешное — Perplexity не просто игнорировала запреты. Они сознательно маскировали своих ботов под обычных пользователей, подменяли идентификаторы и использовали скрытых краулеров. Их официальный краулер PerplexityBot был заблокирован владельцами сайтов (исключён Cloudflare из списка проверенных ботов), но компания просто сменила имя и продолжила парсить. По данным Cloudflare, скрытые боты маскировались под Google Chrome на macOS и использовали IP-адреса, не входящие в заявленный диапазон Perplexity.

Когда их поймали, они начали оправдываться: мол, Cloudflare ошиблась, приписав нам чужие запросы, или просто решила устроить PR на нашем фоне. Классика.

Но есть ещё один слой грязи. Всё это было бы невозможно без целой индустрии посредников. Reddit подал иск не только против Perplexity, но и против трёх компаний, которые помогали собирать данные: SerpApi, Oxylabs и AWMProxy. Как работает схема?

Вы покупаете доступ к этим API, а они:

1. Прикидываются живыми людьми.
2. Собирают данные через чужие поисковики (в данном случае — через Google).
3. Маскируют происхождение данных, чтобы ни владелец контента, ни поисковик не поняли, что их обворовывают.

По сути, это как грабители, которые не могут залезть в банк, поэтому ломятся в инкассаторскую машину. Всё гениальное — просто.

Часть 4. А теперь суды (и почему они Perplexity не по зубам)

Список истцов растёт быстрее, чем revenue компании:

• NYT и Chicago Tribune подали иски в декабре 2025 года за прямое копирование статей и воспроизведение verbatim-фрагментов в ответах пользователям. Иск требует полного запрета на использование их контента.
• Reddit — самый масштабный иск с требованием постоянного судебного запрета, финансовых компенсаций и полного запрета на любое использование уже украденных данных.
• News Corp (владельцы WSJ и NY Post).
• CNN — самый свежий иск, май 2026 года, где они обвиняют Perplexity в незаконном копировании более 17 000 новостных статей и, внимание, рекламируют доступ к CNN через свой платный тариф Comet Plus, не имея лицензии. Оборзели уже совсем.
• Encyclopaedia Britannica и Merriam-Webster.
• А ещё классовый иск от пользователей, которые утверждают, что Perplexity передавала их личные данные Google и Meta без их согласия.

Стратегия защиты у Perplexity... скажем так, творческая.

Позиция Perplexity выглядит так: "Мы не воруем, мы суммируем публично доступные обсуждения и всегда ставим ссылки на источники", а сам иск называют "шантажом". А на претензии CNN их пресс-служба ответила: "You can’t copyright facts" (Нельзя закопирайтить факты). Технически это правда, но морально — уровень ЧСВ зашкаливает. Представьте, что вы печатаете чужую книгу целиком, меняете обложку и говорите: "Это не книга — это просто факты, расположенные в определённом порядке".

Однако реальные шансы на победу в судах у Perplexity, откровенно говоря, призрачные. Улики против них слишком явные.

Почему они, скорее всего, проиграют:

1. Ловушка от Reddit. Их поймали за руку. Доказательства, что Perplexity использовала данные, до которых у них не было легального доступа, подкреплены экспертным анализом и не вызывают сомнений.
2. Нарушение DMCA. Reddit строит иск вокруг нарушения Закона об авторском праве в цифровую эпоху (DMCA). Иск не о том, "плохо ли использовать контент", а о том, что Perplexity наняла третьи фирмы для обхода технических средств контроля доступа. Это уголовно наказуемое деяние в США. Сам факт, что они маскировали ботов, игнорировали robots.txt и нанимали посредников для обхода, делает их уязвимыми.
3. Верховный суд на их стороне? Нет. Да, в 2022 году в деле hiQ Labs против LinkedIn было принято решение, что парсинг публичных данных не нарушает CFAA. Но! Там была принципиальная разница: hiQ парсила напрямую публичные профили. Perplexity же парсила через Google, маскируясь под пользователей и нанимая посредников для обхода технических блоков. Это меняет юридическую квалификацию.

Иными словами, если бы Perplexity просто брала данные из открытого доступа — у них были бы шансы. Они пошли окольным путём, нарушив несколько законов на каждом этапе, и теперь за это расплачиваются.

Итог: Цена "экономии" и мораль

Perplexity "экономит" на лицензиях. А платит за это — миллиардными судебными исками, репутацией в руинах и будущим под угрозой. Они прошли по грани, но, судя по всему, с этой горки им уже не слезть. История с Perplexity — идеальный кейс о том, как "грязный" парсинг разрушает бизнес.

Они создали блестящий продукт, который на самом деле стоял на фундаменте из чужого контента, взятого через лазейки. Их пример — предупреждение каждому, кто думает, что можно срезать углы, где другие платят миллионы. Рано или поздно за это придётся ответить.

P.S. Тем временем OpenAI и Microsoft уже поняли, что лучше платить. Они постепенно легализуются, заключая сделки на миллиарды. Perplexity же продолжает "экономить". Посмотрим, чем это кончится. Я бы не хотел быть на месте их юристов в ближайшие пару лет.