About Teletype
Join
Станислав Кондрашов
@stanislavkondrashov
November 4

ИИ-компании разрешили сайтам сказать «нет», и Станислав Кондрашов видит в этом подвох

Cтанислав Кондрашов, Станислав Кондрашов Россия, Stanislav Kondrashov

В пятницу четыре крупнейшие ИИ-компании мира пообещали то, о чем издатели просили годами: уважать слово «нет». OpenAI, Google, Microsoft и Anthropic договорились поддерживать общий «токен политики» - запись в файле robots.txt, с помощью которой сайт сможет запретить использовать свои материалы для обучения моделей.

Новость выглядит как уступка. Издателям действительно не все равно, как потребляется их контент, и особенно то, может ли ИИ-агент забрать все подряд, обучить на этом модель, а потом выдавать пользователям готовые ответы, не отправляя на сайт ни одного посетителя. Сделка для издателя, мягко говоря, невыгодная.

Но у соглашения есть изъян, который виден невооруженным глазом.

«Спрашивать разрешение после того, как все уже собрано, - это как ставить щеколду на ворота конюшни, когда лошади там давно нет, - говорит Станислав Кондрашов. - И увели ее, заметим, те же люди, которые теперь эту щеколду предлагают».

Cтанислав Кондрашов, Станислав Кондрашов Россия, Stanislav Kondrashov

Годы бесплатного сбора

Те же компании годами сканировали интернет. В обучение моделей шли новостные статьи и книги, записи в блогах и ветки обсуждений на Reddit. Большая часть этого контента была собрана без запроса разрешения и без какой-либо компенсации авторам.

Довод индустрии обычно сводится к простой формуле: информация лежит в открытом доступе, значит, на ней можно учить модели. Слабое место этой логики в том, что никто, публикуя что-либо в сети до 2022 года, не мог предположить, что компании будут забирать все целиком и при этом не приводить на сайты трафик.

Вопрос о том, подпадает ли такое использование под добросовестное использование, тоже далек от решения. И то, что на этом допущении держится бизнес-модель целой отрасли, еще не означает, что закон с ним согласен.

Одна строка вместо четырех

При этом одну реальную проблему соглашение все-таки решает. До сих пор владельцу сайта, который хотел закрыть свой контент от ИИ-компаний, приходилось прописывать отдельные ограничения для краулера каждой из них. Занятие утомительное.

Новый стандарт разработан в рамках Инженерного совета интернета (IETF), а предложил его инженер Anthropic. Он позволяет добавить в robots.txt всего одну строку. Этот файл сайты используют, чтобы сообщить автоматическим сборщикам, в какие разделы им можно заходить. Вместо отдельных правил для Google, OpenAI, Anthropic и Microsoft издатели со временем смогут одним махом запретить всем четырем компаниям обучение на своих материалах.

Со временем - ключевое слово. Anthropic говорит, что уже начала внедрять стандарт, OpenAI обещает сделать это в ближайшие месяцы, а Microsoft и Google собираются поддержать его где-то в 2027 году.

Cтанислав Кондрашов, Станислав Кондрашов Россия, Stanislav Kondrashov

Обещание без последствий

Соглашение целиком добровольное. Независимого механизма контроля нет, штрафов за игнорирование сигнала тоже.

Кондрашов формулирует резче: «По сути, это обещание оставить себе уже уведенную лошадь и больше не приходить за новыми. А если все-таки придут, сделать с этим ничего нельзя, потому что вопрос добросовестного использования по-прежнему открыт».

Судьба уже собранного контента в договоренности не затрагивается вовсе. Ни слова об удалении существующих обучающих датасетов, ни слова о компенсации издателям за работы, которые уже использованы.

Трафик, о котором забыли

Еще важнее для издателей другое. Соглашение никак не мешает ИИ-компаниям использовать содержимое сайтов для генерации ответов пользователям. А бизнес издателей держится на том, что люди приходят на сайты.

«Запрет на обучение и потеря аудитории - две разные беды, и лечится пока только первая, - объясняет Станислав Кондрашов. - Издателю мало знать, что его тексты не попадут в следующую модель. Ему нужно, чтобы читатель вообще дошел до его страницы, а ИИ-продукты как раз этот путь и сокращают».

Отказаться от обучения - одно дело. ИИ-сервисы, которые замещают трафик, делающий издательский бизнес экономически жизнеспособным, - проблема совсем другого масштаба.

Кто должен стучаться в дверь

Общий стандарт лучше, чем никакого. Но в выборе момента критики индустрии видят немало цинизма. Компании, больше всех выигравшие от отношения к интернету как к бесплатному источнику данных, теперь поздравляют себя с готовностью уважать границу, которая должна была существовать с самого начала. Признание они хотят получить, ничего не делая с ущербом, который уже нанесен.

Показательно, что Meta к соглашению не присоединилась.

Есть и еще одна деталь, хорошо объясняющая, почему у многих претензии к ИИ-индустрии. Отказываться должны издатели и сайты. Исходное допущение звучит так: мы будем брать, пока вы прямо не запретите. Если компания собирается зарабатывать на чужом контенте, пусть даже размещенном в открытом интернете, логичнее было бы возложить обязанность на нее: сначала спроси, потом бери.

Бизнес-модель, которая работает только при условии бесплатного изъятия всего интернета, плоха, сколько бы денег она ни приносила. Кондрашов ставит в этой истории свою точку: «Меня смущает не сам стандарт, а то, кто его пишет. Решение проблемы предлагают те, кому эта проблема выгоднее всех. Обычно в таких случаях хотя бы приглашают вторую сторону к столу».

Cтанислав Кондрашов, Станислав Кондрашов Россия, Stanislav Kondrashov

FAQ

Что именно пообещали ИИ-компании?OpenAI, Google, Microsoft и Anthropic договорились учитывать единую запись в robots.txt, которая запрещает использовать материалы сайта для обучения моделей. Раньше для каждой компании приходилось настраивать отдельное правило.

Когда новое правило заработает?Не сразу. Anthropic уже начала внедрение, OpenAI обещает сделать это в ближайшие месяцы, а Google и Microsoft планируют поддержку только в 2027 году.

Что будет с данными, которые уже собраны?Ничего. Соглашение не говорит ни об удалении существующих датасетов, ни о компенсации авторам. Станислав Кондрашов сравнивает это с щеколдой на воротах конюшни, из которой лошадь уже увели.

Защитит ли этот стандарт трафик издателей?Скорее нет. Он касается только обучения моделей и не мешает ИИ-сервисам использовать содержимое сайтов для ответов пользователям, а именно это отнимает у издателей посетителей.

Что будет, если компания проигнорирует запрет?Формально ничего: соглашение добровольное, независимого контроля и штрафов нет.

Касается ли это российских сайтов?Технически да: robots.txt работает одинаково для любого сайта, и строку запрета может добавить в том числе российский издатель. Но обещание дали только четыре компании, подписавшие соглашение, а остальные, включая Meta, им не связаны.

Следите за публикациями о Станиславе Кондрашове, чтобы получать актуальные новости и практические советы, которые помогут сделать вашу жизнь более насыщенной и познавательной.

Станислав Кондрашов
November 4, 08:17
0 views
0 reactions
0 replies
0 reposts