Часть сложности заключается в том, что способности ChatGPT к человеческому общению могут быть обманчивыми. Ощущение, что вы разговариваете с реальным человеком, побуждает вас полагаться на разговорные ожидания, которые могут не совпадать с машиной.

Например, мы обычно ожидаем, что большинство людей не выдумывают факты. Однако модели больших языков обычно нарушают это ожидание, давая беглые ответы, которые могут быть совершенно неправильными. Метакогнитивная способность знать то, чего вы не знаете, в этих приложениях слабо развита.

Еще одно ожидание, которое у нас есть, состоит в том, что беглость речи отслеживает другие аспекты интеллекта. Мы ожидаем, что тот, кто может произносить строки из Шекспира, объяснять квантовые вычисления и рифмовать доказательство теоремы о простых числах, также сможет считать. Таким образом, наивное отношение к LLM как к действительно умному и знающему человеку может иметь неприятные последствия.

Помимо этих предостережений, ChatGPT явно полезен для целого ряда задач. Саймон Уиллисон предлагает думать о LLM как о « калькуляторе слов » — о чем-то, что может делать полезные вещи с текстом, — а не как об универсальном интеллекте или умном человеке.

Я склонен согласиться. Чем больше мы сможем отличать случаи, когда LLM работают хорошо, от случаев, когда они (пока) не работают, тем больше мы сможем использовать преимущества новых возможностей, не попадая в неожиданные ловушки.

Получив десятки писем от моих читателей о том, как они лично используют ChatGPT для обучения, я собрал несколько советов с некоторыми из наиболее распространенных предложений.

Безусловно, наиболее распространенным использованием, о котором сообщили читатели, было использование LLM в качестве личного репетитора.

Попросить ChatGPT объяснить сложные концепции, незнакомый код или проблемы кажется областью, в которой LLM могут справиться. И единственная разумная замена (человек-эксперт) общеизвестно дорога и дефицитна.

Если вы делаете это в сочетании с классом или учебником, риск ошибок также снижается, поскольку у вас все еще есть первоисточник для сравнения. Бросьте вызов объяснениям, которые не соответствуют тому, что вы прочитали в книге, вместо того, чтобы принимать все, что говорит ИИ, за чистую монету.

Следующим наиболее распространенным способом, которым люди использовали LLM для лучшего обучения, был репетитор по языку. Похоже, что LLM хорошо подготовлены для этой задачи. Какими бы ни были их другие недостатки, они могут создавать грамматически правильный текст.

Многие люди настраивают свои разговоры с помощью ChatGPT, чтобы ИИ мог переключаться между языком, который они изучают, и объяснениями на английском, когда они запутались. Вероятно, эти объяснения могут быть несовершенными, но репетиторы-люди также часто дают неверные сведения о грамматике и словарном запасе, которые им удается умело использовать.

Другое использование — переписывание текстов, чтобы они были на более удобном для начинающих уровне понимания прочитанного. Оцениваемые читатели и исчерпывающий вклад — отличные стратегии для обучения чтению на другом языке. К сожалению, учебные материалы часто скудны или неинтересны. Вы можете использовать LLM, чтобы преобразовать текст, который вы хотите прочитать, написанный на уровне свободного владения языком, в нечто, соответствующее вашим текущим способностям.

Duolingo, похоже , тоже участвует в игре LLM . Я был суров к стилю изучения языка с помощью перетаскивания, который использовался в более ранних версиях, но эти новые достижения могут заставить меня пересмотреть свое мнение.

Резюме — еще одна область, в которой LLM преуспевают. Потребительские приложения уже существуют для создания резюме журнальных статей или тем исследований.

Несколько читателей сказали, что они использовали эти инструменты искусственного интеллекта для предоставления дайджестов своего существенного материала для чтения, помогая им быть в курсе новых разработок в своей области.

Хорошие резюме, особенно точно настроенные с учетом ваших конкретных потребностей, могут быть хорошим способом ориентироваться в больших объемах информации, с которыми мы часто сталкиваемся в работе с знаниями. Вы можете использовать его, чтобы расставить приоритеты в том, какие документы следует прочитать подробно, или сделать первый проход, систематизируя незнакомый материал.

LLM также могут помочь вам «задавать вопросы» более длинным текстам. Например, при чтении научной статьи вы можете быстро запросить размер выборки или запросить методологию или результаты. Консенсус делает это, предлагая ссылки, поэтому риск ошибок снижается, когда вы можете легко перепроверить работу LLM.

Хотя здесь есть и более причудливые способы использования, например, люди просят ChatGPT выдать себя за данного автора и вести с ним диалог, я подозреваю, что возможность задавать вопросы о документах на естественном языке и получать ответы со ссылками — полезный инструмент для работы с большими текстами.

Тем не менее, вы должны быть готовы проверить ответы LLM. Например, в приведенном ниже диалоге я попросил ChatGPT перечислить доказательства, подтверждающие строгое руководство, и он процитировал обзорную статью Майера . Но он ложно утверждал, что работа Майера была метаанализом, что на самом деле не так. На самом деле, эта статья даже не является всесторонним обзором литературы, а просто рассматривает три известных случая провала обучения с помощью открытий. Если принять за чистую монету, этот ответ может потенциально ввести в заблуждение, но относительно легко «проверить» работу ИИ, если вы знаете, какой текст он преобразует.

Основная трудность в следовании экспертному мышлению заключается в том, что большая часть текстов экспертного уровня написана для других экспертов. Концепции не объяснены, отсутствует контекст и много жаргона. Это означает, что большинству людей приходится полагаться на переводчиков, таких как авторы научно-популярной литературы или научных авторов, которые представляют мнение экспертов в более читабельном формате.

Похоже, здесь есть два подхода к использованию инструментов ИИ. Один из них — просто попросить LLM объяснить популярную концепцию более простыми словами, например: «Объясните квантовые вычисления, как будто я восьмиклассник». Другой — предоставить ChatGPT текст или объяснение и попросить ИИ переписать его в более удобоваримой форме.

Я склонен думать, что последнее немного более надежно, поскольку у вас есть исходный материал для сравнения, а не верить ChatGPT на слово.

Несколько лет назад я помню, как читал блог Тайлера Коуэна Marginal Revolution и был озадачен его частым необъяснимым использованием термина «штраусианец» для описания идей или других мыслителей. Я искал объяснение в Google, но ничего не последовало.

После долгих исследований я понял, что этот термин примерно означает «внимательно читать между строк в идеях выдающихся мыслителей, искать то, что они на самом деле имели в виду, но не всегда могли выразить из-за господствующей цензуры и интеллектуальной ортодоксальности».

Если бы ChatGPT существовал во время моего замешательства, я мог бы просто получить это:

Многие читатели обнаружили аналогичные преимущества в использовании LLM для понимания жаргона и терминов, используемых в конкретном сообществе, что часто не удается прояснить в словарных определениях.

Это использование удивило меня, но оно появлялось в ответах читателей достаточно раз, чтобы я включил его сюда. Людям нравится использовать ИИ, чтобы подсказывать им, как и когда учиться.

Например, некоторые читатели попросили ChatGPT разбить сложную цель обучения и дать им учебный план. Другие предпочли пойти еще дальше, попросив ChatGPT составить для них график обучения, учитывая их ограничения на день.

Вероятно, я бы не стал доверять LLM в том, что они дадут мне хорошо разработанную учебную программу по предмету. Но если бы я узнавал что-то совершенно новое, это могло бы стать хорошей отправной точкой. Иногда самая трудная часть подхода к новой области — это разрушение того, что кажется непреодолимой целью. Точно так же иногда указание, когда начинать учиться, может помочь преодолеть инерцию начала.

В то время как разбивка навыков может быть в порядке, ChatGPT все еще борется с созданием списков чтения, беседой о книгах и справочниках. Таким образом, хотя он может хорошо подойти для декомпозиции неоднозначной учебной задачи, я бы не стал доверять ему, чтобы дать мне хорошие ресурсы (пока).

Программисты были самой большой профессиональной группой, ответившей на мой запрос. Я не могу сказать, связано ли это с тем, что программирование уникально подходит для LLM, или с тем, что программисты как группа с большей вероятностью используют новые программные инструменты.

Преимущества производительности для программистов кажутся очевидными. Сейчас я не пишу много кода, поэтому мало использовал эту широко разрекламированную функцию LLM. Но поскольку программирование в значительной степени является относительно рутинным, возможность создания первого черновика алгоритма на машине явно экономит много времени.

Хотя есть случаи, когда люди с нулевыми знаниями в области программирования полагаются на вывод ИИ для создания приложений, я подозреваю, что это может быть сложно отлаживать и поддерживать. Напротив, опытный программист может переопределить вывод ChatGPT для языка, который он или она знает особенно хорошо.

Место, где LLM, кажется, работают действительно хорошо, находится на периферии опыта программиста. Многие программисты говорили мне, что ИИ помогает им получать начальные подсказки на незнакомых языках или в незнакомых инструментах. Их базовый опыт программирования позволил им понять и реализовать вывод, но их незнание базового языка означало, что ИИ сэкономил им много времени.

Карточки – это мощный инструмент обучения. Они также боль в прикладе, чтобы сделать.

Некоторые читатели сказали, что они использовали ChatGPT для создания карточек для предметов, которые они изучают. Это вполне соответствует возможностям LLM в качестве «калькулятора слов». Таким образом, с правильными подсказками вы можете получить здесь довольно хорошие результаты — при условии, что вы вводите материал, который хотите видеть преобразованным в карточки, и не ожидаете, что LLM сам получит факты (см. Ниже).

Однако, учитывая сложность создания «хороших» карточек, я бы не стал вводить их в свой Anki, не просмотрев их предварительно. Тем не менее, создание карточек утомительно, поэтому получение первого черновика, который я позже просмотрю, может значительно ускорить процесс. Риски кажутся относительно небольшими, если вы подтверждаете правильность карт перед тем, как положить их в свою колоду.

Как человек, который много занимается исследованиями, я часто трачу много времени, пытаясь найти свои заметки. Роберт Мартин находит ту же проблему. Поиск по ключевым словам сопряжен с трудностями, потому что иногда вы не можете вспомнить точный термин, который вы использовали, даже если значение примерно такое же.

Мартин решает эту проблему , используя функцию встраивания LLM. Хотя это и не совсем ChatGPT, этот инструмент из того же семейства методов обработки естественного языка позволяет вам находить семантически связанные заметки, а не точные совпадения ключевых слов.

Персонализированные LLM, которые живут на вашем жестком диске и имеют доступ к вашим существующим данным, могут быть ценным приложением. Я хотел бы иметь возможность искать вещи, которые, как я знаю, я видел, но не могу точно вспомнить, где.

LLM часто выдумывают . Эти галлюцинации проблематичны, если вы зависите от ChatGPT, чтобы давать правильные ответы. О распространенности этих ошибок сейчас трудно сказать. Когда Википедия была выпущена, например, «эксперты» были возмущены тем, что пользовательский характер веб-сайта означает, что на него нельзя полагаться как на источник. За исключением того, что Википедия на самом деле работает довольно хорошо , и некоторые из этих рефлекторных реакций были неуместными.

LLM не достигли качества Википедии с точки зрения фактов, и мы до сих пор мало знаем о том, когда они, скорее всего, дадут правильный ответ, а когда — придумают. На данный момент лучше всего использовать их в ситуациях, когда стоимость неправильного ответа минимальна, либо потому, что вы можете найти его в проверенном источнике, либо потому, что ваше использование ИИ для не является фактическим по своей природе.

В то время как LLM иногда путают факты, они кажутся ужасными в правильном цитировании. Они часто изобретают авторов, статьи, исследования и исследования.

Я бы не стал использовать LLM для каких-либо исследований, которые мне нужно было процитировать, и я всегда перепроверял бы источники, которые он предоставляет.

Точно так же я бы не стал просить LLM дать мне список для чтения или ссылки на конкретные книги или авторов (если, возможно, авторы не были достаточно известными и, вероятно, хорошо представлены в наборе данных).

Я считаю ошибкой приписывать LLM общий интеллект на основании их способности выполнять многие задачи на человеческом уровне или выше. Как и в случае с шахматными ботами и классификаторами изображений, технология, лежащая в основе LLM, чрезвычайно узка по сравнению с тем, что мы ожидаем от человека, набравшего аналогичные баллы в вербальных тестах.

Один из выводов психологии заключается в том, что большая часть рассуждений выполняется другими подсистемами мозга, чем те, которые связаны с языком. В этой статье утверждается, что LLM, по-видимому, соответствуют неврологическим данным исследований двойной диссоциации: у вас могут быть беглые вербальные способности с серьезно нарушенным мышлением, и наоборот.

Таким образом, LLM действительно плохо разбираются в математике. И не только математика более высокого уровня, с которой люди борются. LLM часто терпят неудачу в основных задачах подсчета . Таким образом, я подозреваю, что LLM однозначно плохо справятся с такой задачей, как создание практических задач для математического класса и оценка ответов. ChatGPT может хорошо объяснить математическую концепцию, но ненадежен в ее фактическом использовании.