Внимание в человеческом мозге
Раз уж мы коснулись механизмов внимания в трансформерах, давайте теперь поговорим о механизмах внимания у нас с вами, как раз интересную статью нашла, даже две.
Ансамбль агентов
Разные модели немного более или менее способны в решении разных задач: кто лучше следует инструкциям, кто хорошо пишет код и так далее. Идея в том, чтобы объединить несколько разных моделей и использовать их сильные стороны.
"Сильный" ИИ: прогнозы и этика
Когда ИИ превзойдёт человека и превзойдёт ли, никто не знает. Кто говорит к 2040 году, кто говорит, что вот прям щас, в следующем году. А кто считает, что никакого превосходства ИИ не будет ни в каком обозримом будущем. Мы с вами совсем недавно вот обсуждали статью про то, что у современных языковых моделей есть непреодолимые ограничения, которые не позволят с ними достичь искусственноинтеллектуального превосходства.
Машинный бред
Начну этот пост с признания: сегодняшняя статья попала в мой список на разбор благодаря яркому названию: «Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models» («Машинный бред*: описание проявляющегося пренебрежения к правде в больших языковых моделях»). Обратите внимание на то, что это препринт, то есть, публикация не отрецензирована.
Великий Китайский Интернет
В связи с блокировками (или попытками блокировок) всего и вся у нас в России я часто наблюдаю сравнения нашего Интернета с китайским. И здесь есть разные мнения: одни говорят, что скоро будет как в Китае со списком разрешённых приложений и полной блокировкой от внешнего мира, другие – что в России всё развивалось по-другому с самого начала, поэтому как в Китае не получится.
На самом деле люди в основном нормальные
(... просто информация передаётся не целиком)
Извлечение целей пользователя в диалоге
Много раз мы с вами здесь говорили о том, что настройка ИИ на человеческие предпочтения – дело сложное: у всех свои предпочтения, и заранее не угадаешь. Авторы статьи «Goal Inference from Open-Ended Dialog» предлагают обучать ИИ на предпочтениях пользователя в процессе взаимодействия.
Мозг в числах
Мы как-то обсуждали эссе Ричарда Саттона про то, как статистика и масштабирование наборов данных позволили создать более продвинутый ИИ, чем годы исследования мозга.
Языковые модели преисполнились в копировании
Наткнулась на небольшую любопытную статеечку, хочу поделиться.
Влияние ChatGPT на когнитивные способности
В июне этого года вышла работа группы исследователей из MIT «Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task». Объём её внушителен, так что я буду представлять довольно сжатую версию того, что наиболее важно (на мой взгляд). За подробностями, как обычно, обращайтесь к первоисточнику.