Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире

Практически все, кто не использует компьютер исключительно как калькулятор и пишущую машинку, игрались с ChatGPT, генерировали простенькие тексты и удивлялись диковинке. Стивен Вольфрам, который десятилетия работает над системой WolframAlpha, в своей книге пытается пустить нас за кулисы этой прорывной технологии и объяснить, как всё работает. Получается ли? Ответ неоднозначный. Для начала стоит уяснить, что под обложкой скорее собран сборник эссе. Здесь не будет предисловий, долгих вступлений, увесистого списка исследований, попытки разложить факты по полочкам. Автор рвётся сразу в бой, закидывает простенькими выводами практического характера. Как и любое эссе, это не способно ответить на все возникающие вопросы, а скорее приоткрывает дверцу в мир ChatGPT. Вторая часть текста и вовсе закольцована на собственных разработках Вольфрама с элементами рекламы и самопродвижения, но одновременно даёт пищу для размышлений – в частности, новые технологические концепции. И, наверное, именно в них и состоит смысл проделанной работы.

Небольшая, на пару сотен страниц, книга, заметная часть которой посвящена не собственно нейросетям, а системе Wolfram|Alpha — детищу автора книги, Стивена Вольфрама. В принципе, мне было даже интересно почитать про эту систему и про недостатки в работе ChatGPT, которые она способна исправить, но не уверен, что это будет интересно многим.

Кроме того, местами автор, наоборот, рассказывает о Wolfram|Alpha и о своих концепциях недостаточно, как ни странно. Например, в книге не раз встречается код, написанный на языке Wolfram, но нигде не говорится, как этот код можно выполнить. Вроде бы, пробную версию Wolfram Language можно заполучить по ссылке https://www.wolfram.com/language/ Но эта пробная версия выдаётся только на 15 дней, а в форме выбора страны при регистрации нет России. Короче говоря, хотелось бы, чтоб точная информация давалась непосредственно в книге, раз уж примеры там иллюстрируются кодом на языке Wolfram — не самом популярном в мире.

В целом же книга может служить неплохим введением в тему. Кратким и преимущественно теоретическим (если не считать примеров кода на Wolfram), но неплохим — общие принципы из книги уловить можно. Помимо теории языковых моделей, автор излагает и основные идеи нейросетевого обучения в целом, рассматривая, в частности, работу компьютерного зрения на классических примерах — распознавании рукописных цифр и картинок котиков.

Не знаю, правда, насколько содержимое книги удастся воспринять совсем уж новичку в этой теме. Не будут ли сложны фразы типа:

«Вычисление wx+b — это всего лишь вопрос умножения и сложения матриц. Функция активации f вводит нелинейность, и в конечном счете именно это приводит к нетривиальному поведению».

Это высказывание вполне понятно тем, кто уже разбирается в нейросетях. Но если вы не знаете, что такое матрицы, функция активации и нелинейность, кажется, что с восприятием возможны проблемы. Некоторые термины в книге поясняются, но далеко не все и не слишком подробно.

В заключение отмечу, что с момента выхода книги для ChatGPT уже был сделан плагин Wolfram|Alpha. Так что идеи объединения этих двух сервисов, которые излагаются в книге, уже воплощены в жизнь.

Книга — настоящий deep dive в механизмы работы нейросетей. Вольфрам, как всегда, основателен: он не просто объясняет, как ChatGPT пишет тексты, но и погружает в фундаментальные принципы работы больших языковых моделей, статистики и вероятностей.

Читается увлекательно, но местами требует хорошей математической подготовки. Если термины вроде «токены», «градиентный спуск» и «трансформеры» пока ничего не говорят, придется напрячься. Однако даже без полного понимания всех деталей книга дает мощное представление о том, как устроен современный ИИ.

Вердикт: интересно, полезно, но придется перечитывать.

Книга небольшая, 192 страницы.

Как менялись ощущения на протяжении чтения:

40ая страница: отлично написано, самое то для введения. Что там дальше?
80ая страница: В целом скорее непонятно, это точно для неразбирающихся в теме?
120ая страница: Хм, а вообще... В этом что-то есть. Какие-то общие идеи улавливаются
192 страница: очень странное чтиво. Может быть, автор решил над всеми подшутить и вся книга составлена с помощью ChatGPT???

Минусы:

• Скачущая сложность текста и отсутствие дисклеймеров
• Парадоксальным образом, автор в итоге не ответил на вопрос "как устроен ChatGPT?" 3. Непонятно для кого в итоге писался текст: для новичков он слишком сложен, а нужен ли был уже разбирающимся специалистам?

  Плюсы:

• Первые 33 страницы хороши.
• Книга даёт понять, какие вопросы гуглить, чтобы разобраться в теме
• В книге есть котики(но их немного)