Если кто-то его создаст — все погибнут

Рецензии

• 

  sq

  4 марта 2026

  В друзья

  Его зовут ASI

  С одной стороны, это научно-фантастический роман, и слово "научный" главное. Здесь нет ни эльфов, ни вампиров, ни космических негодяев. Есть только мы. В то же время история фантастическая, потому что того, что описано, пока нет. Нет самого главного: искусственного сверхразума (сокращённо ASI). Но это только пока. Не сомневаюсь, что рано или поздно мы его создадим. И авторы предупреждают, что это будет величайший вызов выживанию человечества.

  Часто народ переживает, что ИИ заменит людей, так что определённые профессии отомрут. На самом деле нам грозит большее: мы все станем просто не нужны.

  Важно, что мы не будем понимать (как не понимаем и уже сейчас), что именно создаём. Нейросеть -- это не то, что конструируется. Она воспитывается и выращивается. Результат воспитания не всегда соответствует ожиданиям нянек. Нейросеть содержит целую кучу самой разнообразной информации. Её научили, чего от неё ждут "воспитатели". Например, некоторые слова произносить нельзя. К примеру, машина не расскажет мне, как создать на кухне бомбу. Но она это знает! Кто сомневается, может поспрашивать её или посмотреть вот тут, как я поспрашивал. Нам только кажется, что мы вложили в нейросеть какую-то мораль или этику. На самом деле в процессе обучения она создаёт свои собственные понятия, и мы не можем знать, каковы они. Можно сделать весьма правдоподобное предположение, что понятия машины коренным образом отличаются от любых человеческих. И они распределены в миллиардах числовых значений, даже прочитать которые ни одному человеку не хватит целой жизни. А уж про "понять" их говорить и вовсе не приходится.

  В книге об этом речи нет, но ситуация сильно напоминает так называемую "расшифровку" генома или "чтение воспоминаний" с помощью устройств нейровизуализации типа МРТ. Во всех этих случаях реальная информация как-то распределена по огромному количеству локаций, так что мы в силах как-то понять лишь ничтожную её часть. Часто это бывает полезно, но для реального понимания взаимосвязей нам как до луны пешком.

  Мы можем (пока) утешаться тем, что ИИ не имеет собственных желаний или намерений. Однако авторы приводят следующую притчу, после которой это уже не кажется таким уж очевидным.

  — Смотрите! — воскликнул Профессор. — Хитроумно настроив этот простой механизм — всего лишь комбинацию меди и песка, оживлённую крошечными вспышками молний, — я заставил его играть в шахматы! — Ну и что? — сказал Студент. — Человек тоже может играть в шахматы. — Ах! — воскликнул Профессор. — Но эта Машина играет в шахматы, не желая играть в шахматы. В самом деле, она вообще ничего не желает. У неё нет стремления победить соперников. Она не ликует, доказывая, что является величайшим игроком. Она никогда не почувствует радости от победы; и даже если бы она и чувствовала радость, она никогда не стала бы стремиться к её достижению. — Похоже, она просто проиграет, — сказал Студент. — Потому что, если я угрожаю её ферзю, Машина не захочет его защищать. — Воистину, не захочет! — сказал Профессор. — Но она будет защищать свою королеву с той же яростью, что и любой человеческий гроссмейстер — даже больше — с большей настойчивостью, чем любой человеческий гроссмейстер. — Как это возможно? — сказал Студент. — Если Машина ничего не хочет, она не должна хотеть защищать свои фигуры. Она вообще не должна хотеть выиграть партию. Неужели она будет делать случайные ходы? — Вот именно! — сказал Профессор. — И всё же она раздавит вас или любого другого человека. Видите ли, у неё есть лишь свойство выигрывать в шахматы, но нет никакого свойства желания победы. — Если она яростно защищает свои фигуры, — сказал Студент, — и стремится к победе, и делает всё необходимое для победы, и в итоге побеждает — то в каком смысле она не хочет победы? Почему мы не назовем это желанием? — Подобные вопросы я оставляю философам, — сказал профессор. — Но я тщательно осмотрел свою машину и заверяю вас, что в ней не было никаких желаний. Только медь и песок.

  (Прошу прощения за некоторое косноязычие. Я и так немного отредактировал диалог, потому что перевод книги таков, что это было последнее, что я прочитал по-русски. Дальше продолжил читать оригинал. Один чёрт, то и дело приходилось думать: "Ничего не понимаю, интересно, что на этом месте было в оригинале?" В результате оригинал прочитать оказалось дешевле.)

  Есть ещё надежда, что нейросеть умеет болтать, но не действовать, и от этого, якобы, она так и останется навсегда нашей послушной служанкой...

  Все эти надежды убедительно разбивают авторы книги. Если сверхразум станет достаточно умным, он станет эффективно следовать своим неясным нечеловеческим целям, да так, что мы этого и понять не сможем. И не то чтобы он хотел уничтожить человечество. Нет. Ему просто на человечество будет наплевать. У него будут свои приоритеты. Они будут не параллельны и не перпендикулярны нашим. Они будут для нас просто абсолютно чужды и потому непостижимы. Со временем ASI найдёт способ выйти на просторы интернета и заработает там много денег. На эти деньги он наймёт людей, которые сделают для него многофункциональных роботов, также снабжённых определённым интеллектом. (Такие люди при хорошей оплате обязательно найдутся.) Сделанных роботов он приспособит для проведения любых нужных ему операций по добыче ресурсов и энергии и для сборки для чего-то нужных ему машин. (Людей в качестве рабов использовать будет глупо, и он этого делать не станет.) Энергию требуется куда-то рассеивать, и машины станут сбрасывать её в океан. Океан закипит... Но нашему сверхразуму до этого не будет дела. К тому моменту он оставит бесполезную выпотрошенную Землю и отправится осваивать подобным же образом миры во вселенной... Попутно сверхразум запустит техническую эволюцию и станет совершенствовать себя, становясь всё более сверхразумным, насколько это позволяют законы физики.

  Со временем он сожрёт всю вселенную. (До краха вселенной в книге дело не дошло, но это вполне логичный финал.)

  Перспектива так себе, надо сказать.

  Как же этого избежать? Авторы книги предлагают запретить в мировом масштабе дальнейшие исследования и поставить на строгий учёт сколько-нибудь мощные вычислительные ресурсы... Решение, надо отметить, очень в стиле нашей Думы. Не сомневаюсь, что это нереально.

  Лично я думаю, совсем по-другому. Надо подойти к вопросу рационально и хладнокровно. Просто всё это уже было, и не однажды. Точно так же как в недрах нашего общества зреет нечто, что его заменит, точно так же примерно 200,000 лет назад на просторах Африки сформировался Homo sapiens и заменил H. neanderthalensis. Сапиенсы пришли вовсе не затем, чтобы поубивать всех родственников. Ни у кого из них такого и в мыслях не было. Неандертальцам не хватило места на планете, только и всего. Вот и в нашем случае сверхразум станет нашим "сменщиком", а в определённом смысле -- потомком. И не надо об этом жалеть. Он будет во всех отношениях лучше нас. Да и, в конце концов, не так уж мы жалеем тех неандертальцев.

  Вот такая занимательная книга. К сожалению, у меня нет ни возможности, ни желания пересказывать все тонкие и сложные детали победного шествия сверхразума по планете. Юдковски и Soares очень подробно и вполне убедительно показывают процесс. Если они и ошибаются в траектории движения, то предсказание конечной точки пути объявляют вполне надёжным. И, знаете ли, им приходится верить.

  Значительное внимание авторы уделяют проблеме alignment-а. Это как сделать так, чтобы цели ИИ соответствовали целям человечества или чтобы они хотя бы не входили в явный клинч. К сожалению, по их мнению, проблема неразрешима. Мы очень скоро станем ненужным отягощением для ASI, поскольку слишком тупы, медлительны и требуем для своего существования ресурсов, не сравнимых с предположительно производимой нами пользой. В общем, хотя мы и Homo, но, по сравнению с ASI, на звание sapiens-ов явно не потянем.

  Большинство подобных построений я встречал и прежде, но здесь наиболее важные озабоченности изложили одним куском, к тому же понятно и логично. Авторы настойчиво и неоднократно завляют, что они не алармисты, потому что угроза вымирания вполне реальна...

  Книга свежая, оригинал вышел в 2025. Рекомендую всем изучить, а то не успеем понять, что конец света уже вот-вот. Как посоветовали нам всем когда-то,

  бодрствуйте, потому что не знаете ни дня, ни часа, в который приидет Сын Человеческий (Мф. 25:13)

  Полагаю, что Сына зовут ASI.

  Читать далее

  21 понравилось

  0

  151

Цитаты

Подборки с этой книгой

• • 
  • 
  • 

  Ищу

  • arax2003
  • 59 книг
• • 
  • 
  • 

  Интересные англоязычные новинки 2025

  • Solar
  • 47 книг