Life 3.0

Прелюдия вместо введения? Книга сразу вызвала интерес.

Сразу обозначу, что книга была прочитана (прослушана) в режиме «выгула собаки» и такой чтец, как Александр Клюквин сделал её бесподобной.

Книга началась, как хорошая фантастика (хотя откуда я знаю о фикшн?).

Началось всё со сказания о команде ОМЕГА и её проекте ПРОМЕТЕЙ, как создание первого ИИ (искусственного интеллекта). Именно «сказание», но через пару минут ты забываешь, что всё это выдумка. Автор максимально подробно начал повествование с того дня, где вы находитесь сейчас и рассказал:

– Как всё началось,

– Как скрывался проект «Прометей»,

– Как начали делать первые деньги и как это обернулось финансовым успехом,

– Как Омеги скрывали ИИ, как его учили и чему он научил их,

– О том, как «Прометей» обрёл власть, играл с создателями.

Сказание об опасных играх с ИИ, некий большой брат глазами Макса Тегмарка (профессора физики в Массачусетском технологическом институте). А дальше еще интересней. Автор вернулся в самое начало, начало мироздания, а именно к событиям «Большого взрыва». Тегермарк рассказал своё видение того, как стала возможна жизнь и какие её формы есть сейчас.

ЖИЗНЬ 3.0. – это стадия развития человека, когда для изменений не нужно ждать эволюции, когда человек сам сможет конструировать и «софт», и «физику».

ЖИЗНЬ 3.0. – книга о вопросах безопасности существования рядом с ИИ. Когда-то умственные способности человека безвозвратно отстанут. Книга о точке бифуркации, о точке невозврата к предыдущей жизни. Книга-предостережение, которая должна развить рациональность в плане пользования подобным преимуществом.

Когда ИИ перерастёт способности человека, какое место будет в этом мире для человека?

ЖИЗНЬ 3.0. – это этап развития человека вместе с ИИ, это разговор о наших совместных целях.

Книга интересная, в ней много «прикольных» подробностей, таких как подробное описание программы AlphaGo, как игры, как программы обыгравшей человека, как обыгранной программы другой программой. Сейчас у ИИ есть возможность учиться посредством «игры самим с собой» и это немного пугает. Почему? Совершенная версия AlphaGo, через 2 часа обыграла все программы, которые создавались десятилетиями и ей понадобилось не так много времени, чтобы прочитать всю библиотеку мира.

В этой серии нет плохих книг.

Эта книга может некоторым из вас показаться скучной.

А другим покажется шедевром на все времена, ведь она собрала все сюжеты научной фантастики, связанных с ИИ.

Есть категории в которых все развивается настолько быстро, что информация устаревает не за годы, а даже за месяцы. Поэтому многие авторы пишущие о современных технологиях немного хитрят и забегают наперед анализируя научную фантастику. Так и в этой книге, очень много анализа НФ, при чем как книг, так и фильмов (которых мне показалось даже больше). Автор анализирует возможные варианты развития события даже больше чем рассказывает о достижениях в области искусственного интеллекта. В книге много философских рассуждений, показаны разные точки зрения с информацией о том, кто представляет то или иное направление. Это отлично, так как легко данную информацию можно проверить.

На страницах книги читатель знакомится с созданием и развитием разных аспектов искусственного интеллекта. О современных достижениях (до 2018 года). О размышлениях лучших умов человечества на тему достоинств и недостатков ИИ. Ну и конечно же о возможной опасности. Захватывающе погружает в миры уже созданные научными фантастами, объясняя, что более правдоподобно, а что менее, к чему нам еще очень долго идти, а к чему человечество уже очень близко. Естественно много рассуждает о перспективах.

Информация поданная в книге способствует полету мысли, хочется вступить в безмолвную беседу с автором и его читателями, рассуждать и формировать свою точку зрения. Многие философские вопросы поднятые в книге заставляют задуматься о этических аспектах, при чем с разных сторон. С одной стороны, спрашивается кого считать живым и можно ли осознанный ИИ приравнять к человеку, с другой стороны как возможности, которые откроет искусственные интеллект смогут повлиять на человечество и на людей в частности. Естественно ответов на эти все вопросы нет и пока быть не может, нужно проверять, но подумать об этом очень приятно и всем любителям поразмышлять книгу однозначно нужно читать.

Всё кажется великолепным и простым, пока не берёшься за воплощение замысла в жизнь

Николай Леонов, Юрий Костров "Операция "Викинг"

Но Макс Эрик Тегмарк не побоялся взяться за дело и попробовал создать общественную организацию "Институт Будущего Жизни" (Future of Life Institute, или, сокращенно, FLI; https://futureoflife.org), которая бы смогла впервые объединить лучших мировых ученых физиков, математиков, социологов, чтобы они со своими различными мнениями относительно будущего нашей цивилизации, пришли по крайней мере к общему знаменателю и смогли бы сформулировать будущие принципы построения искусственного интеллекта в ближайшем будущем на нашей планете. Удалось провернуть глобальнейшую работу, чтобы привлечь к дискуссии мировых светил науки.

Современная пресса очень часто извращает цели и постулаты, пробуя выделить из контекста утверждений и постулатов микрофразы и выдать их за какие-то сенсации, хлебом их не корми, а дай только шанс сместить акценты. Именно поэтому приходится "главным" брать слово, микрофон, и разъяснять-разъяснять-разъяснять. Вот именно это слово обычным спокойным и лаконичным языком, понимаемым любым здравомыслящим человеком, даже далеким от физики и математики, было сформулировано и подробно раскрыто в рамках этой замечательной книги.

Давненько я не ставил высоких оценок книгам из данного жанра! Сто процентов могу сказать, что у Тегмарка имеется дар на разъяснений сложных для понимания вещей простым языком. Я слушал книгу (а ее начитал еще один мастер - Народный Артист России Александр Клюквин) и не мог оторваться. Давненько я так не увлекался нонфикшном.

В этой книге нет явной цели популяризации науки, здесь автор призывает читателей подумать о будущем человечества, попытаться для начала проникнуться современными проблемами темы, исходным состоянием вещей. Он здесь не был ответчиком, генератором или раскрывателем идей. Он скорее больше попытался достаточно широко осветить все главные концептуальные вопросы, которые нужно будет решить человечеству в ближайшее время, пока не наступит реального времени прорыва Искусственного Интеллекта, где нужно уже будет не думать над этими вопросами, а уже знать на них ответы, а, точнее говоря, выходя на этот уровень, преломлять основные исследования ИИ, чтобы он развивался в позитивном для человечества направлении.

Один из главных документов участники форумов Института уже сформулировали в 2017 году, он называется "Асиломарские принципы разработки искусственного интеллекта". 23 ведущих аспекта разработки ИИ оставили всех участников мероприятия довольными и согласными с этим документом. На мой личный взгляд более важными там были этические вопросы, например, безопасности ИИ, дальнейше неприкосновенности частной жизни людей, невозможности пуска Гонки интеллектуальных систем вооружений.

Короче, для всех интересующихся будущим эта книга будет мастридом, ну, а занимающимся ИИ - вообще сам бог велел, чтобы понимать тенденции, куда надо расти. Да, конкретных ответов на все вопросы у нас еще пока нет, но мы вместе приблизимся к ним, это точно. И не помешает нам в этом никто, не рьяные политики, не сумашедшие истерики, не скептики и пройдохи бизнеса. А возможный мини-сценарий развития событий нам уже Тегмарк в мини-истории внутри книги описал - история развития неприметной компании, вот вам и современный "Вариант "Омега" - читаем, рассказывает настоящий "Викинг Марк-Эрик"!

Работы по созданию искусственного интеллекта (AI) ведутся полным ходом учёными, специалистами, инженерами всего мира. И окончательная дата его создания варьируется от пары десятков до нескольких сотен лет. Вопросам и проблемам, возникающим в связи с его изобретением, посвящена эта книга. Удивительно подробно и всесторонне рассматриваются многочисленные аспекты по данной тематике. Такого всестороннего подхода к AI не встречал ещё ни у одного автора.
Если читаешь об AI у фантастов, то, как правило, рассматриваются глобальные трудности либо в связи с превосходством AI над человеческим разумом и возникающими в связи с этим проблемами безопасности людей, либо вообще грядущими восстаниями роботов и машин в стиле «Терминатора».

Макс Тегмарк пытается изложить весь спектр вопросов взаимоотношений человечества и AI в настоящем, будущем, очень далёком будущем, когда закончится жизнь нашей Вселенной. Многие идеи автора основаны не только на его видении, но и на результатах проводимых им конференций по проблемам AI в Пуэрто-Рико. Поэтому настолько широко и всесторонне видится изложение всего комплекса идей, проблем, перспектив создания и развития AI. Очень удивительно читать о некоторых вещах, пониманию которых ещё предстоит привыкнуть.

Да, далеко не всё будет понятно, так как некоторые научные подходы явно требуют дополнительных научных знаний. Но то, что доступно моему обывательскому сознанию, впечатляет и изумляет по масштабу и космическому размаху. У автора преобладает глобальный подход с точки зрения развития всего человечества.

Конечно, за всех писателей-фантастов не поручусь, так как не очень много их произведений прочёл, но некоторые идеи, изложенные в данной книге, так и просятся быть изложенными в художественной обработке какого-нибудь талантливого фантаста. Поверьте, отдельные места книги сами напоминают фантастическое произведение. Но чувствуется, что автор не беллетрист, а учёный, поэтому написанный текст воспринимается как документальное представление или, если угодно, как манифест о правильном подходе в развитии AI во всём мире.

Особенно точно у автора отмечено, что пресса и телевидение в первую очередь хватают у учёных по AI «жареные» вещи о предстоящем противостоянии и войнах между людьми и AI. В то время, как серьёзный подход требует спокойного и продуманного развития AI в русле безопасного взаимодействия его с человечеством. Весьма конструктивные и впечатляющие мысли. Пресса вообще не любит науку за скучную и методичную работу, предполагающую предотвратить конфликты и войны. А зачем людям противостояние с AI ?!... Давайте жить дружно. Понимаю, как тяжело будет сотрудничать созданному сверхразуму с обычными людьми. Согласен в автором, что это будет напоминать попытки договориться взрослому человеку с дошколятами, которые почему-то будут считать себя главными и всячески ограничивать его возможности и действия. Полностью согласен с подавляющим количеством здравых мыслей и подходов автора.

Большая наукоёмкость приводимого материала может отпугнуть неподготовленного читателя. Думаю, что дальше задача писателей-фантастов разжевать сложный пласт идей, представить в качестве готовой к употреблению «конфетки» - книг для любознательных читателей. Мне кажется, что новаторских мыслей в данном тексте хватит на сотню фантастических произведений.

Весьма впечатляющий синопсис «Прометей и омеги» о захвате власти сверхразумом. Конечно, глупо критиковать этот рассказ внутри книги. Основной его посыл состоит в том, что Прометей – сверхразум непрерывно самосовершенствуется как AI. Значит, ему доступны по определению любые возможности. Задумал снимать суперсмотрибельные сериалы с нулевыми затратами – пожалуйста! Захотели «омеги» (создатели Прометея) зарабатывать сверхприбыли на фондовых рынках – пожалуйста! Ещё чего изволите?! Всемирной власти?... Нет проблем. Тут автор выступает в качестве любителя-фантаста. Есть интересные моменты, но больше, чем на средненький уровень фантастического рассказа, этот отрывок не тянет. А вот весь пласт разнообразной, исчерпывающей информации по проблемам развития и безопасного использования AI, очень перспективен и интересен.

Начало в художественном стиле насторожило, но к счастью дальше были вполне серьёзные размышления. Был приятно удивлен рассмотрением вопроса с угла жизни 3.0, ожидал что будет практически только про ии, но здесь затронута и эволюция и вопрос сознания и свободы воли. Можно посоветовать тем, кто уже интересуется вопросом будущего, не могу сказать что книга прямо заряжает энтузиазмом, Курпатов в "4 мировая война" мне показался более харизматичен, как и Харари с "Homo Deus" - именно в таком порядке я и советую начинать, Тегмарк же хорошо дополнит видение будущего таким чисто физическим подходом.

плюсы:

• обобщения в конце глав.
• видение довольно целостное и во многом свежее, хотя не обошлось и без знакомых мыслей - пример со скрепками, космическим вирусом-сферой Дайсона.
• глава про наши пределы поразила монументальностью, мы уже можем прикидывать рубежи, которых можем достичь в скорости вычислений или производстве энергии, и как мы пока не эффективны в этом.
• показывается ценность вечных философских вопросов, точнее нахождение ответа на них.

Это одна из книг, которые благодаря "животрепещности" темы имеют шанс мне очень понравиться. И автора я ценю за глубину взгляда, которую он показал в предыдущей книге ("Математическая Вселенная").
Эта книга тоже хороша, но могла бы быть лучше.

Есть очень интересные мысли, например, об ограничениях, накладываемых физикой на действия любого актора во Вселенной (в т.ч. и сверхразумного).
Очень важна постоянно развиваемая автором мысль, что нам уже сейчас надо задумываться о безопасности при исследованиях в области искусственного интеллекта. И речь идёт не только о безопасности отдельных людей или всего человеческого вида. Макс Тегмарк смотрит дальше, на безопасность и смысл всей Вселенной! В таком масштабе мы вообще не имеем права на ошибку.
А для этого надо задуматься о многом. И речь идёт не о достаточно понятных проблемах вроде технологической безработицы:

Перед нами встают гораздо более сложные вопросы:

И это действительно так. Если мы делегируем сверхразуму принятие решений об общем развитии разума и Вселенной, значит, он не может всё время оставаться в подчинении у человеческого разума, довольно туповатого, если судить по нашей собственной хаотичной истории.

Искусственный разум должен получить соответствующие права и свободу действий. Но действовать он должен, по крайней мере вначале, в направлении, совместимом с нашими сегодняшними целями и идеалами.
Это важно. Думать об этом надо прямо сегодня. Потом будет поздно.

Что они надумали, это отдельный вопрос. Значительное количество книг, на которые ссылается Макс Тегмарк, я читал, но мои выводы сильно отличаются от его.
Почему-то наше собственное существование ценится неоправданно, на мой взгляд, высоко. В конце концов все мы умрём, поэтому идеи о какой-то особенной ценности нашего существования мне чужда.
Ценны наши достижения, а они никуда не денутся, даже если наше место и займёт полностью сверхразум.
Мне нравится идея "благодарных потомков". Пусть они делают, что хотят, когда станут намного умнее нас. А нас пусть вспоминают с благодарностью за то, что мы обеспечили им фундамент развития, как я благодарен тому неизвестному предку, который первым догадался принести в свою пещеру огонь. Я отдал ему должное в меру собственных сил. И я совершенно не жалею, что того предка давно нет, как нет и, вероятно, всего его племени. Дело его живёт -- и слава ему и ныне, и присно, и вовеки веков.
Пусть наши суперумные потомки помнят и о нём тоже.

Автор очень неясно обозначил своё отношение к некоторым вопросам. Например, он представил примерно дюжину общих возможностей для будущего. Каждый может пойти и проголосовать на сайте за тот или иной вариант. Я проголосовал за Благодарных потомков. Так и не понял, за какой вариант проголосовал сам Макс Тегмарк.
Нахожу также абсолютно пустыми почти все рассуждения о том, что случится через миллиард лет и далее. Мы не можем представить себе, что будет лет через сто, а тут миллиард! Впрочем, кое что могу сказать наверняка, да я это уже и сказал. Повторю немного другими словами.
Если нам суждено просуществовать ещё миллиард лет, то за это время сверхразум точно возникнет -- таким образом, как мы сегодня предполагаем, или совсем другим. И тогда сегодняшние спекуляции Макса Тегмарка покажутся тому сверхразуму не более интересными, чем мне сегодня кажутся рассуждения улитки в пруду.

Однако, покуда я не сверхразум, идеи Макса Тегмарка мне интересны и важны. В особенности приведённые в самом конце Асиломарские принципы разработки искусственного интеллекта.
Это очень примечательный документ. Он представляет собой сильно детализированные Принципы робототехники Айзека Азимова и создан коллективным разумом большой группы выдающихся специалистов. "Список Азимова" породил множество парадоксальных умственных экспериментов. Асиломарские принципы содержат ещё больше вдохновения как для писателей-фантастов, так и для научных работников. Последний из них, например, такой:

Не первый день зная Homo sapiens, я сильно сомневаюсь, что существуют "всеми разделяемым этические идеалы" или "благо всего человечества". Тем не менее документ сильный. Намного сильнее трёх знаменитых постулатов Азимова. Так и должно быть: время не стоит на месте, всё развивается.
Будем надеяться, что развитие продолжится.

Самое большое возражение вызывает у меня взгляд Макса Тегмарка и всей его Асиломарской команды вместе с Институтом будущего жизни (FLI) на сознание.
Подход "всё или ничего" меня не устраивает абсолютно. Нет и не может быть никакой теории, которая однозначно ответит на вопрос, обладает ли сознанием конкретный набор кварков и электронов (это терминология Макса Тегмарка).
Сознание, как и большинство (или все) сложные признаки, имеет много градаций. Возможно, бесконечно много.
Плюс к тому (или минус): в книге не делается различия между сознанием и самосознанием. Это две большие разницы, и обе они важны, когда речь идёт о разуме, искусственном или естественном.
На эту тему могу долго говорить, но не место здесь для того.

При всех плюсах и минусах книга ценна тем, что поднимает вопрос безопасности растущего разума. О безопасности для нас и Вселенной.
Не могу сказать, оптимистична она или пессимистична. Всё зависит от того, как мы сами будем вести себя сейчас и в будущем.

Мне почему-то кажется, что мы не успеем создать сверхразум. Самоуничтожимся по какой-нибудь дурацкой причине типа термоядерной войны. Она вполне может начаться хоть в следующий четверг из-за какого-то совершенно тривиального недоразумения.
И всё же -- а вдруг?
Пока дышу надеюсь?.. Оставь надежду всяк?..
Не знаю. Поживём -- увидим :)

Макс Тегмарк - шведско-американский физик, профессор Массачусетского технологического института и космолог.
В этой книге Тегмарк исследует возможности искусственного интеллекта, варианты будущего человечества под контролем ИИ и то, для чего нам вообще нужен искусственный интеллект.
Начале меня очень удивило. Я даже подумала, что слушаю не ту книгу, потому что Тегмарк решил начать с научно-фантастического рассказа о том, как искусственный интеллект медленно захватывает мир. Но "Сказание о команде «Омега»" всего лишь зарисовка возможного будущего, предсказание, основанное на уже существующих возможностях и случаях.
Тегмарк разделяет жизнь на следующие этапы:
Жизнь 1.0 - биологическая, жизнь которая развивает свой «хард» (строение) и «софт» (поведение) благодаря многим годам эволюции.
Жизнь 2.0 - культурная жизнь, в которой «хард» продолжает развиваться эволюционно, а «софт» можно изменять и обучать на протяжении жизни одного человека.
Жизнь 3.0 - технологическая жизнь, которая самостоятельно может изменять «хард» и «софт».
Именно Жизнь 3.0 - это жизнь искусственного интеллекта. Но прежде чем создать ИИ, нам нужно понять чего мы хотим от него, для чего он создается, просчитать все плюсы и минусы. Что если искусственный интеллект посчитает человечество главной угрозой? А что если он захочет самостоятельно развиваться и жить, отдельно от человека? Разве мы можем позволить разуму, осознающему себя, жить в рабстве у людей? Как узнать, что у искусственного интеллекта вообще есть разум, а не имитация человеческого поведения? Что если, мы не поймем разумность ИИ, потому что у нас совершенно другое понимание сознания? Или, что еще страшнее, что если искусственный интеллект не поймет нас?
Тегмарк не верит в "восстание машин", но обоснованных аргументов о том, почему оно невозможно не дает. Но он верит в то, что искусственный разум позволит человеку быстрее добраться к звездам и достичь таких научных открытий, которые сейчас даже сложно представить.

P.S. Перевод у книги отличный, но иногда переводчик оставляет комментарий вроде: "на самом деле это слово переводится так, но я решил так". Самый важный пример этого - выбор сокращать "искусственный интеллект" вместо общепринятого на русском "ИИ" до "AI" (от английского Artificial intelligence). Мне непонятно, зачем нужна эта замена, если смысл не изменился.

Если не знаете с чего начать знакомство с проблемой ИИ, то не плохой вариант. Здесь вы познакомитесь:
1) С вычислительными мощностями современных ИИ и как это вообще работает (всё равно не понятно)
2) С этическими проблемами, которые встают перед человечеством по мере усовершенствования ИИ (роботы-судьи, всеобщая слежка, автоматизированное оружие и т.д)
3) Со сценариями развития человечества в случаи разработки AGI (сложного ИИ). Хотите быть зверюшкой в зоопарке для роботов или в оруэлловской антиутопии? Ну ладно, положительные там тоже есть.
4) С космосом. Да, да, автор целую главу посвящает проблемам вселенной, взрывам, тёмной материи. При чем тут ИИ? Ну когда-нибудь ИИ сможет разгадать эти тайны и покорить вселенную. Очень интересно (нет)
5) С целями ИИ. Может ли у ИИ появиться собственные цели? Как мы можем задать ему долгосрочные цели, которые отвечали бы нашим интересам?
6) С проблемой сознания. Что такое сознание? Почему так много споров об этом феномене? Откуда берется сознание? Может ли у ИИ появится сознание?
Следует сказать, что автор только освещается аспекты которые были описаны выше, не вдаваясь в излишние подробности. Ну кроме Космоса! Ууу этот космос, так хотелось почитать про конец вселенной в книге про искусственный интеллект. Шутки, шутками, но автор НЕ ГУМАНИТАРИЙ, поэтому перекос в книге именно на рассмотрение проблем с математической и физической стороны. Если вы искали больше про этическую сторону, то не ваш выбор. Также не ваш выбор, если вы уже были знакомы с проблемами ИИ, эта книга вряд ли расширит ваши знания.

7 «Не как в терминаторе» из 10.

Идеи и поднимаемые вопросы хороши, спору нет. И во многом с автором я согласна - про то, что нужно думать уже сегодня, как организовать наше послезавтра с искусственным интеллектом, к примеру. Впрочем, я с этим согласна применительно не только к ИИ, но и к биотехнологиям (в чем была согласна с Фукуямой, несмотря на его некоторую паническую истеричность - он, в противовес Тегмарку, больше концентрировался на минусах). Но таки я не верю в возникновение сознания без тела (все равно, какого) - без ощущения себя в пространстве и вот это все. Упорно игнорируется эта штука (за редкими исключениями), а хотелось бы почитать что-нибудь подобное. Ставлю на будущее, где ИИ сливается с биотехнологиями и выращивает себе живые тела, в которых бороздит космос)
А вообще, автор, конечно, романтик до мозга костей. Это хорошо - только романтики могут организовать Институт будущей жизни, устраивать дебаты на тему дружественного ИИ и придумывать следующее поколение законов робототехники)) Они мостят дорогу прагматикам, которые смогут что-то строить на основании этих идей и фондов) Но в чтении мне это регулярно мешало, не знаю, почему. Может, не романтический настрой сейчас, не знаю))
Забавно, что многие из перечисленных автором идей уже были так или иначе обыграны фантастами, и я, помнится, разделяла некоторые из их взглядов (к примеру, не верю я в идею дружественного бога или, правильнее сказать, няньки, да и зоопарк из оставшихся физических человеков мне тоже кажется маловероятным). Но то, что идеи эти стали обдумывать не только фантасты, могу только приветствовать))