Отзывы о книге Superintelligence: Paths, Dangers, Strategies

Автор пишет чрезмерно замудреным языком, переводчик проще не сделал изначально комковатые мысли. Казалось бы, а можно ли чисто изъяснятся, говоря о вещи, которой не существуют, которую только лишь предсказывают в зоне полуфантастики-полуугрозы?.. Но написано мутно, не достает архитетуры и редактуры какой-то на мой взгляд, много повторений идей или обрывочных умозаключений. Ссылок дофига -- последние процентов 10 книги это список литературы. Что вообще не помогает разобрать ход мысли автора.

В целом, как и подобает в разговорах об ИИ, это прежде всего возглас-предзнаменование, предупреждение и предостережение:

По оценкам экономиста Робина Хэнсона, основанным на исторических данных о хозяйственной деятельности и численности населения, время удвоения экономик охотничье-собирательского общества эпохи плейстоцена составляло 224 тысячи лет, аграрного общества — 909 лет, индустриального общества — 6,3 года[6]. (В соответствии с парадигмой Хэнсона современная экономическая модель, имеющая смешанную аграрно-индустриальную структуру, еще не развивается в удвоенном темпе каждые 6,3 года.)...

Искусственный интеллект. Этапы. Угрозы. Стратегии Ник Бостром

Идут теории: машинные, биологические, спонтанные - появления ИИ (биологические самые дикие, автор вообще не сечёт в теме, увы).

Опасности смакуются в нескольких главах. (и ужасны тем, что непредсказуема креативность Сверхразума!!...)

...Как и стратегии контроля, которые, скорее всего, будут бесполезны с мощным искуственным разумом (таких масштабов, как представляет себе автор).

Самое смешное, что даже при условии, что мы могли бы задать основную ЦЕЛЬ для ИИ (попытавшись обезопасить себя), мы бы банально не смогли сформулировать всеобщую идею добра! Это сфера философии, но учитывая этническое и культурное разнообразие, единого мнения быть не может. И каждую фразу можно извратить очень и очень сильно. Самое близкое, что смог сформулировать автор -- найти цитату Юдковского (автора в том числе небезызвестного Элиезер Юдковский - Гарри Поттер и Методы рационального мышления. Книга I ) по теме:

Когерентное экстраполированное волеизъявление Юдковский предложил, что зародышу ИИ следует задать в качестве конечной цели следование когерентному экстраполированному волеизъявлению (далее по тексту — КЭВ) человечества, которое он определял так: Наше когерентное экстраполированное волеизъявление — это наше желание знать больше; думать быстрее; быть в большей степени людьми, которыми нам хотелось бы быть; стать ближе друг к другу; сделать так, чтобы наши мысли сближали нас, а не разделяли, чтобы наши желания совпадали, а не пересекались; экстраполировать так, как нам хотелось бы экстраполировать; понимать так, как нам хотелось бы понимать[497]. Когда Юдковский писал это, он не ставил перед собой задачу создать инструкцию по воплощению в жизнь своего предписания, более напоминающего поэтическое воззвание. Его целью было набросать эскиз того, как могло бы быть определено КЭВ, а также пояснить, зачем нужен именно этот подход.

В целом, книга оставила сумбурные впечатления недопереваренной жвачки. Тема недораскрыта, либо будет понятна и приятна людям, кто с головой ушёл в проблему (причем с физико-математического ракурса), но были интересные факты и идейки. Лично я допускаю непредсказуемо и в моменте без человеческого участия возникший ИИ ( как в Марина и Сергей Дяченко - Пандем или Орсон Кард - Игра Эндера. Советник по инвестициям ), но сомневаюсь, что мы спродуцируем ИИ осознанно.

В книге присутствует мысль, что современникам хоть и страшно, но хотелось бы застать столь эпохальное событие, как возникновение ИИ: поэтому многие раздувают пожар ожиданий, вот-вот случится!.. Но это похоже на самообман, такой же, какой преследует человечества со времен постановки проблемы создания ИИ (что около дюжины ведущих мировых учёных набросают его концепцию за три месяца лета, ха-ха!). Или с идеей бессмертия (пока только крионика). Революция нет. Эволюция процесс медленный. Мир стагнирует. И тому самому небывалому ИИ было бы тесновато в таком энергетически обедненном пространстве (в цифровом интеренете есть где разгуляться, но тоже много "но", самосознание сложнее простой комбинаторики кусков информации).

Так что пока машинное обучение наш предел, может, оно и к лучшему.

С каждым днём в нашем мире цифровые технологии развиваются всё быстрее, а роботов становится всё больше. Даже сейчас вы читаете мой отзыв с устройства, который вполне может конкурировать с человеческим мозгом.

Шашки и шахматы компьютер уже давно щелкает как орешки, нещадно оставив за собой знаменитых гроссмейстеров, а вот карточные игры типа бридж и покер пока что не по зубам бездушной железяке.

Но все равно уже недалеко от нас те времена, когда искусственный интеллект обретёт мощь и свободу! Вот тогда человечеству придется совсем не сладко!

О том, почему некоторым джинам не под силу исполнять желания, чем страшны алгоритмы для счастливого человечества и о том, что будет с нами, когда шайтан-машина захватит весь мир -  рассказывает профессор философ Оксфордского университета Ник Бостром.

И да, всё будет совсем не так, как в Терминаторе!

Книга очень большая, подробная, местами нудная и сложная. Но меня она настолько увлекла, что прочитала я ее гораздо быстрее, чем "Краткую историю времени" Хокинга

Дочитал. Книга для подготовленного читателя, большая и изобилует терминологией. С футурологической точки зрения несет мало, но всем кто неравнодушен к тематике, почитать определенно стоит. Затрагивать какие-либо моменты в рецензии наверное смысла нет, тема настолько обширна что любой вопрос окажется вырванным из контекста.

В общем книгу рекомендую, тема раскрыта более чем. Типы ИИ, его намерения, ценности и проблемы контроля. Побег и захват власти, экзистенциальная катастрофа и сценарий порабощения цивилизации. :) Скучно не будет.

Пока ИИ юн и слаб, он полностью взаимодействует с людьми (причем активность сотрудничества повышается прямо пропорционально усилению его интеллектуального уровня). Но когда ИИ становится наконец мощным, то - без предупреждения или каких-либо провокаций, но всегда внезапно - наносит удар, формирует синглтон и начинает напрямую оптимизировать мир согласно критериям, положенным в основу его конечных ценностей.

О чем: почему неминуемо опасны разработки искусственного интеллекта, а также что мы можем с этим делать.

Резюме в одном абзаце. Пожалуй, это фундаментальный труд в сфере этики искусственного интеллекта. Книга – пример своеобразной sci-fi философии. Многостраничное исследование, в котором математические формулы причудливо смешиваются с философскими терминами, а опасности искусственного интеллекта разбираются буквально под микроскопом. Кому будет особенно интересно: предполагается, что ее должен прочитать любой, кто имеет отношение к разработкам и исследованиям в сфере искусственного интеллекта.

Кто написал: профессор Оксфордского университета, философ, автор более 200 публикаций, один из ведущих экспертов в сфере этики искусственного интеллекта, член наблюдательных советов Machine Intelligence Research Institute и Future of Life Institute, руководитель Future of Humanity Institute.

Ник Бостром – человек, определивший позицию Илона Маска, Билла Гейтса и тысяч других людей относительно экзистенциальных рисков создания сверхразума.

Когда написана: на английском в 2014 году, на русском опубликована в 2016-м.

Достоинства:

• Это – своеобразная «библия» этики искусственного интеллекта. Пожалуй, на сегодняшний день нет более объемного гуманитарного исследования, посвященного опасностям развития сверхразума.
• Исследование очень глубокое – одна только библиография занимает почти сто страниц.
• Книга остается актуальной даже спустя нескольких лет после ее издания в отличие от многих других книг по робототехнике и искусственному интеллекту. Очень медленное устаревание обусловлено не только гуманитарным характером исследования. В ряде случаев автор смог верно предсказать пути развития технологий. Сегодня это не самая легкая задача.
• Отличный перевод. Задача была очень трудной, и переводчик с ней справился на сто процентов.

  Недостатки:

• Исследование, возможно, даже слишком глубокое. К середине книги читатель рискует утонуть в волнах рассуждений автора, а страницы начинают состоять из длинных абзацев в лучших традициях немецкой философии.
• Иногда создается впечатление, что даже самую простую мысль автор может выразить только в узкоспециальных философских терминах, снабдив ее развернутыми умозаключениями и математической формулой.
• Хотя книга изначально предназначалась, прежде всего, для специалистов в сфере искусственного интеллекта, стиль написания на эту аудиторию явно не нацелен.

  Цитаты:

«Перед лицом перспективы взрывного развития интеллекта мы похожи на детей, играющих с бомбой. Именно таков разрыв между мощностью нашей игрушки и незрелостью нашего поведения. Сверхразум – это вызов, ответить на который мы не готовы сегодня, и не будем готовы еще долгое время». «Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество. И независимо от того, победим мы или проиграем – не исключено, что этот вызов станет для нас последним».

Андрей Незнамов

Подробно рассматриваются сценарии создания и развития интеллекта превосходящего человеческий.

Вероятно даже излишне подробно, так как размышления зачастую уходят в ветки развития со слабой или ошибочной предпосылкой в основе. Несмотря на очевидно высочайший уровень интеллекта автора, ошибки в такой масштабной аналитике неминуемы. Книга от этого начинает восприниматься как тяжелая в восприятии или специализированная.

Однако систематизация путей развития ИИ очевидно полезна. Поэтому с глубокой благодарностью к автору 5 баллов.

Изобретение сильного искусственного интеллекта интересует и вызывает предостережение у многих людей. Прежде всего образ ужасного искусственного интеллекта который хочет уничтожить человечество производит кино в ярких образцах типа «Терминатор» или «Матрица». Эта книга, которая была переведена на украинской совсем недавно, является своего рода феноменом, поскольку она описывает ИИ с двух точек зрения: преимуществ и угроз. Я буду описывать мысли Бострома относительно изобретения сильного ИИ, так как слабый искусственный интеллект уже существует в том или ином виде.

«Перед перспективой интеллектуального взрыва, мы - люди - похожи на детей, которые играют с бомбой. Именно такое впечатление возникает от несоответствия нашей игрушки и легкомыслием, с которой мы к ней относимся. Мы не готовы сейчас, и еще долго не будем готовы к вызовам суперинтеллекта. Неизвестно, когда взорвется эта бомба, но если прислонить ее к уху, можно услышать тихое тиканье ».

Возникновение ИИ:

Насколько я понял Бострома, он рассматривает две возможности изобретения сильного ИИ. Искусственный интеллект должен быть присущим человеческому и уметь выполнять несколько функций. Потому современный интеллект хоть и выигрывает от человека в шахматы или другие игры, но выполняет хорошо только одну функцию. Нужно провести демаркационную линию и дать определение функций сильном ИИ. Вот они:

1 Умение учиться.

2 Умение работать с неопределенностью и возможными величинами. Абстрактное мышление.

3 Способность получать информацию от органов чувств и превращать ее в целостные концепты. Развитое абстрактное мышление.

Бостром пишет о двух путях к открытию сильного ИИ. Первый - это путь развития плетения нейронных сетей и постоянное обучение и совершенствование алгоритмов. Второй - путь эмуляции целого человеческого мозга. Как только ИИ достигнет интеллектуального уровня человека то в дальнейшем следует ожидать кинетического интеллектуального взрыва искусственного интеллекта и сингулярности. А потом ИИ достигнет такого развития, что человек может только мечтать. Ему откроются тайны мироздания и невероятные возможности. Тогда по мнению Бострома, нам следует ожидать двух сценариев: либо он увидит в нас угрозу и уничтожит, или поможет в научных открытиях и колонизации космоса.

Бостром описывает возможные сценарии ИИ:

1 Предкритичное состояние. В результате длительной работы ученым удалось создать зерно ИИ. Оно будет улучшать собственный интеллект, сначала будет зависеть от людей, а в дальнейшем больше работы будет выполнять самостоятельно.

2 Рескурсивное самосовершенствования. В конце концов вклад зерна ИИ в улучшение собственного интеллекта превзойдет усилия программистов и способности ИИ быстро расти, вследствие чего интеллектуальные способности ИИ вырастут до небес. В конце которого ИИ становится суперинтеллектом.

3 Тайная подготовка. ИИ использовать суперспособности для построения стратегий. Не стоит ожидать фантастических событий. ИИ может затаиться, маскировать собственные мотивы и активно наращивать капитал.

4 Открытое создания Синглтон. Синглтон - это полная диктатура искусственного интеллекта над человеческой цивилизацией. ИИ набирает мощность и нападает на человечество, и здесь у нас по мнению автора, шансов ноль. ИИ будет возможность создать массовую оружие, человечеству и не снилась, с помощью био или нанотехнологий. Или пойдет путем манипулирования через СМИ.

Критика

Пожалуй, у каждого из нас я такой друг который очень любит фантазировать. Приходишь к нему и вместо разговоров начинаются фантазии на тему «если бы». Бостром именно такой друг. Довольно часто он от конкретики переносится в мир фантазий, где представляет как было бы замечательно, если бы мы перенесли сознание в сеть. Или фантазирует о колонизации космоса, или о том, что с помощью современных технологий, евгеники и генной инженерии, мы бы смогли создать идеальное государство Платона и достичь коллективного суперинтеллекта.

Мы живем в матрице

Также Бостром является одним из основных апологетов теории симуляции. Он верит и предполагает большую вероятность того, что мы живем в «матрице» или в компьютерной симуляции. Также этот ученый допускает возможность существования Бога или великого инженера, демиурга. В книге мало этой теории, но его идеи легко найти в сети.

Плюсы:

Варианты развития ИИ Угрозы и возможности Описание развитие ИИ Книга имеет много статистики и научных фактов.

Минусы:

Автор очень любит фантазировать Опасные идеи евгеники

Итоги

По мнению Бострома и многих других авторов, человечество сейчас находится на пороге новой эры. Это переход от Homo Sapiens к Homo Digitals. Этот переход может содержать как преимущества, так и угрозы, где большинство процессов будет отдано на откуп ИИ. Мнения ученых разнятся, от оптимистичных Бострома и Тенгмарка, Джеймса Бридли, автора книги «Новый темный век» или Тоби Уолша и его книги «2062 время машин».

Отмечу, что это не книга историка типа Харари, где он представляет возможные варианты, а математика и философа, профессора Оксфорда. И несмотря на некоторые мнимые элементы, это очень профессиональная книга с графиками и формулами, подробным описанием истории и развития ИИ. Мне книга понравилась, и я еще не раз ее в будущем перечитывать. Рекомендую ознакомиться с будущим которое уже стучится в наши двери.

Вопросы , которые поднимает автор довольно фундаментальные. Есть масса интересных моментов , о которых я даже не догадывался , хотя интересуюсь ИИ давно . Автор довольно подробно рассматривает ключевые моменты создания ИИ и Сверхразума , задается основными вопросами , которые должны возникнуть у человечества. Но с определенного момента стает занудой , увязает в длинной и пустой терминологии которая только путает и утомляет. К несомненным минусам можно отнести -

• частое повторение одной и той же мысли
• чрезмерное употребление пустой терминологии
• чрезмерную классификацию , ничего не дающую для понимания вопроса
• автор нагоняет объем книги - он вполне мог бы уместить все свои мысли на 30% изданной книги
• глава с математикой вообще ниочем
• наивность суждений и как минимум спорность некоторых "фундаментальных умозаключений"

  Думаю с книгой стоит ознакомиться - но без фанатизма , а прочитать от корки до корки не вижу смысла.