Superintelligence: Paths, Dangers, Strategies

A New York Times bestseller Superintelligence asks the questions: What happens when machines surpass humans in general intelligence? Will artificial agents save or destroy us? Nick Bostrom lays the foundation for understanding the future of humanity and intelligent life. The human brain has some capabilities that the brains of other animals lack. It is to these distinctive capabilities that our species owes its dominant position. If machine brains surpassed human brains in general intellig...

Жанры

Рейтинг LiveLib

3,9

91 оценка

5
26%
4
45%
3
23%
2
4%
1
1%

Ваша оценка

Прочитали 110Хотят прочитать 712

Рецензии

Аноним2 сентября 2021 г.
Автор пишет чрезмерно замудреным языком, переводчик проще не сделал изначально комковатые мысли. Казалось бы, а можно ли чисто изъяснятся, говоря о вещи, которой не существуют, которую только лишь предсказывают в зоне полуфантастики-полуугрозы?.. Но написано мутно, не достает архитетуры и редактуры какой-то на мой взгляд, много повторений идей или обрывочных умозаключений. Ссылок дофига -- последние процентов 10 книги это список литературы. Что вообще не помогает разобрать ход мысли автора.
В целом, как и подобает в разговорах об ИИ, это прежде всего возглас-предзнаменование, предупреждение и предостережение:

По оценкам экономиста Робина Хэнсона, основанным на исторических данных о хозяйственной деятельности и численности населения, время удвоения экономик охотничье-собирательского общества эпохи плейстоцена составляло 224 тысячи лет, аграрного общества — 909 лет, индустриального общества — 6,3 года[6]. (В соответствии с парадигмой Хэнсона современная экономическая модель, имеющая смешанную аграрно-индустриальную структуру, еще не развивается в удвоенном темпе каждые 6,3 года.)...
Искусственный интеллект. Этапы. Угрозы. Стратегии
Ник Бостром
Идут теории: машинные, биологические, спонтанные - появления ИИ (биологические самые дикие, автор вообще не сечёт в теме, увы).
Опасности смакуются в нескольких главах. (и ужасны тем, что непредсказуема креативность Сверхразума!!...)
...Как и стратегии контроля, которые, скорее всего, будут бесполезны с мощным искуственным разумом (таких масштабов, как представляет себе автор).
Самое смешное, что даже при условии, что мы могли бы задать основную ЦЕЛЬ для ИИ (попытавшись обезопасить себя), мы бы банально не смогли сформулировать всеобщую идею добра! Это сфера философии, но учитывая этническое и культурное разнообразие, единого мнения быть не может. И каждую фразу можно извратить очень и очень сильно. Самое близкое, что смог сформулировать автор -- найти цитату Юдковского (автора в том числе небезызвестного Элиезер Юдковский - Гарри Поттер и Методы рационального мышления. Книга I ) по теме:

Когерентное экстраполированное волеизъявление
Юдковский предложил, что зародышу ИИ следует задать в качестве конечной цели следование когерентному экстраполированному волеизъявлению (далее по тексту — КЭВ) человечества, которое он определял так:
Наше когерентное экстраполированное волеизъявление — это наше желание знать больше; думать быстрее; быть в большей степени людьми, которыми нам хотелось бы быть; стать ближе друг к другу; сделать так, чтобы наши мысли сближали нас, а не разделяли, чтобы наши желания совпадали, а не пересекались; экстраполировать так, как нам хотелось бы экстраполировать; понимать так, как нам хотелось бы понимать[497].
Когда Юдковский писал это, он не ставил перед собой задачу создать инструкцию по воплощению в жизнь своего предписания, более напоминающего поэтическое воззвание. Его целью было набросать эскиз того, как могло бы быть определено КЭВ, а также пояснить, зачем нужен именно этот подход.
В целом, книга оставила сумбурные впечатления недопереваренной жвачки. Тема недораскрыта, либо будет понятна и приятна людям, кто с головой ушёл в проблему (причем с физико-математического ракурса), но были интересные факты и идейки. Лично я допускаю непредсказуемо и в моменте без человеческого участия возникший ИИ ( как в Марина и Сергей Дяченко - Пандем или Орсон Кард - Игра Эндера. Советник по инвестициям ), но сомневаюсь, что мы спродуцируем ИИ осознанно.
В книге присутствует мысль, что современникам хоть и страшно, но хотелось бы застать столь эпохальное событие, как возникновение ИИ: поэтому многие раздувают пожар ожиданий, вот-вот случится!.. Но это похоже на самообман, такой же, какой преследует человечества со времен постановки проблемы создания ИИ (что около дюжины ведущих мировых учёных набросают его концепцию за три месяца лета, ха-ха!). Или с идеей бессмертия (пока только крионика). Революция нет. Эволюция процесс медленный. Мир стагнирует. И тому самому небывалому ИИ было бы тесновато в таком энергетически обедненном пространстве (в цифровом интеренете есть где разгуляться, но тоже много "но", самосознание сложнее простой комбинаторики кусков информации).
Так что пока машинное обучение наш предел, может, оно и к лучшему.
Читать далее
6
592
Аноним11 июля 2021 г.
Это не техника дошла, это я сама дошла, на лыжах!
С каждым днём в нашем мире цифровые технологии развиваются всё быстрее, а роботов становится всё больше. Даже сейчас вы читаете мой отзыв с устройства, который вполне может конкурировать с человеческим мозгом.

Шашки и шахматы компьютер уже давно щелкает как орешки, нещадно оставив за собой знаменитых гроссмейстеров, а вот карточные игры типа бридж и покер пока что не по зубам бездушной железяке.

Но все равно уже недалеко от нас те времена, когда искусственный интеллект обретёт мощь и свободу! Вот тогда человечеству придется совсем не сладко!

О том, почему некоторым джинам не под силу исполнять желания, чем страшны алгоритмы для счастливого человечества и о том, что будет с нами, когда шайтан-машина захватит весь мир - рассказывает профессор философ Оксфордского университета Ник Бостром.

И да, всё будет совсем не так, как в Терминаторе!

Книга очень большая, подробная, местами нудная и сложная. Но меня она настолько увлекла, что прочитала я ее гораздо быстрее, чем "Краткую историю времени" Хокинга
Читать далее
6
378
Аноним22 января 2017 г.
Дочитал. Книга для подготовленного читателя, большая и изобилует терминологией. С футурологической точки зрения несет мало, но всем кто неравнодушен к тематике, почитать определенно стоит. Затрагивать какие-либо моменты в рецензии наверное смысла нет, тема настолько обширна что любой вопрос окажется вырванным из контекста.
В общем книгу рекомендую, тема раскрыта более чем. Типы ИИ, его намерения, ценности и проблемы контроля. Побег и захват власти, экзистенциальная катастрофа и сценарий порабощения цивилизации. :) Скучно не будет.

Пока ИИ юн и слаб, он полностью взаимодействует с людьми (причем активность сотрудничества повышается прямо пропорционально усилению его интеллектуального уровня). Но когда ИИ становится наконец мощным, то - без предупреждения или каких-либо провокаций, но всегда внезапно - наносит удар, формирует синглтон и начинает напрямую оптимизировать мир согласно критериям, положенным в основу его конечных ценностей.
Читать далее
6
1,1K

Все рецензии

Цитаты

Аноним12 марта 2016 г.
"К несчастью, скоро появится оружие, которое уничтожит мир. К счастью, мы получили грант на его создание!"
3
1K
Аноним2 апреля 2025 г.
Принцип общего блага не исключает коммерческих интересов отдельного человека и компаний, действующих в соответствующих областях. Например, соответствовать этому принципу можно было бы, согласившись, что все «свалившиеся с неба» доходы от создания сверхразума — доходы немыслимо высокого уровня (скажем, триллион долларов в год) — распределяются между акционерами и прочими заинтересованными лицами так, как это принято сегодня, а те, что превышают этот порог, — равномерно между всеми жителями планеты (или как-то иначе, но в любом случае в соответствии с неким универсальным этическим критерием). Принять решение о доходах, «свалившихся с неба», не стоит компании практически ничего, поскольку превысить эту астрономическую сумму в наши дни практически невозможно (такие маловероятные сценарии не принимаются во внимание в процессе принятия решений современными управляющими и инвесторами). При этом широкое распространение такого рода обязательств (при условии, что им можно доверять) дало бы человечеству гарантию, что если какая-то частная компания получит джекпот в результате взрывного развития интеллекта, все смогут участвовать в распределении свалившихся благ. Ту же идею можно применить не только к фирмам. Например, государства могут договориться о том, что если ВВП какого-то из них превысит некоторую довольно большую долю мирового ВВП (например, 90 процентов), превышение будет распределено равномерно между всеми жителями планеты.
Поначалу принцип общего блага (и его практические следствия вроде обязательства распределять сверхдоходы) мог бы применяться избирательно, путем добровольного согласия поступать в соответствии с ним, данного ответственными специалистами и организациями, которые работают в области машинного интеллекта. Позднее к нему присоединились бы другие, и со временем он превратился бы в закон или международное соглашение. Приведенная выше не очень строгая формулировка вполне подойдет для начала, но в конечном счете должна быть заменена набором конкретных требований, поддающихся проверке.
Читать далее
2
94
Аноним5 ноября 2024 г.
И вот мы как бы двигаемся по интеллектуальной шкале вправо, мимо мышей и шимпанзе, а ИИ все еще остается «глупым», поскольку не говорит свободно на вашем языке и не пишет научные статьи, но потом он внезапно преодолевает крошечный разрыв между недоидиотом и сверх-Эйнштейном за месяц или около того.
2
122