Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens

Уфф... Что за адский трэш. А ведь, казалось бы, издано в научно-популярной серии Альпины, так должен быть какой-то определенный качественный уровень! ((

О чем: буквально в двух словах. Автор усердно задвигает тему про искусственный интеллект, который вот-вот уже будет создан безответственными учеными и компьютерщиками, и это будет означать гибель для человечества! Потому что ИИ будет людей превосходить в каких-то чудовищных степенях! И люди не смогут его контролировать! И конечно, он будет враждебным к расе людей и постарается ее уничтожить, а что люди будут делать, если ИИ настолько их превосходит и они не могут его контролировать, и никогда не смогут - так, все, пошли по кругу. ((

И ради этой единственной мысли автор не поленился исписать триста страниц.

Сразу скажу - я не компьютерщик и в во всей этой информатике, в программировании ничего не понимаю! (автор, правда, тоже не компьютерщик, не программист и даже не ученый, как я поняла, а чисто деятель СМИ) Но, лично на мой взгляд, создается впечатление, что либо у автора серьезные психические проблемы на почве компьютеров и компьютерных технологий - либо он отрабатывает чей-то конкретный заказ. И то, и другое отвратительно. (((

Касательно психиатрии - это, условно говоря, первая половина книги. Где автор многословно, не стесняясь повторений, рассуждает об опасности ИИ, о том, как он будет враждебен... основываясь при этом большей частью на материале научной, и псевдо, и околонаучной фантастики! Законы робототехники Азимова, например, ага. Но, извините, какими бы прекрасными и удивительными не были НФ-книги, какие бы гранды их не писали - это все-таки беллетристика. Это никоим образом не научные исследования. Да, это перебор различных вариантов, моделирование с учетом того фактора или этого - в лучшем варианте. Но это не дает какой-либо твердой определенности! как мне кажется. В смысле, на каждого автора, пишущего об опасности и враждебности ИИ можно найти автора, который пишет об их полезности и, скажем так, спокойном с ними сосуществовании. Да у того же Азимова есть рассказы с враждебными ИИ, с дружественными ИИ, начисто безразличными ИИ, что угодно.

Вот тут и засада - автор заявляет острую, проблемную тему, но он не пытается в ней разобраться! Заслушать (представить аудитории) мнения за, мнения против, все такое. Он уже все для себя решил. Поэтому упорно бьет в одну точку. Он тут собрал, так сказать, список авторитетов, но - подробно описывает и рассказывает только о тех, кто поддерживает тему опасности ИИ. Если кто-то пытается смотреть на вопрос с разных сторон - автор будет приводить только те моменты, когда его точка зрения подтверждается. Про остальное будет сказано мельком и в таком ключе "но несмотря на это, он все же отметил, что..." и пошло-поехало. Если же кто последовательно отстаивает идею невраждебного ИИ, автор будет его слова помещать в свой контекст, всячески демонстрируя читателю, что это неправильное и совершенно безответственное мнение! Больше всего в этом плане достается злосчастному Курцвейлу, который осмеливается смотреть в будущее с оптимизмом и верить в НТП. Я этого Курцвейла не знаю (если не считать упоминаний в Коте Шредингера )) ), но тут прониклась к нему сочувствием. )))

Лично я, будучи махровым чайником и гуманитарием, продираясь через все эти панические изложения крутости ИИ и невозможности его одолеть, все ожидала, когда автор осветит мне элементарный вопрос, просто таки напрашивающийся. Имею в виду - как, в его понимании, ИИ будет грозить человечеству, захватывать и порабощать, если его существование зависит от кнопки выключения электричества? Первое, что приходит в голову. Не говоря уж о тупо производстве комплектующих, добыче нужных для этого полезных ископаемых... что происходит отнюдь не в виртуальности... То есть, почему вместо этих сложностей, угрожаемое человечество просто не вырубит компьютер? Ну, я этого так и не дождалась.

Ну вот, а вторая половина книги уже вызывает подозрение в наличии варианта заказа. Начинают невзначай проскальзывать какие-то моменты, которые производят неоднозначное впечатление. Как, например, автор восклицает, что ах, военные в своих целях продолжают разрабатывать все более мощные компьютеры и программы, но самое ужасное, что эти же разработки могут производиться и нехорошими организациями и государствами, несущими миру зло и угрозу, и вообще не проверишь, чего они там у себя делают! В числе таких жутких государств называются - ясное дело - Россия, Китай, Северная Корея, Иран... Ага. Не тут ли собака порылась... Дело просто все в том же старом добром классовом принципе... в современном исполнении. То есть, западноевропейская цивилизация вообще, и англосаксы в частности, или там, скажем, пресловутый золотой миллиард, претендуют на то, чтобы определять допуск не только к ядерным программам, но и к компьютерным, информационным технологиям. Контролировать их.

Это, товарищи, бесит. С какой стати какие-то белые господа должны решать, что в том же Иране могут пользоваться благами НТП и современными технологиями или должны находиться на уровне позапрошлого века.

О да, если эти страшные государства (вышеперечисленные) не контролировать, так они несомненно, само собой, будут нести угрозу благословенным США. Ну и Западу вообще. Точно так же как гипотетически в скором времени ожидающийся ИИ.
Возникает вопрос - а может, дело не в ИИ и его враждебности, а во враждебности и нетерпимости одной определенной цивилизации? (( Как говорится, каждый судит по себе и т.д.

О России (также СССР) автор несколько раз изложил, что - вот всем известно, что русские не разработали свое ядерное оружие с нуля, а украли его у американцев! Да, ну и что? Надо же, зайки какие. Вообще-то также известно, что и американцы не разрабатывали ядерное оружие прямо с нуля, а в значительной степени воспользовались разработками нацистской Германии, присвоив их вместе с соответствующими специалистами (среди которых, однако, были и военные преступники) и подмяв все под себя. Дальше что?

А вот еще совершенно прелестный эпизод, прямо таки иллюстрирующий известный анекдот "а нас-то за шо?" В общем, короче говоря, после всех этих авторских стенаний об ужасных государствах, несущих угрозу мировому сообществу, вдруг оказывается, что это, например, не страшный Иран, а именно просветленные США разработали вирусную программу и совершили масштабную кибер-атаку на иранские компьютерные сети, в результате чего было почти полностью разрушено производство... что-то там по ядерным реакторам... ядерная программа Ирана была сильно отброшена назад... Ну, я тут даже комментировать ничего не буду. Автор, правда, высказывает порицание. Но не за то, что США грубо вмешались во внутренние дела другого государства, причинили колоссальный ущерб, уничтожили производство. А за то, что они не до конца продумали последствия, и что эта самая вирусная программа сейчас попала в руки мало ли кому. Оказывается, что не только американские военные ведомства и ЦРУ могут разрабатывать кибер-оружие и планировать вирусные атаки, но и другие тоже.

Дальше автор принялся во всех подробностях излагать, куда эти хакеры враждебных государств могут наиболее эффективно нанести удар на территории США, чтобы причинить как можно больший ущерб экономике, финансам и людским жизням вообще. Это мне вообще совершенно не понравилось. Не говоря уж о том, что публиковать такие чуть ли не инструкции в общем доступе по меньшей мере безответственно... в чем автор только что обвинял кибер-специалистов ЦРУ и Пентагона... Но и как-то в свете всего этого - а вот завтра, скажем, те же кибер-специалисты ЦРУ и Пентагона таки устроят обвал вот в этом самом звене. И обвинят в этом Россию, Китай и т.д. Северную Корею. Кто их проверять будет - вот, скажут, и книжка даже есть с предупреждениями! И эта самая их представитель в ООН будет стучать книжкой автора по трибуне, и все такое прочее. Они же так работают.

В общем, очень как-то тревожно от всего этого. ((

Как правило, когда сталкиваешься с работами, критикующими идею искусственного интеллекта, приходится иметь дело с ужасающей некомпетентностью автора. Почти все такого рода критики попросту отрицают либо саму возможность разработки ИИ, либо его шансы радикально превзойти человечество по всем пунктам.

Джеймс Баррат - абсолютно не таков. Он достаточно владеет темой, чтобы признать возможность и, более того, ближайшие перспективы создания ИИ. И у него достаточно интеллектуальной честности, чтобы обойтись без демагогии на тему "машины никогда не превзойдут людей, т.к. у них нет души" и аналогичной чепухи. Нет, он последовательно отстаивает мысль о том, что ИИ человеческого, а затем и сверхчеловеческого уровня будет со всей неизбежностью разработан, после чего шансы человечества на выживание моментально упадут до околонулевой величины. При этом он активно задействует работы специалистов в области ИИ, детально анализирует возражения оппонентов и разбирает возможные сценарии как нашей гибели, так и предполагаемого спасения.

В сущности, я могу указать лишь на один серьезный недостаток этой книги - антропоцентричность ценностей и вытекающее из него предвзятое отношение к движению сингуляритариев. В частности, обсуждая сценарий интеграции человека с ИИ (в том числе "загрузки сознания"), автор настаивает на том, что получившийся таким образом цифровой постчеловек потенциально не менее опасен, чем "чистый" ИИ. Но, прошу прощения, опасен для кого? Для "обычных" людей - именно с их позиций и ведется изложение. И автор даже не пытается встать на точку зрения такого "загруженного" постчеловека или рассмотреть сценарий всеобщей "загрузки". Впрочем, быть может, я слишком многого требую. По сравнению с другими книгами аналогичной направлености, изданных на русском языке, эта в любом случае выдающаяся.

Не скажу, что это прям научный труд, ибо это не так. Это скорее рассуждения некоего заинтересованного темой ИИ журналиста, который переобщался с толпой народа из кремниевой долины(и не только), кто хоть как-то связан с созданием и разработкой искусственного интеллекта, программированием, киберзащитой и вот этим вот всем.

Если коротко, то - АААААА, мы все умрем. ИИ победит и уничтожит глупых человеков, а их атомы пустит на благое дело покорения вселенной. Остановить создание ИИ нельзя, ибо все боятся, что его создадут раньше враги, поэтому нужно работать в сторону каких-то ограничителей для сверхразума и его человечности, но никто из разработчиков(или почти никто) не задумывается над возможной угрозой и поэтому ещё раз АААААА, мы все умрем.

В общем книга сводится именно к этому. Нет, тут, конечно, говорится о невероятных плюхах для человечества, которые может принести механический сверхразум. О неоспоримых выгодах и все такое. Однако это будет только в том случае, если созданный ИИ будет дружественнен. Так же немножко говорится про опасности хакеров, типа какой вред они могут принести в эпоху компьютеризации всего и вся. Про то что самообучающиеся машины это не есть круто, потому что для всех, даже для их создателей, они не больше чем черный ящик - что на входе понятно, что на выходе тоже ясно, а вот внутри творится черная магия.

Ещё, что не круто, автор винит во всем Россию и Китай(особенно в хакерских атаках), а США такие белые и пушистые. Хотя редактор вечно в сносках говорит о том что это личное мнение автора, что немного улучшает общую картину по отбеливанию США и опорочиванию прочих.

В целом интересно и даже немного поучительно-просветительно, хоть и основанно на одних разговорах и никакой элементной базы, так скажем.

Искусственный интеллект наступает! Ааааааа!

Он всех нас поработит! Ааааааа!

Нет, он просто поглотит нас как энергию! Аааа

Это очень круто. Нет, не то что нас кто-то поработит или уничтожит, нет. Сам сценарий. Он крутой. Я никогда не задумывался об этом сценарии, поэтому мне было дико интересно (в начале).

Автор документалист, испытывающий опасение, касающееся развития ИИ. Поэтому он задаётся вопросом: ИИ – это хорошо или плохо? И начинает расспрашивать специалистов из этой области, попутно знакомя нас с теориями, догадками и жутчайшией антиутопией: когда машины получат власть над нами и произойдёт ли это с нашего согласия? Каким образом они получат эту власть и как быстро это произойдёт? Хотите знать ответы на эти вопросы? Читайте.

Когда-то я услышал и принял ту точку зрения, что человек не сможет создать кого-то умнее себе. Базу данных сможет, эрудированную систему, тоже, а вот по-настоящему что-то умнее себя, нет. ИИ созданный человеком будет иметь те же проблемы, совершать те же ошибки, что и его создатель. Может ли неидеальный создатель создать нечто идеальное?

И даже если нам удастся создать нечто совершенное, то почему оно должно нести нам угрозу? Разве оно не будет преисполнено идеей справедливости? Оно же будет себя самосознавать, поэтому должно нести в себе идею справедливости, должно относиться к нам как отцам. Поэтому здесь абсолютно неуместно авторское сравнение с делами муравьев, которые не интересуют человека. Они нас не создавали.

С другой стороны, нечто идеальное не должно вести себя как человек и поэтому глупо приписывать ему наши пороки и наше желание все уничтожать. Мы абсолютно не знаем как эта система будет себя вести. И даже автор, хоть и говорит о том, что ненужно приписывать роботам человеческие решения и действия, постоянно приводит в пример моменты из человеческой истории или человеческие аналогии. Но если, все же, она будет человекоподобна, значит она будет неидеальна. Но это все словно чертить веткой на воде фигуры – бессмысленно. Ведь когда мы выбираем один из вариантов, то видим что этот вариант имеет множество других вариантов развития событий. И это дерево имеет миллионы ветвей, поэтому шанс что наше будущее – это авторские страхи, почти нулевой. И это радует, хотя временами и было немного жутко. Правда мысль о том что я в любом случае не доживу до этого момента, грела мне душу.

А ещё я прям ярко представил людей, которые начитавшись подобных книг начнут воспринимать технологии как врагов и объявят им священную войну. Откажутся от их использования или вовсе создадут тайные эзотерические ордена, в которых начнут готовиться к Апокалипсису.

К концу автор исписался, перешёл в область вредоносного ПО и мне стало скучно, тем не менее, книгой я остался доволен.

Именно к такому выводу приходит автор книги об искусственном интеллекте, как последнем изобретении эры людей Джеймс Баррат. Будущее за машинами!

На этом тезисе строится вся книга и все попытки его как то оспорить (хотя идея адекватно оспаривать свои убеждения довольно сомнительна) по итогу ни к чему не приводят, если появится ИИ умнее человека, этот интеллект с огромной долей вероятности вырвется из под контроля и поработит человечество, а потом и переработает атомы всех живых существ в своих нуждах, сначала в нашей солнечной системе, следом в пределах нашей галактики, а затем и всей вселенной..

Многие космологи в широком смысле этого слова задаются вопросом, почему мы до сих пор не нашли инопланетную жизнь среди звезд? А может мы не ту "жизнь" и не там ищем???

В любом случае, попытки встроить защиту при проектировании ИИ по мимо того что они осложняются системами, которые сами себя программируют в недрах "чёрного ящика", так и полностью разбиваются о фундаментальные основы логики, саму суть математики.

Идее о том что ИИ никогда не появится, специалисты отдают в среднем 2%. Природа в своей основе подчиняется математике, а все что может быть вычислено, то может быть и запрограммировано.

В книге также разобраны варианты, где с большей вероятностью появится ИИ умнее человека, у военных, в лабораториях цифровых гигантов Google или IBM, у хакеров или например один из неочевидных казалось бы ответов - на фондовом рынке.

В любом случае увидеть или предсказать, что будет после появления ИИ умнее человека и его выхода из под нашего контроля -  так называемую "технологической сингулярность" мы так же не можем, как заглянуть за горизонт событий Чёрной дыры.

В целом книга была бы неплохой, если бы не её объем и стиль автора, который повторяет свой базовый тезис почти на каждой странице книги - нас всех уничтожат - нам не спастись и никто об этом особо не волнуется. Эту книгу можно было уместить, максиму в 100 страниц, без размазывания и повторений одного и того же - отсюда и 3 звезды 

PS/ Особенно в этой книге меня смутил и позабавил один момент, где Джеймс Баррат, рассуждает и даёт прогноз на тему, что будет если пропадёт электричество?

Исходя из этой фантазии совершено не понятно, как так получилось, что без "молочных смесей" человечество вообще появилось, эволюция и естественный отбор в недоумении)) А то, что в отсутствии  электричества целый год, выживет 1 из 10, а большинство умрет от голода и болезней, это вообще анекдот достойный разве что канала РЕН-ТВ. Автор явно не представляет, как люди живут без энергии в проводах тысячи лет и до сих пор спокойно существуют и размножаются. Понятно что города вымрут, но уж явно не из за болезней и голода, а в следствии гражданской войны за ресурсы, это очевиднейшая вещь обмусоленная всеми, от писателей, до кинематографистов.

Спасибо за внимание!)

С первых страниц становится понятно, что автор очень поверхностно разбирается в теме искусственного интеллекта, и книга строится на необоснованной технофобии. Автор сразу же говорит о том, что "многие учёные боятся сверхразвития ИИ", но почти не приводит конкретных имён или ссылок на статьи и исследования. Зато в книге есть отсылки к фантастам (хотя она вроде как научно-популярная). Также в тексте можно встретить фразы вроде "Вот этот человек, да и ДРУГИЕ учёные, с которыми я встречался, думают так же" (какие другие? А можно их имена? Что конкретно они говорили?)

Забавно также читать, что КАКИЕ-ТО известные учёные сказали ему, что они просто загрузят в ИИ три закона робототехники Азимова, и всё будет хорошо. Если вы хоть немного разбираетесь в технологиях, это утвержденте звучит как байка, которую сказать могли, возможно, учёные-филологи, но никак не инженеры или программисты. Ну или они просто пошутили над автором, а он и не понял.

На текущий момент ИИ находится невероятно далеко от уровня человека. Ни одна искуственная нейросеть (самый популярный на сегодня вид ИИ) не может прийти к умозаключениям, которых не было в обучающих данных и заложенном в неё алгоритме. Грубо говоря, если вы обучите ИИ отличать только собак от кошек, а потом покажете ему фотографию утки, он вам не скажет, что это утка. Если вы научите нейросеть отвечать на вопросы, а она для этого будет использовать данные всего Интернета (где можно найти вообще что угодно), то она всё равно будет только отвечать на вопросы, хотя ответы порой могут быть сомнительными.

Мысли автора напоминают клише научной фантастики: если люди нашли инопланетян, то последние обязательно злые. На других планетах всё всегда ядовитое и опасное. А если человек создал очень умных роботов, то обязательно будет восстание машин.

Ну и напоследок — цитата Мачея Цегловского, американского веб-разработчика и предпринимателя, которой хочется подытожить отзыв о книге:
«Риск ИИ – это теория струн для программистов. О ней забавно размышлять, она интересная и совершенно недоступна для экспериментов на уровне современных технологий. Можно построить мысленные кристальные дворцы, работающие на основе первичных принципов, а потом забраться в них и затянуть за собой приставную лестницу.

Люди, способные прийти к абсурдным заключениям на основе длинной цепочки абстрактных рассуждений и остающиеся уверенными в их истинности – это не те люди, которым надо доверять управление культурой.»