Среди главных черт, формирующих наше мышление, я бы выделил социальность, постоянное моделирование возможного будущего и осознание собственной смертности в нем. Судя по всему, наш вид единственный на планете, который не только «понимает» смерть, как дельфины, слоны или приматы, но и точно знает, что она неизбежна. Отсюда многообразие выдуманных нами сценариев апокалипсиса, от вариантов конца света согласно разным верованиям, до ядерной зимы или покорения цивилизации взбунтовавшимися умными машинами. Чем более развитые технологии начинают нас окружать, тем более вероятным в глазах наиболее впечатлительных людей и правдоподобным выглядит последний сценарий. Сегодня все чаще звучат предостережения в том числе и вполне образованных людей от необдуманного, неконтролируемого развития искусственного интеллекта. Но большинство неспециалистов, задаются лишь не самым важным вопросом «КОГДА? Когда наконец ИИ взбунтуется и поработит нас?» Этот вопрос уводит нас от главного: от анализа развития технологии во времени, ее текущего и прогнозируемого состояния, обсуждения принципов и ценностей, которые заложены в ее мышление, наконец в определение того, каким может быть и каким должен быть искусственный интеллект, сравнимый с нашим, естественным. Это похоже на то, как сегодня многие обсуждают (а точнее гадают): будет ли нажата «ядерная кнопка» или нет, при этом не стремясь понять, как ситуация пришла к тому, что вопрос этот в принципе стал актуален.
Эта необычная книга не даст ответа на вопрос «Когда машины нас покорят?». Она предлагает даже не найти ответы, а просто поразмышлять об искусственном интеллекте, о его роли в нашей жизни, о нашем понимании машинного мышления, об ответственности и угрозах, о пользе и перспективах, о природе и морали такого разума, о возможной конкуренции или наоборот взаимопомощи, о том, в чем мы, люди, никогда не будем похожи на машины. Есть ли у вас готовое мнение о машинном интеллекте или нет, после прочтения этой книги (или этой рецензии), вы определенно будете более подготовлены к ответу на вопрос «Что мы думаем о машинах, которые думают?»
Перед вами сборник из 186 эссе, который является результатом деятельности интересной организации «Edge Foundation». Она основана американским литературным критиком Джоном Брокманом (род. 1941 г.) и занимается дискуссиями по ключевым вопросам развития науки и технологий. «Edge Foundation» объединяет ученых и интеллектуалов для популяризации передовых идей. Организация издает сетевой журнал «Edge» и каждый год редакция ставит новый вопрос, на который отвечают разные комментаторы — как представители научных кругов, так и просто известные люди, чье мнение может показаться интересным. Вопрос 2015 года как раз вынесен в заголовок сборника.
*Джон Брокман
Структура книги проста: эссе идут подряд, и каждое из них имеет размер от нескольких предложений, до четырех страниц. В заголовке указан автор, его род деятельности, место работы и заслуги, среди которых как правило указывается какая-то из написанных им книг. С этой точки зрения, этот сборник, помимо прочего, отличный источник информации об интересных научно-популярных книгах, благо редакция везде указала русскоязычное издание, если таковое имеется. Лично я добавил в список прочтения десяток книг. Сами эссе написаны в свободной форме, некоторые из них близки к научной статье, большинство же представляют из себя образцы стандартной публицистики, но иногда, авторы облекают свои рассуждения в форму художественной сатирической прозы, что выглядит оригинально и остроумно (а часто и убедительнее пищущих более строго коллег).
Среди авторов в основном ученые, мыслители, преподаватели, журналисты, но встречаются писатели (Брюс Стерлинг) и даже музыканты (Брайан Ино). Здесь много известных для поклонников научно-популярной литературы имен: Стивен Пинкер, Роберт Сапольски, Мартин Рис, Лоурен Краусс, Фрэнк Вильчек, Майкл Шермер, Элизер Юдковски, Ричард Нисбетт и мн. др. (читайте мои рецензии на книги этих авторов) Правда, хочу сразу предупредить, не ждите, что ваш «любимчик» обязательно скажет что-то умное и глубокое по теме книги. Яркий пример – ответ прекрасного нейрбиолога, рассказчика и просветителя Роберта Сапольски, состоящий всего из двух банальных (или очень скрыто остроумных?) предложений:
«Что я думаю о мыслящих машинах? Ну, я думаю по-разному — зависит от того, о ком конкретно идет речь».
Это самое короткое эссе в книге, и, пожалуй, самое неинтересное. Большой вопрос, зачем вообще было включать его в сборник?
Но следует отдать и должное редактуре Джона Брокмана в том, что отобрав эссе для сборника, он отразил самые разные взгляды на искусственный интеллект. Главное разделение идет по признанию опасности сильного ИИ или наоборот восприятии его как блага для цивилизации. Второе разделение мнений проходит в целом по возможности / невозможности создать искусственный интеллект, сравнимый с нашим. Третье разделение мнений рассматривает сосуществование искусственного и естественного интеллектов: либо они будут дополнять друг друга, либо развиваться независимо и параллельно в мире «многовидового интеллекта» (Мелани Свон). Четвертый «делитель» - это споры о том, какими качествами и свойствами должен обладать сильный/универсальный ИИ, а пятый – какие цели и ценности должны быть у такого разума (и как их заложить в него).
Здесь есть очень глубокие эссе (как правило написанные философами и другими «гуманитариями»), позволяющие посмотреть на ИИ с необычных сторон. Так, например, философ Томас Метцингер считает, что сильный ИИ невозможен, если ему не будет знакомо страдание, а писательница Мария Попова считает, что ИИ должен как и мы уметь «принимать неопределенность». Много проходных «банальных» текстов. Есть эссе, в которых аргументированно высказаны здравые опасения по поводу развития и широкого внедрения ИИ в нашу жизнь, но и есть такие алармистские высказывания, которые просто «выражают обеспокоенность» во всей пошлости современного понимания этого выражения.
Тексты перемешаны таким образом, что не создается впечатления, что редактор поддерживает ту или иную точку зрения. Кажется, что в целом мнения разделились пополам. Из-за этого книгу читать интересно, здесь следующие друг за другом разные точки зрения создают ощущение заочной полемики между авторами эссе, которая, в свою очередь, вовлекает в спор и побуждает к размышлению самого читателя.
Конечно, ограничение формата эссе в 1-3 страницы не позволяет авторам в полной мере развернуться, но учит лаконично выражать свои идеи. Это не даст читателю заскучать. Сборник «Что мы думаем о машинах, которые думают» – это спрессованный набор идей, который может стать отличным подспорьем не только для интересующихся темой ИИ читателей, но и для писателей научно-фантастического жанра. Здесь просто непаханое поле сюжетов, стоит только слегка подключить фантазию!
***
Книга пролежала у меня на полке шесть лет после покупки, и по забавному стечению обстоятельств, я прочитал ее как раз тогда, когда лауреатами Нобелевской премии по физике стали Джон Хопфилд и Джефри Хинтон – создатели фундамента нейросетей, которые, в свою очередь, для обывателя являются сегодня самым ярким олицетворением возможностей ИИ. Еще одно яркое проявление ИИ сегодня – это распознавание образов, в том числе и лиц. Думаю, многие пользовались переводчиками «по месту» в камере смартфона или обычным FaceID… Распознавание лежит в основе автопилотов современных электрокаров, служит для поиска преступников, но может послужить и репрессивным инструментом в тоталитарных государствах или, например, стать системой самонаведения в дронах, что повсеместно используют в сегодняшних военных конфликтах.
Внедрение новых технологий неизменно приводит к сложным морально-этическим противоречиям. Кто виноват в аварии автомобиля с автопилотом? Кто настоящий автор сгенерированной нейросетью музыки? Кто ответственен за прилетевший самонаводящийся дрон? Производитель, программист, инженер, многочисленные авторы контента, скормленного нейросети? Авторы эссе этого сборника не обсуждают эти вопросы, но они обязательно приходят в голову читателю во время чтения, как вторая волна размышления.
Один важный вывод можно точно сделать: каким бы ни был уникальный и сильный ИИ будущего, в любом случае, ответственность за него несет человечество, т.к. нет объективных причин считать его создателем кого-то еще кроме нас. Это наше творение, насколько бы умным или глупым оно не было. И как наше творение, оно будет отражением нашего образа мыслей, наших ценностей и наших страхов.
Следует сказать еще и о том, что большей частью ученые относятся скептически к возможности создания искусственного интеллекта, похожего на наш с вами. Для нас характерны: сильное влияние среды и чувств, непоследовательность, осознание собственной уязвимости, морально-этические надстройки культуры и неоднозначная трактовка результатов социального взаимодействия, вне которых мы себя просто не мыслим. Либо ИИ будет разумом нового типа, существующем параллельно с разумом естественным, либо ИИ станет частью нашего нового, уже симбиотического интеллекта, но тогда и о человеке сегодняшнего вида можно позабыть.
О том, что наш интеллект невозможно свести к законам формальной логики, отлично говорит одна история о самом влиятельном логике Бертране Расселе (забавно же!), которая упоминается в этой книге. В своей автобиографии «Ради чего я живу» Рассел писал:
«Всю мою жизнь пронизывали три страсти, простые, но неодолимые в своем могуществе: жажда любви, тяга к знанию и мучительное сочувствие к страданиям человечества. Как могучие ветры, носили они меня над пучиною боли, увлекая из стороны в сторону и порой доводя до отчаяния».
Я думаю, в той или иной мере всем вам знакомы описанные в цитате чувства, ну или по крайней мере вы легко можете их представить. А вот машина – едва ли… И большой вопрос, нужно ли это искусственному интеллекту вообще.
***
Пример оформления книги:
***
ЦИТАТНИК «ИНТЕРЕСНЫЕ ИДЕИ ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ»
Я отобрал интересные и небанальные идеи, вопросы и концепции, касающиеся искусственного интеллекта. Перед каждой цитатой указан автор, его род деятельности (что важно для контекста и восприятия идеи) и собственно основная мысль. Надеюсь, этот небольшой цитатник расширит ваше понимание природы ИИ и связанных с ним проблем. Также, этот цитатник доказывает, что порой весьма интересные идеи о предмете высказывают непрофильные специалисты, что лишний раз убеждает в важности междисциплинарного диалога, одной из площадок которого как раз и является организация Джона Брокмана.
Полностью цитатник можно прочитать в полной версии рецензии на моих книжных страницах (см. мой профиль livelib). Здесь приведу пятерку самых интересных.
Дениел Деннет (философ). Опасность машин в наших ожиданиях по поводу их способностей.
«Реальная опасность — это не те машины, которые станут умнее нас и узурпируют роль хозяев наших судеб. Реальная опасность — это машины, по сути безмозглые, но наделенные НАМИ полномочиями, значительно превосходящими уровень ИХ компетентности».
Сезар Идальго (профессор медиалаборатории). Мышление - свойство систем, а не индивидуумов.
«Представим человека, родившегося в темноте и одиночестве пустого пространства. Повода думать о чем-либо у него нет. То же самое было бы справедливо для изолированной и лишенной входящей информации машины. В таком контексте мы можем назвать нашу заимствованную способность обрабатывать информацию малым мышлением, поскольку это зависящая от контекста способность, которая возникает на уровне индивида. Большое мышление, напротив, является способностью обрабатывать информацию, воплощенную в системах, где отдельные элементы — машины или люди — это просто пешки. Отделение малого мышления людей от большого мышления систем (куда входит процесс, который порождает аппаратное и программное обеспечение, позволяющее единицам заниматься малым мышлением) помогает нам понять роль «умных» машин в этом широком контексте. Наша способность мыслить не только заимствована, она также зиждется на употреблении опосредованных взаимодействий и на злоупотреблении ими. Чтобы человеческие/машинные системы могли мыслить, людям надо поедать ментальную отрыжку друг друга и снова ее изрыгать; иногда она принимает форму слов. Но, поскольку слова улетают с ветром, невероятная способность нашего вида мыслить зависит от более сложных приемов передачи и сохранения информации, которую мы производим: от нашей способности зашифровывать ее в материи. <…> В масштабах Вселенной эти новые сети из людей и машин будут не чем иным, как следующим этапом в естественном развитии способности нашего вида порождать информацию. Вместе мы (люди) и наши дополнения (машины) продолжим разворачивать сети, которые будут подчинены главной великой цели Вселенной: создавать зоны, где информации становится не меньше, а больше».
Дуглас Коупленд (писатель). ИИ и интернет.
«Когда появился интернет, люди преимущественно общались с людьми. С течением времени все больше людей общаются с машинами. Нас всех вдохновляет то, что искусственный интеллект, возможно, находит паттерны в глубинных метаданных, и, по мере того как растет запрос на расшифровку огромных объемов этой информации, интернет становится пространством, где машины общаются с другими машинами, а разговаривать они будут, конечно, о нас и у нас за спиной».
Элиезер Юдковски (специалист по искусственному интеллекту). У нас проблема загрузки целей.
«Я не думаю, что разум, основанный на кремнии, должен всегда оставаться рабом разума, основанного на углероде. Но, если мы хотим получить разностороннюю космополитическую цивилизацию вместо, к примеру, скрепок, первый достаточно развитый искусственный интеллект, возможно, следует построить с такой функцией полезности, которая точно определяет этот исход. Если нам нужен ИИ, который будет сам выводить свои моральные суждения, то нам, согласно закону Юма, необходимо сначала определить общие принципы таких суждений. Для этого нужно что-то еще, помимо наличия у искусственного интеллекта точной модели мира и превосходной способности планировать. Но, если закон Юма в принципе допускает существование обладающих сильной познавательной способностью субъектов с любыми целями, почему загрузка целей будет такой сложной? Разве мы получим не то, что запрограммировали? Ответ таков: мы получим то, что запрограммировали, но необязательно то, что хотели. <…> Проблема не является неразрешимой, но она выглядит технически сложной, и нам, наверное, придется справиться с ней с первого раза, как только мы построим что-то умнее самих себя. Мысль о том, что при создании искусственного интеллекта надо все сделать правильно с первой попытки и что на кону стоит будущее всей разумной жизни, закономерно вызывает крик ужаса у любого, кто знаком с данной областью».
Мария Попова (писатель). Про воображение и умение принимать неопределенность.
«Известный афоризм, приписываемый Эйнштейну: «Воображение важнее, чем знания» — интересен потому, что ставит вопрос, над которым действительно стоит поразмыслить: вопрос не об искусственном интеллекте, а об искусственном воображении. Конечно, воображение всегда «искусственно» — в том смысле, что оно связано с нереальным или трансреальным, с тем, чтобы возвыситься над реальностью и представить себе альтернативы ей, а это требует умения принимать неопределенность. Но алгоритмы, управляющие вычислениями машины, лучше всего справляются с конкретными задачами, в которых нет места неопределенности. «Если A, то B» — это антитеза воображения, живущего в области «Что, если?», где ответов нет и зачастую не может быть. Как писала Ханна Арендт, потеря способности задавать подобные безответные вопросы означала бы «потерю не только возможности продуцировать мысли-вещи, которые мы называем произведениями искусства, но также и способности ставить вопросы без ответа, на которых основывается любая цивилизация».
***
Полный список эссе:
