Краткие ответы на большие вопросы

Если компьютеры продолжат подчиняться закону Мура и удваивать быстродействие и объем памяти каждые восемнадцать месяцев, в итоге получится, что в какой-то момент ближайшего столетия они превзойдут человека по интеллектуальным способностям. Когда искусственный интеллект превзойдет человеческий в создании искусственного интеллекта, то есть сможет рекурсивно совершенствовать себя без помощи человека, мы можем стать свидетелями интеллектуального взрыва, который приведет к появлению машин, чье превосходство которых над нами в интеллектуальном смысле будет больше, чем наше – над улитками. Когда это произойдет, придется озаботиться, чтобы цели компьютеров не расходились с нашими целями. Есть искушение отмахнуться от образа высокоинтеллектуальных машин как плода воображения писателей-фантастов, но это будет ошибкой – и, в принципе, нашей самой худшей ошибкой в жизни.

Представьте человека, который хочет сделать холм на ровном месте. Холм – это Вселенная. Для реализации своего замысла нашему человеку нужно выкопать яму в земле и использовать почву для насыпки холма. То есть он создает не только холм – он создает еще и яму, по сути – отрицательную версию холма. Вещество, которое было в яме, теперь находится в холме, так что все идеально уравновешено. Точно такой же принцип лежит в основе создания Вселенной. Положительная сторона вещей – масса и энергия, которую мы знаем сегодня, – это холм. Соответствующая яма, или отрицательная сторона вещей, находится в пространстве.