Superforecasting: The Art and Science of Prediction

В прошлом году мне довелось прочитать книгу Майкла Льюиса "Отмененный проект". Там рассказывается о творческом дуэте Даниэля Канемана и Амоса Тверски, которые, по сути, с нуля создали экономическую психологию. Вершиной их деятельности стала вышедшая уже после смерти Тверски легендарная книга "Думай медленно, решай быстро", в которой подробно изложены принципы нашего мышления и вшитые в него ошибки — "когнитивные искажения". За эту работу Канеман получил Нобелевскую премию по экономике.

Потом я прочитал не менее замечательную работу Тома Николса "Смерть экспертизы". В ней поднимается много проблем, но главная среди них — переоцененность услуг так называемых "экспертов", которые лепят ошибку за ошибкой, но никак за это не расплачиваются. Например, уволен ли хоть кто-нибудь из аналитиков, дававших 100%-ю вероятность наличия в саддамовском Ираке оружия массового поражения? Да нет, конечно. Все при деле, все продолжают глубокомысленные интервью раздавать.

Лейтмотив книги Николса довольно неутешителен — по большому счету, он вообще сводит ценность экспертной оценки к нулю. Работа Филипа Тетлока и Дена Гарднера "Думай медленно, предсказывай точно" (в названии очевидный оммаж Канеману, который являлся коллегой и учителем Тетлока) спешит уверить, что не все так плохо.

Филип Тетлок давно заподозрил, что с экспертными оценками что-то не так. Чтобы проверить свою догадку, он, как и подобает ученому, начал масштабный эксперимент. Для этого он стал записывать публичные прогнозы и оценивать, сбываются они или нет. Тетлок быстро столкнулся с проблемой — как правило, высказывания экспертов максимально размыты и не подлежат формализации. Например, если я скажу, что человечество ждет конец света, то даже через сто лет нельзя будет назвать мой прогноз неправильным — я же не сказал, когда именно следует ждать Апокалипсиса!

Поэтому Тетлок сменил тактику и устроил настоящий турнир по прогнозам. Он каждое утро рассылал нескольким сотням добровольцев максимально конкретные вопросы вроде "Ожидаются ли военные столкновения между войсками Северной и Южной Кореи до 31 декабря 2006 года"? Люди, участвовавшие в эксперименте, должны были давать ответы вроде "70%, что нет". 1 января 2007 года можно было оценить правильность прогноза и проранжировать аналитиков по коэффициенту Брайера.

Слухи о смерти экспертизы оказались изрядно преувеличенными. Несмотря на то, что в эксперименте отказались участвовать профессиональные аналитики (ожидаемо — зачем за просто так рисковать репутацией?), некоторые участники показали просто феноменальные результаты. Причем это же повторилось и после второго, и после третьего сезона. Тетлок стал искать общее в стиле работы этих "суперпрогнозистов" и понял, что для качественного анализа важно не образование или эрудиция — важен способ мышления. Особенно умение избегать этих самых канемановских "когнитивных искажений".

Дальше нам про этот самый способ мышления и рассказывают, но тут пересказывать смысла нет — в конце концов, зачем спойлерить основное содержание книжки. Но вообще супероригинальных идей я не нашел — все в духе "надо быть внимательным", "отделять сигнал от шума", "делить большую проблему на несколько маленьких", "использовать математику", "реагировать на появление новых данных", "не поддаваться стереотипам" и все такое.

В целом, не пожалел. Довольно любопытно и познавательно, стиль у автора тоже хороший. Но и дикого восторга нет — возможно, из-за того, что читаю уже не первую книгу на эту тему и нового с каждым разом объективно меньше.

4/5

Если слава пришла не к тебе, а к другому, то хоть название книги сделай похожим на название работы счастливчика. Авось урвешь немного, если не славы, то хотя бы денег.  Американцы есть американцы....

Им обязательно нужно для любой области человеческих знаний придумать числовую метрику, а в добавок еще и алгоритм, следуя которому любой тупица (способный следовать алгоритму) достигнет некоторого результата.  А потому область прогнозирования - лакомый кусочек для многих.

В этой книге речь идёт о прогнозировании и точности прогнозирования, приводятся банальные советы по улучшению точности ваших предсказаний. Впрочем, не рассчитывайте, что найдете святой грааль и будете знать каким будет курс рубля/юаня/тугрика на любую дату наперёд.
Что действительно было интересным в этой книге, так это рассказ о суперпрогнозистах  и командах из них. (Суперпрогнозисты - это, например, диванные эксперты или бабушки на лавочке у подъезда, никогда не слыхавшие о нормальном распределении, теореме Байеса, но постоянно выдающие удивительно точные прогнозы почти на любую тему. Приводится адрес сайта для желающих попробовать себя в этой роли)