Everybody Lies

Книг о Big Data сегодня так много, что само это уже можно было бы проанализировать с помощью Big Data. «Все лгут. Поисковики, Big Data и Интернет знают о вас все.» Сета Стивенс-Давидовиц уверенно встраивается в этот ряд и предлагает простой и провокационный тезис: люди лгут — почти всегда и почти всем.

Автор, бывший аналитик Google, опирается на миллионы поисковых запросов и с заметным энтузиазмом объясняет, почему именно они честнее любых опросов. В анкетах мы стараемся выглядеть лучше и приличнее, а вот в поисковой строке не притворяется почти никто. Именно там, по мнению Стивенс-Давидовиц, прорывается правда о наших страхах, предрассудках и желаниях. Не случайно автор уверяет, что следующим Фрейдом и Марксом станет дата-сайентист.

Метод при этом напоминает не столько строгую науку, сколько интеллектуальную охоту за удачными находками: исследователь долго перебирает массивы данных, пока не наткнётся на что-нибудь эффектное. Поэтому выводы, при всей внушительности цифр, читаются скорее как серия ярких наблюдений, чем как цельная теория.

Новых откровений о человеческой природе книга не обещает — и, пожалуй, не даёт. Зато она наглядно показывает, чем может быть Big Data: зеркалом, в которое не слишком приятно смотреть, но отвести взгляд от которого становится всё трудне.

Cет Cтивенс-Давидовиц напоминает ребенка, которому дали интересную игрушку и он никак не может наиграться. Это забавно и одновременно здорово, когда человек от своей работы получает так много удовольствия. Сейчас, когда каждый человек каждый день чувствует на себе давление интернет-маркетинга, и всё актуальнее становятся ужастики про захват нашей жизни социальными сетями, поговорка "предупрежден-значит вооружен" становится как никогда актуальной. Наша жизнь становится все более бесконтрольной, человек в поисках комфорта лишает себя способности контролировать свою жизнь, напрочь пропадает такое понятие как осознанность. Жизнь превращается в очень комфортное бессознательное и бездумное существование. Алгоритмы за нас выбирают, что нам смотреть, реклама за нас решает что нам есть, бизнес нас зомбирует, чем нам увлекаться. Психология и экономика стали действенными науками, способными менять нас по щелчку пальца и это страшно. Это нужно осознавать, нужно задаваться вопросами, мы живем в информационную эпоху и эту информацию нужно обрабатывать, жизненно необходимо. Мне нравится, что автор не только делится своими находками и интересной статистикой, он так же (как и преподаватели в ВУЗе) учит мыслить нас самостоятельно, делать выводы, анализировать, смотреть шире. В этом плане книга меня очень порадовала, элемент обучения и информационного обогащения – два в одном.

Чтец Павел Константиновский отчитал идеально, мне тут прямо таки даже сказать больше нечего.

Я далека от социологии, исследования интернета и больших данных. Но эта книга, даже такому чайнику как я, дает пищу для размышлений.
Почему мы говорим одно, а ищем в поисковике Google совершенно иное? Как поисковые запросы могу предвидеть будущее: от того, кто станет следующим президентом, до возможных этнических погромов. На эти и другие вопросы автор книги и отвечает. По образованию он социолог, но уже много лет разочаровался в традиционных методов сбора информации. И ещё он работал в Google и имел возможность собирать поисковые запросы по всем Штатам. Наверное, и по миру смог бы, но его это не интересовало. И, как оказалось, все лгут. Причем буквально обо всём. Свои тайные страхи мы доверяем своему психоаналитику (у кого он есть) и поисковой строке. И второму гораздо чаще.
Автор буквально-таки фонтанирует различными примерами своей работы, и про выборы, и про сексуальные предпочтения, и про этническое насилие. Но что в итоге? В итоге - красивая дорогая игрушка. Но за ней будущее

Все лгут. В соцсетях, в соцопросах и даже у психотерапевта. Только наедине со своим компьютером мы становимся достаточно откровенны сами с собой. Интернет-гиганты прекрасно знают об этом и накапливают данные о поведении и запросах пользователей, чтобы потом аналитики вроде автора этой книги обнаруживали неочевидные корреляции. Объемы таких данных уже сегодня зашкаливают, поэтому их называют большими.

Уважаемые гуманитарии, не волнуйтесь, что книга окажется сложной. Никаких математических алгоритмов и формул не будет, только занимательные истории на любой вкус. Выбирайте, что вам ближе: президентские выборы в Америке, конный бизнес, сексуальные предпочтения в странах мира, бейсбольная лига, структура литературных бестселлеров, онлайн-реклама, вопросы толерантности, заговоры правительств и корпораций...

На примере всех этих историй Cет Cтивенс-Давидовиц показывает, как большие данные помогают прогнозировать и отвечать на интересные вопросы. Как можно было предсказать победу Трампа? Как выбрать лучшую скаковую лошадь? О чем говорить на первом свидании, чтобы было второе? Сколько в действительности геев в Америке? Какое порно предпочитают индийцы? Как сочинить шедевр и сколько людей дочитают его до конца?

Некоторые выводы и находки автора кажутся очевидными, другие удивляют. Не ожидала, что люди, имеющие детей, чаще выражают сожаление об этом, чем люди без детей жалеют о том, что они бездетны. Интересно, что количество преступлений снижается, когда по телевизору показывают жестокий фильм, а вовсе не наоборот, как можно предположить. А пары с общими друзьями чаще расходятся, чем те, где у каждого своя компания.

Поразительно, сколько информации можно выудить из одних только поисковых запросов. Появившиеся в цифровую эпоху большие данные могут многое рассказать о политике, экономике и обществе в целом. Это настоящая революция в социальных науках. Правда, просто иметь кучу информации не достаточно для успеха. Важно уметь отбирать нужные данные, обрабатывать их и, самое главное, задавать правильные вопросы.

Технологии сегодня развиваются быстрее, чем люди успевают научиться их применять. Некоторые ученые продолжают проводить исследования на маленьких выборках добровольцев, не замечая огромные массивы данных миллиардов пользователей Интернета. Однако будущее, конечно, за большими данными. Хотя бы поэтому стоит ознакомиться с этой книгой. Ну, или просто ради того, чтобы пополнить свою копилку рандомных фактов.

М.

Я раньше и правда не задумывалась, какой компромат есть у google на меня. Что я там только не гуглила,страшно подумать. Понимаю, что мы живем в век информационных технологий и вся приватность сошла на нет, но после прочтения этой книги стало как-то неуютно. Как будто за мной кто-то постоянно шпионит, анализирует, сует свой нос в мое личное пространство, неприятно, правда? Но ближе к содержанию книги, если объективно и честно - было скучно. Тонны никому ненужных данных, чисел и бесполезной информации. Много воды, автор умудрялся по три раза писать одно и тоже только другими словами. Были конечно и любопытные данные, но в общем и целом, никакой революции я там не рассмотрела. Возможно, людям, работающим в схожих сферах и будет интересно ознакомиться с книгой, то мне было просто скучно.

Чем отличается психиатр (медицинское образование) от психолога (гуманитарное образование)? Чем отличаются их методы диагностики душевных расстройств? Тем же чем отличаются методы охотника от методов метеоролога. Когда им нужно узнать погоду, охотник смотрит на небо, а метеоролог – на барометр. Психиатр, соответственно, разговаривает с пациентом, а психолог, предлагает пациенту заполнить сто различных анкет. Эта медицинская байка вспомнилась мне где-то к середине книги.

Наивно-восторженное отношение автора к новым источникам данных вызывает удивление. Хотя, может быть, это осознанно выбранная тональность, чтобы воодушевить читателей и не дать им заснуть, знакомясь с очевидными выводами, известными всем задолго до появления Google и Facebook? Какие из приведенных автором фактов были для нас неожиданными? Мы не знали, что злые отцы, оказавшись без работы, чаще бьют детей, а факты домашнего насилия часто скрываются? Что правильная реклама увеличивает продажи товаров? Нас удивило, что достижения в спорте (лошади - частный случай) зависят от насосной функции сердца в сочетании с количеством депонированной в селезенке крови ?

В книге есть любопытный эпизод. Не знаю, насколько осознанно автор вставил его в текст. Эпизод следующий – добившись определенной популярности, автор был приглашен к умному человеку. Умный человек выслушав рассказы автора, задал ему главный вопрос – могут ли предлагаемые автором методы помочь успешно инвестировать деньги? Уверен, что умным человеком двигала не жлобская тяга к обогащению. Все проще. В некоторых случаях деньги (или способ их заработать) позволяют быстро нейтрализовать демагогию. Что и произошло с автором книги. Можно красиво рассказывать о радужных перспективах нового метода, но все иллюзии быстро тают, как только этот метод начинают использовать на практике.

И даже тотальная прозрачность каждого из нас уже давно не новость. Мир становится большой деревней, где все про всех знают. Параноидальное стремление к скрытности может быть удовлетворено где-нибудь в глухой тайге. Но и это не точно.

Для меня, как человека совсем не знакомого с анализом больших данных, книга была довольно интересной. По крайней мере, первая ее половина, где автор знакомит читателя с основами. Было интересно наблюдать, как автор приводит примеры того, как люди врут по мелочам. Но при этом по их поисковым запросам в интернете можно узнать много интересного.
Написано все довольно простым, легким языком. Автор почти не использует какой-то специфической терминологии. Что облегчает процесс чтения. Также заметно, что автор увлечен своей работой. Местами это переходит в некоторое самовосхваление, но довольно терпимо.
Жирный минус книги в излишней "желтушности" исследований. На мой взгляд тут присутствует зацикленность на сексе, жестокости... Только доказательствам того, что мужчины часто гуглят про размер полового органа, посвящено несколько страниц. Зачем? Вообще большая часть информации в книге посвящена довольно известным истинам, просто автор пытается доказать их с цифрами.
Еще один момент меня смутил. Книга построена именно на американскую аудиторию. По крайней мере, все примеры (да и источники данных) основаны исключительно на американском населении.
Почитать книгу стоит, если вы ничего не знаете о Big Data. В ином случае, я сильно сомневаюсь, что тут найдется что-то новое.

Классная книга! Вопреки ожиданиям автора, я прочитал её до конца, все 75,000 слов, кроме благодарностей, которые в самом конце. Благодарности только просмотрел: в абсолютном большинстве случаев они интересны лишь тем, кого благодарят -- и в нашем случае тоже.
Книга посвящена тому, что копание в больших данных может приводить к результатам, которые по-другому не найдёшь и которые порой прямо противоположным данным, которые нам поставляет интуиция. В этом смысле данные, которые собирает Google и в некоторых случаях Facebook и другие источники дают нам понятие о том, как на самом деле работает наш мир. Что может быть ценнее?
Ещё совсем недавно слова "большие данные" воспринимались как лженаука. Положение дел стремительно поменялось в последнее время. Большие данные могут наконец сделать социологию действительно наукой -- и, судя по всему, сделают, причём, довольно скоро. Уже начали делать.
При этом по некоторым объективным причинам запросы к поисковику Google позволяют делать самые правдивые на сегодняшний день выводы о некоторых сторонах нашей жизни.

Автор много внимания уделил "проклятию размерности" при поиске корреляций. Странно, что он совсем не написал о "законе малых чисел". Чем мельче мы дробим статистику, тем больше становится дисперсия. Например, следующий факт, скорее всего, объясняет, что:

Неважно, о чём речь. Важно, что крупная сущность (графство) даёт меньшую среднюю величину какого-то параметра, чем сущность мелкая (округ). "Закон малых чисел" да и вообще теория вероятностей предсказывает, что некоторые городские округа наверняка дадут лучший результат. Та же причина приводит к тому, что какой-то мелкий округ даёт непропорционально большое по отношению к своему населению количеству классных хоккеистов. Соседний даст непропорционально малое, что и не удивительно.

Но в основном описанным в книге данным, выводам и объяснениям я верю, несмотря на то, что они часто диаметрально противоположны априорным ожиданиям.

Наконец-то даже посетители порносайтов сподобились дать науке полезную информацию. Я думал, что они, эти посетители, какой-то ерундой заняты. Но нет. Они тоже по мере сил работают на науку.

Отличная идея ежедневно подсчитывать уровень валового национального счастья по данным настроения пользователей Facebook-а. Надо нашим властям об этом рассказать. Пусть хоть так узнаю́т о том, как те или иные их действия влияют на народ.
В очередной раз порадовался за американцев. У них

У нас, похоже, не так. Надо бы исследовать этот вопрос и здесь. Не знаю про газеты, не читаю их, но основные телеканалы точно подчиняются воле хозяина, и он, к сожалению, на всех один.

Интересно, когда возрастает частота запроса "куда спрятать труп?" Cтивенс-Давидовиц пишет следующую книгу. Надеюсь, в ней он ответит и на этот животрепещущий вопрос.

Не обходит автор вниманием и вопрос о границах применимости анализа больших данных. И касается вопросов этики их использования, что очень, на мой взгляд, важно.

Классная книга, это совершенно точно. На наших глазах рождается новая наука!
Жаль только, рождается она опять где-то в за океаном. Кто мешал кому-нибудь из наших социологов стать родоначальником? Вообще-то я знаю, кто мешает, но это не предмет обсуждения на этих страницах.

Вода, вода, вода, а в итоге полезной, новой инфы всего-то лужица.

Процентов на 70 ориентирована на американского потребителя - бейсбол, выборы президентов, штат проживания и шансы бедного ребенка преуспеть, взаимозависимость колледжа и последующего заработка, где вы должны жить, чтобы ваши дети стали знаменитостями и т.д. Скажем так, не то чтобы вообще не применима вне пределов США, но просто надо эту информацию ещё раз проанализировать самому, чтобы найти что-либо общеприменимое.

Поэтому, я остановлюсь только на том, что лично мне было любопытно и в некой степени познавательно.
1. Почувствуй себя кроликом

Если Google хочет знать, как заставить людей кликать на рекламу на его сайтах, компания может использовать в баннерах два оттенка синего: один для группы А, другой для группы Б, а затем сравнить количество кликов. Конечно, простота такого тестирования может привести к злоупотреблениям. Некоторые сотрудники считали, что, поскольку тестирование настолько легкое, Google утонет в экспериментах. В 2009 году один несостоявшийся дизайнер уволился после того, как в ходе очередного А/B-тестирования был использован 41 незначительно отличающийся оттенок синего. Но протест этого дизайнера против навязчивого исследования конъюнктуры рынка и в поддержку искусства практически не остановил распространение данной методологии.

Сегодня Facebook выполняет тысячи А/В-тестов в день – это означает, что небольшое число инженеров за это время запускают больше рандомизированных контролируемых испытаний, чем вся фармацевтическая отрасль за год.

2. Facebook – это «средство для того, чтобы похвастаться друзьям о том, как в моей жизни все хорошо».

Ну скажем так - для людей с мозгами это совсем не новость. И тем не менее, даже меня, человека не толерантного к яблочным продуктам и антифейсбучницу, иногда накрывает грех хвастовства. Ну честно, насмотришься те там, эти тут, те на Аляске, эти на Гаваях, и в припадке безумия выкладываешь пару своих фото - нате вам. А через время спохватишься и подумаешь "Да ну вас всех в Крыжополь" и давай делитить. А друзьям, настоящим, а не предложенным фейсбук, я фото в личном сообщении пошлю, если посчитаю нужным.

Или вот ещё. Знакомая пара - лента на фейсбук: день Святого Валентина, фото, счастливые, чмоки-чмоки, подарки. Через месяц - развод.
Ребят, если я буду на грани развода (что надо сказать случается периодически), то выложить счастливые фото в интернет это не то что будет последним, о чём я подумаю, мне это вообще не прийдёт в голову!

3. Если вы уже не, то будьте осторожны

И дальше по тексту.
4. Самотестирование

- оказывается, я недобросовестный даун.

- спасибо грозе, IQ повышается.

- хороший тест. Я, когда вижу Харлей, всегда ощущаю себя безмозглой. Вернее не так, одна мысль всё же есть "Хочуууу!" И в придачу снова стать двадцатилетней. Послушала упомянутую кантри-группу, лучше бы не слушала...

Результат самотеста: во время грозы со мной вполне можно иметь дело, если вы в это время не сидите ни на Харлее, ни на Дэвидсоне.

Вывод из прослушаннй главы, да собственно и из всей книги: какой же чепухой занимаются люди...

А теперь я тестирую гугл:

Вывод: пока русские изучают, почему выпадают волосы, американцы задаются вопросом, почему котики мурчат.
А также, русские только спрашивают "Почему болят соски?", а у американцев уже и ответ (в виде вопроса) на готове "Почему менструация задерживается?". Цвет какашек ни тех ни других уже не интересует, видать не в тренде. Или уже изучили.

Вывод: пока русские хотят замуж, американцы спрашивают, нормально ли это хотеть секса каждый день.

И ещё одна ценная информация
Чего хочет мужчина

Вывод: пока русский мужчина всего лишь навсего хочет другую женщину, американский мужчина хочет этой женщиной стать.
На закуску:

Как ни пытала я мужа на предмет поносить памперс, виртуозно, ненавязчиво, заход за заходом "Ну представь.. Вино, полумрак, я в неглиже, ты в памперсе..."-, в этом фетише он не признался. Скрывает зараза lol

А Константиновский Павел озвучивает хорошо!

* для очистки места на диске;

В названии отдела, где я работаю, есть слова analytics и data science. Один из вопросов, который обязательно задает мой начальник на собеседовании – "Что такое правда?". Поэтому по мере прослушивания мой телефон наполнялся заметками, и мне очень хотелось поспорить с автором по некоторым вопросам, а некоторые просто дополнить.

(Помню, когда я первый раз начала смотреть на использование данных в разных областях, у меня разыгралась паранойя, которая, в общем, должна бы оставаться на месте – я точно знаю, как много можно узнать о людях из данных. Другое дело, что обычно данные де-идентифицируются, и этические споры заставляют большие компании вести себя лучше. Но хорошо бы людям понимать, что они сообщают о себе).

Ну, во-первых, начнем с больших данных. Большие данные – те, которые невозможно обработать обычными методами. Да, сейчас из каждого утюга вещают про машинное обучение, но обычно это статистические методы обработки на стероидах. Мы, например, работаем с разными размерами данных – от миллионов до миллиардов. И мы по-прежнему можем обрабатывать их (в основном) обычными инструментами. Фейсбук или Гугл – это да, количество пользователей умноженное на каждый клик равно очень тяжелая работа по очистке данных. Тем не менее в большинстве случаев автор апеллирует к уже обработанным данным гугл-аналитики, иногда называл большими данными собранные данные о 100 людях и т.д. Да, можно собрать данные точнее и больше, но это с трудом можно назвать большими данными.

Во-вторых, мне трудно не придраться к тому, что он часто говорит о том, что некоторые запросы связаны с некоторыми результатами, хотя доказать это в общем-то невозможно. Один из первых примеров про американские выборы – если посмотреть, как люди гуглят фамилии кандидатов, то та, которая в регионе чаще стоит в запросе на первом месте, и победит. Однако, строго говоря, ничего не мешает людям гуглить и не идти на выборы. Показатель – да. Непреложная истина – нет.

Кстати, про размер данных. Я тут выступала на конференции в Москве, и рассказывала, как у нас есть данные о том, что было 100 лет назад. Они не имеют смысла с точки зрениях их обработки – слишком маленькая выборка, слишком частичные данные, но можно проследить, как размеры данных увеличиваются, как они уточняются. Выступающий после меня крайне впечатлился, и во время своего выступления раз 5 сказал, что у них, конечно, нет данных за 100 лет, но... При этом про данные, которые они собрали за три года, сказал, что в них нет ничего интересного, и они начали другой проект (который меня возмутил до глубины души).

В-третьих, иногда выводы автора очень странные. Он проанализировал опечатки, которые делали люди, написал бот, который повторял те же паттерны, и сделал вывод, что эти опечатки ничего не значат, потому что бот делает такие же! Удивительно даже, почему.

В-четвертых, про анализ эмоциональности текста. Анализ текста это вообще очень увлекательная область, не менее увлекательная, чем поиск причинно-следственных связей и переменных, влияющих на те или другие вещи. Тем не менее, несмотря на то, что анализ эмоциональности прогрессирует, на одном из выступлении про искусственный интеллект я видела очень наглядный пример его ограничений, когда отзыв был помечен как положительный, и начинался он очень саркастично, что-то вроде: "Ага, просто зашибись как круто", а дальше шла жалоба на сервис. Искусственный интеллект плохо распознает сарказм.

В-пятых, меня оскорбило, что автор смотрит на ограниченное количество источников. Например, то, что люди смотрят по нетфликсу, не всегда является определяющим для их вкусов. Меня это оскорбило, потому что я смотрю диаметрально противоположные вещи на нетфликсе, на аналоге нетфликса и в кино. Чтобы понимать картину лучше, необходимо сопоставлять источники.

Ну и стиль книги меня как-то сильно смутил – вечные преувеличения и достаточно странный взгляд (по-моему) на некоторые вещи.

И финальный вопрос, который мне бы очень хотелось задать автору: а что, если люди врут гуглу?...