проанализированные ими отпечатки пальцев, а экспертов по программному обеспечению спрашивали о задачах, над которыми они работали ранее, только делалось это несколько недель или месяцев спустя после первого предъявления, к тому же испытуемых не поставили в известность о том, что с этими данными они уже сталкивались.
Существует еще один, более косвенный, способ подтвердить присутствие ситуативного шума: можно воспользоваться большими данными и методами эконометрии. Если у нас имеется большой объем данных о решениях, принятых профессионалами, иногда аналитики могут проверить, подвергались ли они влиянию ситуативных, несущественных факторов, таких как время суток или температура воздуха. Статистически значимое влияние подобных факторов на вынесение решений – свидетельство ситуативного шума. Если оценивать обстановку реально, на то, что все источники ситуативного шума будут найдены, особенной надежды нет, однако те, что обнаружить все-таки можно, демонстрируют, насколько велико их разнообразие. Чтобы научиться контролировать ситуативный шум, нужно попытаться понять порождающие его механизмы.
Один в поле воин
Ответьте на такой вопрос: какой процент мировых аэропортов сосредоточен в США? Когда вы над этим задумались,
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
вероятно, вам в голову пришел некий ответ. Но это нельзя сравнить с вызыванием в памяти вашего возраста или номера телефона. Вы знаете, что эта оценка приблизительна. И все же это число не случайно: вы понимаете, что, дав ответ 1 % или 99 %, вы явно ошибетесь. При этом ваша прикидка находится в целом ряду возможных альтернатив, которые вы не стали бы исключать. Если бы к вашему варианту ответа прибавили или отняли один процентный пункт, вероятно, вы не сочли бы результат намного более правдоподобным.
(Если вам любопытно, правильный ответ59 32 %.)
Два исследователя, Эдвард Вул и Гарольд Пашлер60, решили попробовать задать этот вопрос (и множество ему подобных) не один раз, а дважды. В первый раз испытуемым не сообщали, что им придется отвечать на этот же вопрос снова. Вул и Пашлер предположили, что средняя величина значений двух ответов будет точнее, чем каждый ответ, взятый по отдельности.
Данные эксперимента подтвердили их гипотезу. В целом
первый ответ был точнее61, чем второй, но самой точной оценкой оказалось их среднее арифметическое.
В своем исследовании Вул и Пашлер опирались на хорошо известное явление под названием «мудрость толпы»: усреднение значений независимых оценок разных экспертов обычно приводит к повышению точности. В 1907 году Фрэнсис Гальтон, знаменитый исследователь-эрудит, приходив-
шийся родственником Дарвину, обратился к 787 деревенским жителям с предложением отгадать вес быка-рекорди- ста на сельской ярмарке. Точный вес быка (1198 фунтов) никто из крестьян назвать не смог, однако среднее арифметическое их ответов равнялось 1200, всего на 2 фунта больше верного ответа, а медиана – 1207, что тоже почти рядом. Эти крестьяне и были «мудрой толпой»: хотя их ответы по отдельности содержали много шума, смещения в них не было. Гальтон был удивлен таким результатом, ведь он был не слишком высокого мнения о способности простонародья к здравомыслию, однако ему поневоле пришлось заявить, что результаты эксперимента «оказались более достойным подтверждением надежности решения, принятого демократическим путем, чем того можно было ожидать».
В сотнях других ситуаций результаты суждений «толпы» оказываются похожими. Конечно, если задаваемые вопросы настолько сложны, что достоверный ответ могут дать только эксперты, коллективный разум будет прав далеко не всегда. Но если, к примеру, люди угадывают количество конфет в прозрачной банке, или пытаются предсказать погоду в их городе через неделю, или прикидывают расстояние между двумя городами в одном из штатов, среднее арифметическое ответов большого количества людей, скорее всего, будет близким к правде.
Это можно объяснить простой статистикой: когда мы усредняем несколько независимых суждений (или измере-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ний), мы получаем новую, менее шумную62, хотя и не менее смещенную, чем отдельно взятые суждения, оценку.
Вул и Пашлер захотели выяснить, будет ли тот же эффект иметь место в случае с ситуативным шумом, а именно: можно ли подобраться к истинному значению ближе, усреднив значения двух ответов одного человека – точно так же, как при усреднении ответов разных людей? Обнаружилось, что это действительно так. Вул и Пашлер дали полученным результатам выразительное название внутренняя толпа.
Усреднение двух ответов одного человека не оказывает такого же положительного воздействия на точность, как использование независимого второго мнения. Вул и Пашлер писали об этом так: «Если вы зададите себе один и тот же
вопрос дважды, польза от этого63 будет в десять раз меньше, чем если вы спросите мнение другого человека». Спрашивать себя повторно не слишком эффективно, но это можно исправить, если выждать какое-то время, прежде чем отвечать на вопрос второй раз. Вул и Пашлер задавали испытуемым один тот же вопрос по прошествии трех недель – результаты такой тактики были уже несколько точнее: лишь в три раза меньше, чем использование второго мнения. Не слишком плохой показатель для метода, не требующего дополнительных данных или сторонней помощи. И конечно, такой результат объясняет значение старой доброй рекомендации всем тем, кому предстоит принять решение: «Утро вечера мудренее».
Работая над проблемой практически одновременно, но независимо от Вула и Пашлера, два немецких исследователя,
Стефан Херцог и Ральф Хертвиг64, предложили другое применение принципа «внутренней толпы». Они не только задавали испытуемым вопрос повторно, но вдобавок просили дать ответ, который будет максимально отличаться от первого, не теряя при этом правдоподобия. Такая постановка задачи заставила участников эксперимента задуматься о моментах, которым они не придали значения в первый раз. Инструкция по выполнению задания звучала следующим образом:
Шаг первый: представьте, что ваш первоначальный ответ ошибочен. Шаг второй: найдите несколько возможных объяснений этой ошибки. Какие из ваших предварительных допущений или рассуждений могли быть неверны? Шаг третий: подумайте, какой вывод можно сделать на этой основе? Была ли ваша первая оценка завышена или занижена? Шаг четвертый: посмотрев на проблему с новой точки зрения, дайте альтернативный ответ.
Подобно Вулу и Пашлеру, Херцог и Хертвиг усреднили значения двух полученных ответов. Исследователи назвали этот метод диалектическим бутстрэпингом8. Результаты его
8 Бутстрэпинг – от англ. выражения «pull yourself up by your bootstraps», озна-
чающего «выбраться из трудного положения без чьей-либо помощи».
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
применения оказались гораздо точнее, чем результаты эксперимента, участники которого просто давали первый и второй ответы один за другим. Поскольку испытуемым пришлось посмотреть на задачу в новом свете, они как бы задали тот же вопрос другой версии себя – таким образом, над задачей думали два человека из «внутренней толпы», чьи мнения несколько отличались. В итоге среднее значение ответов оказалось ближе к истинному. При подходе с «диалектическими» оценками точность снижается только в два раза по сравнению с использованием мнения другого человека.
Подводя итог результатам исследования, Херцог и Хертвиг говорят о том, что, принимая решение, вы оказываетесь перед выбором между разными процедурами. Если есть возможность получить независимую оценку других экспертов, воспользуйтесь ею: настоящая «мудрость толпы» имеет высокие шансы улучшить результат. Если вы не можете этого сделать, подумайте над вторым ответом сами, создавая эффект «внутренней толпы». Вторую попытку можно осуществить по прошествии времени, тем самым несколько дистанцируясь от своего первого мнения, или же попытаться критически подойти к своей первой оценке, посмотрев на задачу под другим углом. И наконец, вне зависимости от того, помощью какой «толпы» вы воспользуетесь, если у вас нет веской причины выбрать один из вариантов, самый оптимальный подход – усреднить значения ваших ответов.
Помимо прикладного значения, такие исследования под-