- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Однако убежденность не является гарантией точности, и многие самонадеянные прогнозы на поверку оказываются ложными. Хотя и смещение, и шум способствуют ошибкам в прогнозах, главный источник этих ошибок – не то, что прогнозы плохи сами по себе, а то, что их точность ограниченна. И на то есть объективные причины. На ограничении, назы-
ваемом объективной неосведомленностью, мы и сосредото-
чимся в данной главе.
Объективная неосведомленность
Каким вопросом стоит задаться тем, кто часто делает прогнозы? Причем этот вопрос применим к любой задаче – например, покупке акций или прогнозированию будущих успехов профессиональных спортсменов. Мы же для простоты используем пример, упомянутый в главе 9: выбор кандидатов на должность. Допустим, вы несколько лет отслеживали работу сотни кандидатов. Теперь у вас есть возможность оценить правильность своих решений путем сравнения прогнозов с реальными результатами деятельности кандидатов. Если взять наугад любых двух кандидатов, сколько раз ваши ожидания совпали с фактическим результатом? Другими словами, если сравнивать двух кандидатов, какова вероятность, что тот, кого вы сочли более перспективным, на самом деле оказался лучшим?
Мы часто устраиваем неформальные опросы на эту те-
му в группах высших должностных лиц. Большинство ответов приходятся на диапазон 75–85 %, и мы подозреваем, что они продиктованы скромностью и желанием не прослыть хвастунами. Частные беседы с глазу на глаз наводят на мысль, что подлинная самооценка руководителей зачастую даже еще выше.
Теперь, когда вы ознакомились со статистикой, проблема налицо. Процент согласия, равный 80 %, примерно соответствует корреляции 0,8. В реальном мире такой уровень точ-
ности прогнозов редко достижим. Последние обзоры136, посвященные методикам отбора кадров, выявили, что эффективность прогнозов и близко не дотягивает до этого показателя. В среднем корреляция составляет 0,28 (ПС=59 %).
Если учесть, что отбор кадров – тот еще квест, неутешительные результаты вас не удивят. У тех, кого сегодня возьмут на работу, появится много трудностей и много возможностей; не исключено, что в силу различных обстоятельств их жизнь кардинально изменится. Кому-то из соискателей повезет с руководителем, который поверит в них, создаст им все условия, начнет продвигать по служебной лестнице, повысит их самооценку и усилит мотивацию. Другие окажутся менее удачливы и не по своей вине начнут карьеру с деморализующего провала. В личной жизни каждого также могут произойти события, которые повлияют на успехи на работе. Ни одно из этих событий и обстоятельств не может быть предугадано сегодня – ни вами, ни кем-либо другим, ни луч-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
шей в мире моделью. Истинное незнание включает в себя все, что не может быть известно в настоящее время о развитии событий в будущем, которое вы пытаетесь предсказать.
Кроме того, многие сведения о кандидатах, которые можно узнать в принципе, неизвестны вам в момент составления прогноза. В нашем случае не имеет значения, вызваны ли пробелы в сведениях отсутствием качественных тестов или вы сочли, что издержки по получению дополнительной информации необоснованны, или небрежно отнеслись к сбору фактов. Как бы то ни было, достаточно полной информацией вы не обладаете.
Обе причины – истинное незнание (то, чего никак не узнать) и неполная информация (можно было выяснить, но этого не произошло) – делают идеальный прогноз невозможным. Обе эти неизвестные величины – не проблемы смещения и шума в ваших оценках; это объективные характеристики задачи. Объективная неосведомленность о важных, но неизвестных вам вещах жестко ограничивает точность. Мы позволим себе некоторую вольность в терминологии и заменим обычно употребляемое слово незнание на неосведомленность. Термин поможет снизить риск путаницы между незнанием (в смысле незнания фактов о том, что происходит в мире и что случится в будущем) и шумом, который есть не что иное, как разброс в оценках.
В некоторых ситуациях имеется больше известной информации (и меньше объективной неосведомленности), чем
в других. Большинство профессиональных оценок очень неплохи. По многим болезням врачи дают верные прогнозы; во многих правовых спорах адвокаты могут с большой точностью предсказать, каким будет решение судей.
Однако в целом можно с уверенностью предположить, что люди, которые занимаются прогнозированием, недооценивают свою объективную неосведомленность. Излишняя са-
моуверенность137 – одно из самых хорошо документированных когнитивных искажений. В частности, излишней самоуверенностью отличаются утверждения о чьей-либо способности давать точные прогнозы даже на основе ограниченной информации. То, что мы говорили о шуме в прогнозировании, можно отнести и к объективной неосведомленности: там, где есть прогноз, найдется место и неосведомленности. И ее будет намного больше, чем вам кажется.
Излишне самоуверенные эксперты
Наш хороший друг, психолог Филип Тетлок, обладает непередаваемым чувством юмора и страстным стремлением к справедливости. В 2005 году он опубликовал книгу под названием «Экспертные политические суждения». Несмотря на нейтральный заголовок, книга содержала убийственные нападки на способность экспертов точно предсказывать политические события.
Тетлок изучил предсказания почти трех сотен экспертов:
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
известных журналистов, уважаемых ученых и высокопоставленных консультантов национальных лидеров. Он задался вопросом: а сбылись ли их прогнозы в политике, экономике и социальной сфере? Исследования охватывали два десятилетия; чтобы выяснить, осуществились ли долгосрочные прогнозы, требуется немало терпения.
Главное открытие Тетлока состояло в том, что в своих предсказаниях важнейших политических событий эксперты крайне разочаровывали. Книга стала знаменитой благодаря уничижительной концовке: «В среднем эксперты попадали в цель примерно с такой же точностью, как шимпанзе при игре в дартс». Более полно суть книги выражалась в том, что
эксперты со своими «комментариями и рекомендациями138 на политические и экономические темы» оказались «ничуть не лучше, чем журналисты или внимательные читатели New York Times. Разумеется, эксперты за словом в карман не лезли. Они анализировали ситуацию, рисовали захватывающую картину развития событий и уверенно опровергали возражения своих оппонентов по теледебатам. Однако знали ли они наверняка, что случится в будущем? Едва ли.
Тетлок пришел к этому выводу, прорываясь сквозь бесконечный поток красноречия. По каждому пункту он попросил экспертов оценить вероятность трех возможных исходов: статус-кво, некоторый рост или снижение. Бросающая дротики шимпанзе «выбрала» бы каждый из этих исходов с равной вероятностью – один к трем, – невзирая на реальные
факты. Эксперты ненамного превысили этот очень низкий уровень. В среднем они чуть выше оценивали вероятность событий, которые произошли, чем тех, которых так и не случилось, однако наиболее яркой чертой их выступлений стала чрезмерная уверенность в своей правоте. Мудрецы, вооруженные логичными теориями о том, как функционирует этот мир, оказались наиболее самоуверенными и наименее точными.
Открытия Тетлока наводят на мысль, что детальные долгосрочные прогнозы отдельных событий попросту невозможны. В мире все настолько запутано, что самые незначительные события могут иметь серьезные последствия. Например, такой факт: имелся равный шанс, что каждый оставивший след в истории человек (да и вообще любой человек) мог бы родиться другого пола. Непредсказуемые события неизбежны, и их последствия также непредсказуемы. В результате чем дальше мы заглядываем в будущее, тем больше накапливается объективной неосведомленности. Ограниченность экспертных политических суждений обусловлена не когнитивной ограниченностью прогнозистов, а полной объективной неосведомленностью о будущих событиях.
Конечно, «мудрых» экспертов не следует порицать за провалы их долгосрочных предсказаний. Однако они заслужили свою долю критики, потому что взялись за невыполнимую задачу и возомнили, что смогут добиться успеха.
Спустя несколько лет после своего скандального откры-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/