К вопросу оценки экспертами успех и неудач проектов

Субъективную уверенность в суждении не следует равнять с взвешенной оценкой вероятности.

В портфельном управлении применяются метрики для оценка успешности и реализуемости инвестиционных проектов, а также метрики для оценки рисков проектов. Один из методов оценивания успеха и рисков - анкетирование экспертов. Анкетирование дает основание думать, что получены взвешенные и более менее объективные значения и оценки. Однако, возможно лучше не тратить время и усилия на безнадежное, и возможно даже вредное дело.

Почем так?

Ниже обоснование из книги Даниэля Каннемана "Думай медленно, решай быстро". Цитаты из этой книги, составленные повествовательно.

Уверенность — это чувство, отражающее когерентность информации и когнитивную легкость ее обработки. В связи с этим разумнее принимать всерьез чьи-либо признания в неуверенности. Заявления в абсолютной уверенности, напротив, подсказывают, что человек выстроил в уме когерентный рассказ, который может и не соответствовать действительности.

Нассим Талеб в «Черном лебеде» заметил, что наша склонность изобретать когерентные нарративы (то есть связные, последовательные повествования о прошлом) и верить в них затрудняет принятие того факта, что наши способности к предвидению ограничены. В ретроспекции все обретает смысл — чем и пользуются финансовые эксперты, предлагая убедительные сводки дневных событий. Мы не в силах подавить голос интуиции, который твердит: «Если сегодня мы осознаем смысл вчерашних событий, значит, их можно было предсказать». Иллюзия понимания прошлого придает нам чрезмерную уверенность в своих способностях предвидеть будущее.

Эксперт не виноват — просто мир сложно устроен. Следует осознать, что, во-первых, ошибки предвидения неизбежны, поскольку жизнь непредсказуема. И во-вторых, излишнюю субъективную уверенность не стоит считать индикатором точности предсказаний (неуверенность даст лучший результат).

Можно предвидеть лишь кратковременные изменения. Аналитики с Уолл-стрит, которые надеются превзойти рынок в предсказании цен на будущее, ошибаются почти всегда. Также не рассчитывайте на экспертов, выдающих долгосрочные прогнозы, хотя они и могут поделиться ценным советом относительно ближайшего будущего.