К вопросу оценки экспертами успех и неудач проектов

Субъективную уверенность в суждении не следует равнять с взвешенной оценкой вероятности.

В портфельном управлении применяются метрики для оценка успешности и реализуемости инвестиционных проектов, а также метрики для оценки рисков проектов. Один из методов оценивания успеха и рисков - анкетирование экспертов. Анкетирование дает основание думать, что получены взвешенные и более менее объективные значения и оценки. Однако, возможно лучше не тратить время и усилия на безнадежное, и возможно даже вредное дело.

Почем так?

Ниже обоснование из книги Даниэля Каннемана "Думай медленно, решай быстро". Цитаты из этой книги, составленные повествовательно.

Уверенность — это чувство, отражающее когерентность информации и когнитивную легкость ее обработки. В связи с этим разумнее принимать всерьез чьи-либо признания в неуверенности. Заявления в абсолютной уверенности, напротив, подсказывают, что человек выстроил в уме когерентный рассказ, который может и не соответствовать действительности.

Нассим Талеб в «Черном лебеде» заметил, что наша склонность изобретать когерентные нарративы (то есть связные, последовательные повествования о прошлом) и верить в них затрудняет принятие того факта, что наши способности к предвидению ограничены. В ретроспекции все обретает смысл — чем и пользуются финансовые эксперты, предлагая убедительные сводки дневных событий. Мы не в силах подавить голос интуиции, который твердит: «Если сегодня мы осознаем смысл вчерашних событий, значит, их можно было предсказать». Иллюзия понимания прошлого придает нам чрезмерную уверенность в своих способностях предвидеть будущее.

Эксперт не виноват — просто мир сложно устроен. Следует осознать, что, во-первых, ошибки предвидения неизбежны, поскольку жизнь непредсказуема. И во-вторых, излишнюю субъективную уверенность не стоит считать индикатором точности предсказаний (неуверенность даст лучший результат).

Можно предвидеть лишь кратковременные изменения. Аналитики с Уолл-стрит, которые надеются превзойти рынок в предсказании цен на будущее, ошибаются почти всегда. Также не рассчитывайте на экспертов, выдающих долгосрочные прогнозы, хотя они и могут поделиться ценным советом относительно ближайшего будущего.

Три принципа скептицизма в оценке экспертами инвестиционных проектов

В ходе оценки инвестиционных проектов одним из методов является анкетирование экспертов, которые оценивают проект.

Эксперты конечно проведут оценивание, однако встает другая проблема: что делать если Вы не согласны с оценками экспертов, или если эксперты дали противоположные оценки. 

Может пригодится следующий подход.

Бертран Рассел привел три отстаиваемых им принципа скептицизма:

1. Если эксперты согласны во мнениях, то противоположное мнение не может считаться несомненным.
2. Если эксперты не согласны, ни одно мнение не может считаться обычным человеком несомненным (считаться не экспертом).
3. Если эксперты полагают, что не достаточно оснований для позитивных суждений, обычный человек должен отложить вынесение собственного суждения.

Мнения, которые изгалаются с пристрастием, таковы, что для них нет достаточных оснований и пристрастие сесть показатель недостаточности рациональных оснований для защиты мнения.

Кстати, мнения в политике почти всегда пристрастны. Но люди в большей степени ненавидят скептиков, нежели страстных защитников.