В ответ на электронное письмо, призванное исключить фактические ошибки, представитель ФБР писал: «Мы не прогнозируем преступления. Мы можем лишь определить тенденции и угрозы».
Jeff Sutherland, Scrum: The Art of Doing Twice the Work in Half the Time (New York: Crown Business, 2014.
Robert S. Mueller III, «Statement Before the House Permanent Select Committee on Intelligence», Washington, D.C., 6/10/2011, https://www.fbi.gov/news/testimony/the-state-of-intelligence-reform – 10-years-after-911.
В настоящей главе приведена номинальная стоимость фишек в долларовом выражении. Тем не менее необходимо отметить, что на таких турнирах фишки используют исключительно для определения победителя – их не обменивают на деньги один к одному. Сумма выигрыша определяется местом в турнирной таблице. Например, игрок может собрать фишек на 200 тысяч долларов, занять 5-е место и выиграть 300 тысяч долларов. В данном конкретном турнире призовой фонд составлял 2 миллиона долларов. По стечению обстоятельств, общее количество фишек тоже равнялось двум миллионам.
События турнира изложены в несколько ином хронологическом порядке, что позволило подчеркнуть основные моменты каждой описанной раздачи. Все остальные факты приведены в неизмененном виде. Разобраться в Турнире чемпионов 2004 года, а также покере в общем мне помогли Энни Дьюк, Говард Ледерер и Фил Хельмут. Спасибо им за потраченное время и советы. Кроме того, при подготовке настоящей главы были использованы следующие материалы: записи телевизионной версии Турнира Чемпионов 2004, предоставленные ESPN; Annie Duke, David Diamond, How I Raised, Folded, Bluffed, Flirted, Cursed and Won Millions at the World Series of Poker (New York: Hudson Street Press, 2005); «Annie Duke: The Big Things You Don’t Do», The Moth Radio Hour, 13/09/2012, http://themoth.org/posts/stories/the-big-things-you-dont-do; «Annie Duke: A House Divided», The Moth Radio Hour, 20/07/2011, http://themoth.org/posts/stories/a-house-divided; «Dealing with Doubt», Radiolab, season 11, episode 4, http://www.radiolab.org/story/278173-dealing-doubt/; Dina Cheney, «Flouting Convention, Part II: Annie Duke Finds Her Place at the Poker Table», Columbia College Today, 07/2004, http://www.college.columbia.edu/cct_archive/jul04/features4.php; Ginia Bellafante, «Dealt a Bad Hand? Fold ’Em. Then Raise», The New York Times, 19/01/ 2006; Chuck Darrow, «Annie Duke, Flush with Success», The Philadelphia Inquirer, 8/06/2010; Jamie Berger, «Annie Duke, Poker Pro», Columbia Magazine, 4/03/ 2013, http://www.columbia.edu/cu/alumni/Magazine/Spring2002/Duke.html; «Annie Duke Profile», The Huffi Post, 21/02/2013; Del Jones, «Know Yourself, Know Your Rival», USA Today, 20/07/2009; Richard Deitsch, «Q &A with Annie Duke», Sports Illustrated, 26/05/2005; Mark Sauer, «Annie Duke Found Her Calling», San Diego Union-Tribune, 9/10/2005; George Sturgis Coffin, Secrets of Winning Poker (Wilshire, 1949); Richard D. Harroch, Lou Krieger, Poker for Dummies (New York: Wiley, 2010); David Sklansky, The Theory of Poker (Two Plus Two Publishers, 1999); Michael Bowling et al., «Heads-Up Limit Hold’ em Poker Is Solved», Science 347, № 6218 (2015): 145-49; Darse Billings et al., «The Challenge of Poker», Artifiсial Intelligence 134, № 1 (2002): 201-40; Kevin B. Korb, Ann E. Nicholson, Nathalie Jitnah, «Bayesian Poker», Proceedings of the Fifteenth Conference on Uncertainty in Artifi Intelligence (San Francisco: Morgan Kaufmann, 1999).
Gerald Hanks, «Poker Math and Probability», Pokerology, http://www.pokerology.com/lessons/math-and-probability/.
Daniel Kahneman, Amos Tversky, «Prospect Theory: An Analysis of Decision Under Risk», Econometrica: Journal of the Econometric Society 47, № 2 (1979): 263-91.
Согласно оценкам, турнир смотрели около 1,5 миллиона зрителей.
В телефонном разговоре, призванном исключить фактические ошибки, Энни подробно рассказала, о чем она думала в тот момент: «Если у Грега были валеты – вообще, любая карта старше десятки – ситуация складывалась не в мою пользу. Я примерно догадывалась, какие карты у него могут быть, но меня мучили сомнения. Уверенность – вот что мне было нужно. Если у него тузы и короли, мне следует сбросить карты. Что же решить? Пока Грег Реймер оставался для меня загадкой. Правда, мы с братом смотрели видеозаписи его игр и заметили „подсказку“ – движение, которое он делал всякий раз, когда ему выпадала сильная комбинация. Это движение и навело меня на мысль, что у него хорошая карта. Конечно, я не была уверена на сто процентов».
«Aggregative Contingent Estimation», Office of the Director of National Intelligence (IARPA), 2014, Web.
Разобраться в тонкостях проекта «Здравое суждение» мне помогли следующие материалы: Barbara Mellers et al., «Psychological Strategies for Winning a Geopolitical Forecasting Tournament», Psychological Science 25, № 5 (2014): 1106-15; Daniel Kahneman, «How to Win at Forecasting: A Conversation with Philip Tetlock», Edge, 6/12/2012, https://edge.org/conversation/ how-to-win-at-forecasting; Michael D. Lee, Mark Steyvers, Brent Miller, «A Cognitive Model for Aggregating People’s Rankings», PloS One 9, № 5 (2014); Lyle Ungar et al., «The Good Judgment Project: A Large Scale Test» (2012); Philip Tetlock, Expert Political Judgment: How Good Is It? How Can We Know? (Princeton, N.J.: Princeton University Press, 2005); Jonathan Baron et al., «Two Reasons to Make Aggregated Probability Forecasts More Extreme», Decision Analysis 11, № 2 (2014): 133-45; Philip E. Tetlock et al., «Forecasting Tournaments Tools for Increasing Transparency and Improving the Quality of Debate», Current Directions in Psychological Science 23, № 4 (2014): 290-95; David Ignatius, «More Chatter than Needed», The Washington Post, 1/11/2013; Alex Madrigal, «How to Get Better at Predicting the Future», The Atlantic, 11/12/2012; Warnaar et al., «Aggregative Contingent Estimation System»; Uriel Haran, Ilana Ritov, Barbara A. Mellers, «The Role of Actively Open-Minded Thinking in Information Acquisition, Accuracy, and Calibration», Judgment and Decision Making 8, № 3 (2013): 188–201; David Brooks, «Forecasting Fox», The New York Times, 21/03/2013; Philip Tetlock, Dan Gardner, Seeing Further (New York: Random House, 2015).
На разных стадиях проекта принимало участие разное количество исследователей.
В ответ на электронное письмо, призванное исключить фактические ошибки, руководители проекта «Здравое суждение» Барбара Меллерс и Филипп Тетлок, писали: «В первый год мы проводили два разных тренинга. Один был посвящен вероятностному рассуждению, второй носил проблемно-ситуационный характер. Поскольку первый дал лучшие результаты, в дальнейшем мы использовали только его. Каждый год в программу обучения вносили коррективы. Со временем был введен раздел по геополитическим суждениям и второй раздел по вероятностному рассуждению…
Общее описание тренинга таково: мы разработали ультрасовременные учебные модули по вероятностному рассуждению и курс проблемно-ситуационного обучения. В рамках тренинга, построенного на проблемно-ситуационном (сценарном) методе обучения, прогнозисты учились генерировать новые варианты развития событий, допускать и анализировать множество возможностей, пользоваться деревом решений, а также избегать таких ошибок, как переоценка изменений, создание непоследовательных сценариев или приписывание вероятностей взаимно исключающим и исчерпывающим исходам, в сумме превышающим 1,0. Курс по вероятностному рассуждению был ориентирован на анализ эталонов, существующих моделей, результатов опросов общественного мнения и заключений экспертных групп, обучение процессу экстраполяции, а также исключение таких ошибок, как сверхуверенность, предвзятость подтверждения и игнорирование базовой информации. Каждый учебный модуль носил интерактивный характер и включал контрольные вопросы и ответы».