ผู้เชี่ยวชาญเข้าใจผิดอย่างมหันต์ ตามคำบอกของ Dominic Cummings อดีตหัวหน้าที่ปรึกษาของนายกรัฐมนตรีอังกฤษ บอริส จอห์นสัน คัมมิงส์โต้เถียง ว่าคำแนะนำทางวิทยาศาสตร์อย่างเป็นทางการของรัฐบาลสหราชอาณาจักรในเดือนมีนาคม 2020 เข้าใจผิดอย่างใหญ่หลวงว่าการระบาดใหญ่จะเป็นอย่างไร นำไปสู่ความล่าช้าในการล็อกดาวน์ซึ่งคร่าชีวิตผู้คนหลายพันคน

จากข้อมูลของ Cummings ผู้เชี่ยวชาญบางคนที่มีความรู้น้อยเกี่ยวกับการระบาดใหญ่หรือการแพทย์ เช่น นักวิทยาศาสตร์ข้อมูล Ben Warner นักวิจัยด้านปัญญาประดิษฐ์ Demis Hassabis แห่ง DeepMind และนักคณิตศาสตร์ Tim Gowers ที่ให้การคาดการณ์ที่แม่นยำยิ่งขึ้น ณ จุดนี้

คัมมิงส์เป็นที่รู้จักกันว่า แฟน of การคาดการณ์ขั้นสูง โดย Philip Tetlock หนังสือเกี่ยวกับผู้ที่ทำนายเหตุการณ์ในอนาคตได้อย่างน่าเชื่อถือมากกว่าคนส่วนใหญ่ นักพยากรณ์บางคน ได้รับการยกย่อง praise สำหรับการคาดการณ์เกี่ยวกับโรคระบาด ในขณะที่คนอื่น ๆ ก็ได้ ที่สำคัญของผู้เชี่ยวชาญ' บันทึก.

รัฐบาลควรใช้ประโยชน์จาก superforecasters ให้มากขึ้นแทนที่จะพึ่งพาผู้เชี่ยวชาญทางวิทยาศาสตร์หรือไม่? หลักฐานไม่ชัดเจนนัก แต่ดูเหมือนว่าจะมีบางสิ่งที่รัฐบาลสามารถเรียนรู้ได้จากการคาดการณ์ขั้นสูง

ใน การศึกษาที่มีชื่อเสียงของอเมริกา ใน superforecasters ที่ตีพิมพ์ในปี 2014 พวกเขาเป็นลูกเรือชั้นยอด มีเพียง 2% อันดับต้น ๆ ของผู้เข้าแข่งขันที่ทำได้ดีเพียงพอในการแข่งขันพยากรณ์ทางภูมิรัฐศาสตร์เพื่อคว้าแชมป์ งานของพวกเขาคือกำหนดความน่าจะเป็นให้กับคำตอบที่เป็นไปได้สำหรับคำถามหลายสิบข้อ

นักวิจัยได้ให้ตัวอย่างประกอบบางส่วน ใครจะเป็นประธานาธิบดีของรัสเซียในปี 2012? เกาหลีเหนือจะจุดชนวนอาวุธนิวเคลียร์อีกตัวในอีกสามเดือนข้างหน้าหรือไม่? ผู้ลี้ภัยกี่คนจะหนีซีเรียในปีหน้า?

แน่นอน เพียงเพราะใครบางคนทำได้ดีในหนึ่งปี ไม่ได้พิสูจน์ว่าพวกเขาเก่งกว่าใครๆ บางทีพวกเขาอาจจะโชคดี เราต้องดูว่าพวกเขาทำได้ดีแค่ไหนในปีต่อๆ มาเพื่อประเมินว่าพวกเขา "สุดยอด" แค่ไหน

น่าประทับใจอย่างยิ่งที่ superforecasters เหล่านี้รักษาความได้เปรียบในขณะที่การแข่งขันดำเนินไปเป็นเวลาสามปี อันที่จริง หลังจากที่ถูกรวมเข้าเป็น “ทีม superforecasting” ที่มีเพียงผู้มีประสิทธิภาพสูงสุดรายอื่น ประสิทธิภาพของพวกเขาก็เพิ่มขึ้นอย่างมาก นักวิจัยยังพบว่าการทำงานเป็นทีมและการฝึกอบรมที่เกี่ยวข้องช่วยเพิ่มประสิทธิภาพให้กับนักพยากรณ์คนอื่นๆ เมื่อเทียบกับนักพยากรณ์ในสภาวะควบคุม

ทีมและการฝึกซ้อม

ไม่ว่าเราจะยึดถือคำพูดของเขากับคัมมิงส์ว่าแผนการระบาดใหญ่ของสหราชอาณาจักรได้รับความทุกข์ทรมานจาก “ฟองสบู่คิดแบบกลุ่มแบบคลาสสิก” หรือไม่ เรารู้ว่าทีมไม่ได้ตัดสินใจอย่างชาญฉลาดเสมอไป อะไรที่ทำให้ทีมประสบความสำเร็จในการศึกษาในสหรัฐฯ มากขึ้น?

เป็นเรื่องยากที่จะพูดได้อย่างแน่นอน แต่นักวิจัยได้สนับสนุนให้ทีมถามคำถามที่แม่นยำขึ้นโดยเฉพาะ เพื่อกระตุ้นให้เกิดการคิดที่ชัดเจนขึ้นเกี่ยวกับหลักฐานที่สนับสนุนการคาดการณ์โดยเฉพาะ เพื่อ "มองหาหลักฐานที่ขัดแย้งกับคำทำนายในปัจจุบันของคุณ" และเพื่อนำเสนอมุมมองทางเลือกที่สร้างสรรค์ .

การอภิปรายดังกล่าวอาจจะดี ปรับปรุงการตัดสินโดยรวม และ ป้องกันกลุ่มคิด group. สมาชิกในทีมไม่จำเป็นต้องมีฉันทามติ แม้ว่าพวกเขาจะแบ่งปันข้อมูลและความคิดเห็น แต่พวกเขายังทำการทำนายรายบุคคลซึ่งถูกรวมเข้าด้วยกันโดยอัลกอริธึม โดยเฉพาะทีม Superforecaster ได้แก่ มีส่วนร่วมสูงแบ่งปันข้อมูลและถามคำถามกับสมาชิกในทีมบ่อยๆ

การศึกษาอื่น พิจารณาอย่างละเอียดถี่ถ้วนว่าเทคนิคการฝึกแบบใดที่ดูเหมือนจะช่วยได้มากที่สุด สามเทคนิคมีความเกี่ยวข้องอย่างยิ่งกับความแม่นยำสูงกว่า อย่างแรกคือการใช้คลาสเปรียบเทียบที่เรียกว่า

ตัวอย่างเช่น หากฉันพยายามคาดเดาความน่าจะเป็นที่เบเนดิกต์ คัมเบอร์แบตช์และโซฟี ฮันเตอร์จะยังอยู่ด้วยกันในห้าปี การนึกถึง "ชั้นเรียน" อื่นๆ ที่เกี่ยวข้องก็อาจช่วยได้ เช่น ชั้นเรียนของคนดังที่แต่งงาน หรือแม้แต่ การแต่งงานโดยทั่วไป สิ่งนี้ทำให้ฉันดูประวัติศาสตร์เพื่อแจ้งการคาดคะเนของฉัน: เปอร์เซ็นต์ของการแต่งงานของคนดังที่สิ้นสุดในระยะเวลาห้าปีที่กำหนด

ประการที่สองคือการใช้แบบจำลองทางคณิตศาสตร์และสถิติ หากมี เพื่อช่วยแจ้งความคิดเห็น ประการที่สามคือ "เลือกคำถามที่ถูกต้อง" ซึ่งเป็นคำแนะนำที่จะใช้เวลามากขึ้นในการคาดเดาคำตอบสำหรับคำถามที่คุณรู้จักมากกว่าคนอื่นๆ เกี่ยวกับหัวข้อนั้นๆ หรือการวิจัยเพิ่มเติมที่น่าจะได้ผล อย่างไรก็ตาม นักวิจัยเน้นว่าส่วนประกอบทั้งหมดของ การฝึกอบรม อาจมีส่วนร่วมอย่างองค์รวมเพื่อประสิทธิภาพที่ดีขึ้น

ยังมีงานวิจัยที่พบว่า ความแม่นยำจะดีขึ้นเมื่อเราติดตามผลงานที่ผ่านมาของเรา - แต่ชนิดของข้อเสนอแนะมีความสำคัญ ผลลัพธ์ที่คุณคิดว่าจะเกิดขึ้น 20% เกิดขึ้นจริง 20% ของเวลาทั้งหมดหรือไม่ แล้วผลลัพธ์ที่คุณคิดว่าจะเกิดขึ้น 90% ของเวลาจะเป็นอย่างไร ประสิทธิภาพดีขึ้นสำหรับผู้ที่ได้รับข้อมูลประเภทนี้

รัฐบาลสามารถทำได้ดีกว่านี้หรือไม่?

รัฐบาลสหราชอาณาจักรสามารถจัดการกับ COVID-19 ได้ดีขึ้นด้วยการขอข้อมูลจากทีม superforecasters หรือไม่? มันเป็นไปได้. Superforecasters ที่ เปิดคำพิพากษาที่ดี และฝึกนักพยากรณ์ที่ เมตาคูลัส (ที่ผมได้เข้าร่วม) แต่ละคนดูเหมือนจะทำได้ดีกับ COVID-19 โดย Metaculus อ้างว่ามี เก่งกว่าผู้เชี่ยวชาญ ในเดือนมิถุนายน 2020 ที่กล่าวว่าใน ซีรีส์ล่าสุด ของการคาดการณ์ที่เกี่ยวข้องกับ COVID-19 นักพยากรณ์ที่ผ่านการฝึกอบรมมักไม่แม่นยำกว่าผู้เชี่ยวชาญเสมอไป นักวิจัยที่อยู่เบื้องหลังการสำรวจกำลังทดลองหาวิธีผสมผสานการคาดการณ์จากผู้เชี่ยวชาญด้านโดเมนและนักพยากรณ์ที่ได้รับการฝึกฝนมาสู่ "การคาดการณ์ที่เป็นเอกฉันท์"

ดูเหมือนว่าเป็นไปได้ที่แม้แต่การฝึกอบรมที่ช่วยให้ผู้ที่ไม่ใช่ผู้มีอำนาจเหนือการคาดการณ์ที่ดีขึ้นก็จะมีประโยชน์ ตัวอย่างเช่น คัมมิงส์อ้างว่าแม้ว่าจะมีความสนใจในแบบจำลองทางระบาดวิทยาเป็นอย่างมาก แต่หลักฐานที่ขัดแย้งกับสมมติฐานของแบบจำลอง เช่น ข้อมูลที่รายงานโดยหน่วยอภิบาลผู้ป่วยหนัก ถูกเพิกเฉย ดูเหมือนว่าเป็นไปได้อย่างยิ่งที่ผู้ที่ได้รับการฝึกฝนให้ "มองหาหลักฐานที่ขัดแย้งกับคำทำนายในปัจจุบันของคุณ" อาจพบเห็นสิ่งนี้ก่อนหน้านี้

แน่นอน ไม่ใช่ว่าทุกคำแนะนำจากวรรณคดีจะนำไปใช้ได้จริงในการตั้งค่าของรัฐบาล ตามทฤษฎีแล้ว รัฐบาลสามารถทดสอบคำแนะนำดังกล่าวได้ด้วยตนเอง โดยนำสิ่งที่เห็นว่าเป็นประโยชน์มาใช้ ขออภัย คุณไม่สามารถปรับปรุงสิ่งที่คุณไม่ได้วัดได้

In การคาดการณ์ขั้นสูง, Tetlock เน้นย้ำว่าองค์กรใดๆ ที่จริงจังเกี่ยวกับการปรับปรุงการคาดการณ์จะต้องแนบตัวเลขที่เป็นรูปธรรมไว้กับองค์กร อย่างน้อยก็ภายในองค์กร วลีเช่น "ความเป็นไปได้ที่ร้ายแรง" อาจหมายถึงโอกาส 20% สำหรับคนคนหนึ่งและโอกาสอีก 80%

นี่คือสิ่งที่คัมมิงส์พูดถึงอย่างแน่นอน เมื่อพระองค์ตรัสว่า: “ผู้ชายที่ชื่อ Phil Tetlock เขียนหนังสือและในหนังสือเล่มนั้นเขาบอกว่าคุณไม่ควรใช้คำพูดที่สมเหตุสมผลและน่าจะเป็นไปได้ เพราะมันทำให้ทุกคนสับสน” บางทีก็ไม่น่าแปลกใจที่เราจะต้องแปลกใจหากองค์กรที่ไม่คาดการณ์ในลักษณะที่สามารถประเมินได้นั้นไม่มีความพร้อมในการเรียนรู้วิธีทำให้ดีขึ้น คุณต้องพยายามก่อน