ผู้ที่ยื่นขอสินเชื่อจากธนาคารหรือบริษัทบัตรเครดิตและถูกปฏิเสธ จะต้องได้รับคำอธิบายว่าเหตุใดจึงเกิดขึ้น เป็นความคิดที่ดี เพราะสามารถช่วยสอนผู้คนถึงวิธีการซ่อมแซมเครดิตที่เสียหายของพวกเขา และนี่คือกฎหมายของรัฐบาลกลาง พระราชบัญญัติโอกาสในการให้สินเชื่อที่เท่าเทียมกัน. การได้คำตอบไม่ใช่ปัญหามากนักในหลายปีที่ผ่านมา เมื่อมนุษย์ตัดสินใจแบบนั้น แต่ทุกวันนี้ เนื่องจากระบบปัญญาประดิษฐ์ให้ความช่วยเหลือหรือแทนที่ผู้คนในการตัดสินใจด้านสินเชื่อมากขึ้น การได้รับคำอธิบายเหล่านั้นจึงกลายเป็นเรื่องยากมากขึ้น

ตามเนื้อผ้า เจ้าหน้าที่สินเชื่อที่ปฏิเสธคำขอสามารถบอกได้ว่าผู้ขอกู้มีปัญหาเกี่ยวกับระดับรายได้หรือประวัติการทำงาน หรือ ไม่ว่าประเด็นคืออะไร. แต่ระบบคอมพิวเตอร์ที่ใช้ระบบที่ซับซ้อน เรียนรู้เครื่อง แบบจำลองนั้นอธิบายได้ยาก แม้แต่สำหรับผู้เชี่ยวชาญ

การตัดสินใจสินเชื่อผู้บริโภคเป็นเพียงวิธีหนึ่งที่ปัญหานี้เกิดขึ้น ความกังวลที่คล้ายกัน มีอยู่ใน การดูแลสุขภาพ, การตลาดออนไลน์ และแม้กระทั่ง ความยุติธรรมทางอาญา. ความสนใจของฉันในด้านนี้เริ่มต้นขึ้นเมื่อกลุ่มวิจัยที่ฉันเป็นส่วนหนึ่งของการค้นพบ อคติทางเพศในการกำหนดเป้าหมายโฆษณาออนไลน์แต่ไม่สามารถอธิบายได้ว่าทำไมมันถึงเกิดขึ้น

อุตสาหกรรมเหล่านั้นทั้งหมด และอื่นๆ อีกมากมายที่ใช้แมชชีนเลิร์นนิงเพื่อวิเคราะห์กระบวนการและตัดสินใจมีเวลาเพียงปีเดียวในการอธิบายวิธีการทำงานของระบบได้ดีขึ้นมาก ในเดือนพฤษภาคม 2018 ใหม่ ระเบียบว่าด้วยการคุ้มครองข้อมูลทั่วไปของสหภาพยุโรป มีผลบังคับใช้ รวมถึงส่วนที่ให้สิทธิ์แก่ผู้คนในการรับคำอธิบายสำหรับการตัดสินใจอัตโนมัติที่ส่งผลต่อชีวิตของพวกเขา คำอธิบายเหล่านี้ควรมีรูปแบบใด และเราสามารถจัดเตรียมคำอธิบายเหล่านี้ได้จริงหรือ

ระบุเหตุผลสำคัญ

วิธีหนึ่งที่จะอธิบายว่าเหตุใดการตัดสินใจแบบอัตโนมัติจึงออกมาในลักษณะที่ทำได้คือการระบุปัจจัยที่มีอิทธิพลมากที่สุดในการตัดสินใจ การตัดสินใจปฏิเสธเครดิตมากน้อยเพียงใดเนื่องจากผู้สมัครทำเงินไม่เพียงพอหรือเพราะเขาล้มเหลวในการชำระคืนเงินกู้ในอดีต?

กลุ่มวิจัยของฉันที่ Carnegie Mellon University รวมถึงนักศึกษาปริญญาเอก Shayak Sen และหลังปริญญาเอก Yair Zick ได้สร้างวิธีการ วัดอิทธิพลสัมพัทธ์ ของแต่ละปัจจัย เราเรียกมันว่าอิทธิพลอินพุตเชิงปริมาณ

นอกเหนือจากการให้ความเข้าใจที่ดีขึ้นในการตัดสินใจของแต่ละคนแล้ว การวัดผลยังสามารถให้ความกระจ่างเกี่ยวกับกลุ่มของการตัดสินใจ: อัลกอริทึมปฏิเสธการให้สินเชื่อเป็นหลักเนื่องจากความกังวลด้านการเงิน เช่น ผู้สมัครเป็นหนี้หนี้อื่นๆ อยู่แล้วหรือไม่ หรือรหัสไปรษณีย์ของผู้สมัครมีความสำคัญมากกว่า – แสดงว่าอาจมีข้อมูลประชากรพื้นฐานเพิ่มเติม เช่น การแข่งขัน

จับสาเหตุ

เมื่อระบบตัดสินใจโดยพิจารณาจากปัจจัยหลายอย่าง สิ่งสำคัญคือต้องระบุปัจจัยที่ทำให้เกิดการตัดสินใจและการมีส่วนร่วมที่เกี่ยวข้อง

ตัวอย่างเช่น ลองนึกภาพระบบการตัดสินใจด้านเครดิตที่ใช้ข้อมูลเพียง XNUMX อย่าง อัตราส่วนหนี้สินต่อรายได้ของผู้สมัครและเชื้อชาติ และได้รับการแสดงว่าอนุมัติเงินกู้สำหรับชาวคอเคเชียนเท่านั้น การรู้ว่าแต่ละปัจจัยมีส่วนในการตัดสินใจมากน้อยเพียงใดจะช่วยให้เราเข้าใจว่าเป็นระบบที่ถูกต้องตามกฎหมายหรือเป็นการเลือกปฏิบัติ

คำอธิบายสามารถดูข้อมูลที่นำเข้าและผลลัพธ์และสังเกตความสัมพันธ์ - คนที่ไม่ใช่คอเคเซียนไม่ได้รับเงินกู้ แต่คำอธิบายนี้ง่ายเกินไป สมมติว่าผู้ที่ไม่ใช่ชาวคอเคเชียนซึ่งถูกปฏิเสธเงินกู้ก็มีรายได้ต่ำกว่าชาวคอเคเชี่ยนมากซึ่งการสมัครสำเร็จ จากนั้นคำอธิบายนี้ไม่สามารถบอกเราได้ว่าอัตราส่วนเชื้อชาติหรือรายได้ของผู้สมัครเป็นสาเหตุของการปฏิเสธหรือไม่

วิธีการของเราสามารถให้ข้อมูลนี้ได้ การบอกความแตกต่างหมายความว่าเราสามารถแซวได้ว่าระบบมีการเลือกปฏิบัติอย่างไม่เป็นธรรมหรือพิจารณาเกณฑ์ที่ถูกต้องตามกฎหมาย เช่น การเงินของผู้สมัครหรือไม่

ในการวัดอิทธิพลของเชื้อชาติในการตัดสินใจด้านเครดิตที่เฉพาะเจาะจง เราได้ทำขั้นตอนการสมัครใหม่ โดยคงอัตราส่วนหนี้สินต่อรายได้ให้เท่าเดิม แต่เปลี่ยนเชื้อชาติของผู้สมัคร หากการเปลี่ยนการแข่งขันส่งผลต่อผลลัพธ์ เรารู้ว่าการแข่งขันเป็นปัจจัยในการตัดสินใจ ถ้าไม่เช่นนั้น เราสามารถสรุปได้ว่าอัลกอริธึมกำลังดูเฉพาะข้อมูลทางการเงินเท่านั้น

นอกจากการระบุปัจจัยที่เป็นสาเหตุแล้ว เราสามารถวัดอิทธิพลเชิงสาเหตุสัมพันธ์ของปัจจัยเหล่านั้นต่อการตัดสินใจได้ เราทำโดยการสุ่มเปลี่ยนปัจจัย (เช่น เชื้อชาติ) และวัดแนวโน้มที่ผลลัพธ์จะเปลี่ยนไป ยิ่งมีโอกาสมากเท่าใด อิทธิพลของปัจจัยก็จะยิ่งมากขึ้นเท่านั้น

รวมอิทธิพล

วิธีการของเรายังสามารถรวมปัจจัยหลายอย่างที่ทำงานร่วมกันได้ พิจารณาระบบการตัดสินใจที่ให้เครดิตแก่ผู้สมัครที่มีคุณสมบัติตรงตามเกณฑ์สองในสามข้อ ได้แก่ คะแนนเครดิตที่สูงกว่า 600 ความเป็นเจ้าของรถยนต์ และผู้สมัครได้ชำระคืนเงินกู้บ้านเต็มจำนวนหรือไม่ สมมติว่าผู้สมัคร Alice ซึ่งมีคะแนนเครดิต 730 และไม่มีสินเชื่อรถยนต์หรือบ้าน ถูกปฏิเสธเครดิต เธอสงสัยว่าสถานะความเป็นเจ้าของรถของเธอหรือประวัติการชำระคืนเงินกู้บ้านเป็นเหตุผลหลักหรือไม่

การเปรียบเทียบสามารถช่วยอธิบายว่าเราวิเคราะห์สถานการณ์นี้อย่างไร พิจารณาศาลที่ตัดสินโดยคะแนนเสียงข้างมากของผู้พิพากษาสามคน คนหนึ่งเป็นอนุรักษนิยม คนหนึ่งเป็นเสรีนิยม และครั้งที่สามเป็นการลงคะแนนแบบวงสวิง บุคคลที่อาจเข้าข้างเพื่อนร่วมงานคนใดคนหนึ่งของเธอ ในการตัดสินใจแบบอนุรักษ์นิยม 2-1 ผู้ตัดสินวงสวิงมีอิทธิพลต่อผลลัพธ์มากกว่าผู้ตัดสินแบบเสรีนิยม

ปัจจัยในตัวอย่างเครดิตของเราเหมือนกับผู้พิพากษาสามคน ผู้พิพากษาคนแรกมักโหวตให้เงินกู้ เนื่องจากผู้สมัครหลายคนมีคะแนนเครดิตสูงเพียงพอ ผู้พิพากษาคนที่สองมักโหวตคัดค้านเงินกู้เนื่องจากมีผู้สมัครเพียงไม่กี่รายที่เคยจ่ายเงินค่าบ้าน ดังนั้นการตัดสินใจจึงตกอยู่ที่ผู้ตัดสินวงสวิง ซึ่งในกรณีของอลิซปฏิเสธเงินกู้เพราะเธอไม่มีรถ

เราสามารถให้เหตุผลนี้อย่างแม่นยำโดยใช้ ทฤษฎีเกมแบบร่วมมือซึ่งเป็นระบบการวิเคราะห์อย่างเจาะจงมากขึ้นว่าปัจจัยต่างๆ ส่งผลต่อผลลัพธ์เดียวอย่างไร โดยเฉพาะอย่างยิ่ง เรารวมการวัดอิทธิพลเชิงสาเหตุสัมพันธ์กับ ค่า Shapleyซึ่งเป็นวิธีการคำนวณวิธีการกำหนดอิทธิพลของปัจจัยหลายตัว สิ่งเหล่านี้รวมกันเป็นการวัดอิทธิพลของอินพุตเชิงปริมาณของเรา

จนถึงตอนนี้ เราได้ประเมินวิธีการของเราเกี่ยวกับระบบการตัดสินใจที่เราสร้างขึ้นโดยการฝึกอัลกอริธึมการเรียนรู้ของเครื่องทั่วไปด้วยชุดข้อมูลในโลกแห่งความเป็นจริง การประเมินอัลกอริธึมในที่ทำงานในโลกแห่งความเป็นจริงเป็นหัวข้อสำหรับการทำงานในอนาคต

ความท้าทายที่เปิดกว้าง

วิธีการวิเคราะห์และคำอธิบายเกี่ยวกับวิธีการตัดสินใจของอัลกอริธึมของเรานั้นมีประโยชน์มากที่สุดในสภาพแวดล้อมที่มนุษย์เข้าใจปัจจัยต่างๆ เช่น อัตราส่วนหนี้สินต่อรายได้และเกณฑ์ทางการเงินอื่นๆ

อย่างไรก็ตาม การอธิบายกระบวนการตัดสินใจของอัลกอริธึมที่ซับซ้อนมากขึ้นยังคงเป็นความท้าทายที่สำคัญ ยกตัวอย่าง ระบบจดจำภาพ แบบที่ ones ตรวจจับและติดตามเนื้องอก. มันไม่มีประโยชน์มากนักที่จะอธิบายการประเมินภาพโดยพิจารณาจากแต่ละพิกเซล ตามหลักการแล้ว เราต้องการคำอธิบายที่ให้ข้อมูลเชิงลึกเพิ่มเติมเกี่ยวกับการตัดสินใจ เช่น การระบุลักษณะเฉพาะของเนื้องอกในภาพ อันที่จริง การออกแบบคำอธิบายสำหรับงานตัดสินใจอัตโนมัติดังกล่าวทำให้นักวิจัยหลายคนคงอยู่ต่อไป ไม่ว่าง.

เกี่ยวกับผู้เขียน

Anupam Datta รองศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์และวิศวกรรมไฟฟ้าและคอมพิวเตอร์ มหาวิทยาลัยคาร์เนกีเมลลอน

บทความนี้ถูกเผยแพร่เมื่อวันที่ สนทนา. อ่าน บทความต้นฉบับ.

หนังสือที่เกี่ยวข้อง

at ตลาดภายในและอเมซอน