อเมซอนเพิ่งเริ่มให้บริการ จัดส่งในวันเดียวกัน ในเขตปริมณฑลที่เลือก นี่อาจเป็นสิ่งที่ดีสำหรับลูกค้าจำนวนมาก แต่การเปิดตัวแสดงให้เห็นว่าการตัดสินใจด้วยคอมพิวเตอร์สามารถทำให้เกิดการเลือกปฏิบัติที่รุนแรงได้อย่างไร

บริษัทเริ่มให้บริการในพื้นที่ที่มีค่าใช้จ่ายในการจัดส่งต่ำที่สุด โดยการระบุรหัสไปรษณีย์ของสถานที่ที่มีประชากรหนาแน่นซึ่งเป็นที่ตั้งของลูกค้า Amazon ที่มีอยู่จำนวนมากซึ่งมีรายได้สูงพอที่จะซื้อสินค้าได้บ่อยครั้งสำหรับการจัดส่งในวันเดียวกัน บริษัทได้จัดทำหน้าเว็บเพื่อให้ลูกค้าป้อนรหัสไปรษณีย์เพื่อดูว่ามีบริการจัดส่งในวันเดียวกันหรือไม่ นักข่าวสืบสวนที่ Bloomberg News ใช้หน้านั้นเพื่อ สร้างแผนที่พื้นที่ให้บริการของ Amazon สำหรับการจัดส่งในวันเดียวกัน.

การวิเคราะห์ของ Bloomberg เปิดเผยว่าพื้นที่ในเมืองที่ยากจนจำนวนมากถูกแยกออกจากพื้นที่ให้บริการ ในขณะที่พื้นที่ใกล้เคียงที่ร่ำรวยกว่าถูกรวมไว้ด้วย พื้นที่ยากจนที่ถูกกีดกันเหล่านี้จำนวนมากส่วนใหญ่เป็นที่อยู่อาศัยของชนกลุ่มน้อย ตัวอย่างเช่น บอสตันทั้งหมดได้รับการคุ้มครอง ยกเว้น Roxbury; มหานครนิวยอร์กครอบคลุมเกือบทั้งหมดของสี่เมืองแต่ไม่รวมบรองซ์; ความคุ้มครองของชิคาโกละทิ้งพื้นที่ด้านใต้ที่ยากจน ในขณะที่ขยายออกไปอย่างมากไปจนถึงชานเมืองทางเหนือและตะวันตกที่มั่งคั่ง

แม้ว่าจะเป็นการดึงดูดให้เชื่อว่าการตัดสินใจที่ขับเคลื่อนด้วยข้อมูลนั้นไม่มีอคติ การวิจัยและการอภิปรายทางวิชาการ กำลังเริ่มแสดงให้เห็นว่า ความไม่เป็นธรรมและการเลือกปฏิบัติยังคงอยู่. ในของฉัน คอร์สออนไลน์จริยธรรมข้อมูล, นักเรียนเรียนรู้ว่า อัลกอริทึมสามารถแยกแยะได้. แต่อาจมีซับในสีเงินบ้าง: ตามการวิจัยของ Bloomberg การตัดสินใจบนพื้นฐานของข้อมูลอาจทำให้ตรวจจับได้ง่ายขึ้นเมื่อมีอคติเกิดขึ้น

อคติอาจไม่ได้ตั้งใจ

ความไม่เป็นธรรมเช่นนั้นในนโยบายการจัดส่งของ Amazon สามารถเกิดขึ้นได้จากหลายสาเหตุ รวมถึง อคติที่ซ่อนอยู่ – เช่น การสันนิษฐานว่าประชากรมีการกระจายอย่างเท่าเทียมกัน นักออกแบบอัลกอริทึมมักจะไม่ได้ตั้งใจที่จะเลือกปฏิบัติ และอาจไม่ได้ตระหนักว่าปัญหากำลังคืบคลานเข้ามา

Amazon บอกกับ Bloomberg ว่าไม่มีเจตนาเลือกปฏิบัติ และมีเหตุผลทุกประการที่จะเชื่อคำกล่าวอ้างนั้น เพื่อตอบสนองต่อรายงานของบลูมเบิร์ก เมือง เจ้าหน้าที่ และ นักการเมืองคนอื่น เรียก Amazon เพื่อแก้ไขปัญหานี้ บริษัท ย้ายอย่างรวดเร็วเพื่อเพิ่ม เดิมทียกเว้นรหัสไปรษณีย์ในเขตเมืองที่ยากจนไปยังพื้นที่ให้บริการ

มีคำถามที่คล้ายกัน ถามอูเบอร์ซึ่งดูเหมือนว่าจะให้บริการที่ดีกว่าในพื้นที่ที่มีคนผิวขาวในสัดส่วนที่สูงขึ้น มีแนวโน้มว่าจะมีตัวอย่างมากขึ้นในอุตสาหกรรมค้าปลีกและบริการเกี่ยวกับการเลือกปฏิบัติโดยไม่ได้ตั้งใจอัลกอริธึมที่ค้นพบในอนาคต

ถามอัลกอริธึมมากเกินไป?

เราควรหยุดสักครู่เพื่อพิจารณาว่าเราต้องการการตัดสินใจเชิงอัลกอริทึมมากเกินไปหรือไม่ บริษัทที่ดำเนินการร้านค้าที่มีหน้าร้านจริงจะตัดสินใจเกี่ยวกับสถานที่อยู่ตลอดเวลา โดยคำนึงถึงเกณฑ์ที่ไม่แตกต่างจากของ Amazon มากนัก ร้านค้าพยายามที่จะมีสถานที่ที่สะดวกสำหรับผู้มีโอกาสเป็นลูกค้าจำนวนมากที่มีเงินใช้จ่าย

ด้วยเหตุนี้ ร้านค้าเพียงไม่กี่แห่งจึงเลือกที่จะตั้งอยู่ในละแวกใกล้เคียงในเมืองชั้นในที่ยากจน โดยเฉพาะในบริบทของร้านขายของชำ ปรากฏการณ์นี้ได้รับการศึกษาอย่างกว้างขวางและคำว่า “อาหารทะเลทราย” ถูกใช้เพื่ออธิบายเขตเมืองที่ผู้อยู่อาศัยไม่สามารถเข้าถึงอาหารสดได้สะดวก นี้ ความลำเอียงของสถานที่ มีการศึกษาน้อยสำหรับร้านค้าปลีกโดยรวม

จากตัวอย่างที่บ่งบอก ฉันได้ดูสถานที่ตั้ง 55 แห่งในมิชิแกนของ Target ซึ่งเป็นเครือข่ายค้าปลีกขนาดใหญ่ที่ครอบคลุม เมื่อฉันจัดเรียงรหัสไปรษณีย์ของมิชิแกนทุกแห่งโดยพิจารณาจากรายได้เฉลี่ยในครึ่งบนหรือครึ่งล่างทั่วทั้งรัฐ ฉันพบว่าร้านค้าเป้าหมายเพียง 16 แห่ง (29 เปอร์เซ็นต์) อยู่ในรหัสไปรษณีย์จากกลุ่มรายได้ที่ต่ำกว่า มากกว่าสองเท่าของร้านค้า 39 แห่งตั้งอยู่ในรหัสไปรษณีย์จากครึ่งที่ร่ำรวยกว่า

การระบุการเลือกปฏิบัติ

ยิ่งไปกว่านั้น ไม่มีร้านค้า Target ในเมืองดีทรอยต์ แม้ว่าจะมีร้านค้าหลายแห่งในเขตชานเมือง (ที่ร่ำรวยกว่า) ก็ตาม ยังไม่มีเสียงโวยวายที่เป็นที่นิยมที่กล่าวหาว่า Target เลือกปฏิบัติอย่างไม่เป็นธรรมกับคนยากจนในการตัดสินใจเกี่ยวกับที่ตั้งร้าน มีเหตุผลหลักสองประการที่ข้อกังวลเกี่ยวกับ Amazon นั้นสมเหตุสมผล: ความแข็งแกร่งและการครอบงำ

ความแข็งแกร่งเกี่ยวข้องกับทั้งกระบวนการตัดสินใจของผู้ค้าปลีกออนไลน์และผลลัพธ์ Amazon ตัดสินใจว่ารหัสไปรษณีย์ใดอยู่ในพื้นที่ให้บริการ หากลูกค้าอาศัยอยู่ฝั่งตรงข้ามถนนจากเขตที่ Amazon กำหนดไว้ เธออยู่นอกพื้นที่ให้บริการและทำอะไรได้เพียงเล็กน้อย ในทางตรงกันข้าม คนที่อาศัยอยู่ในรหัสไปรษณีย์ที่ไม่มีร้าน Target ยังสามารถซื้อของที่ Target ได้ แม้ว่าอาจใช้เวลานานกว่าจะไปถึงที่นั่น

นอกจากนี้ยังสำคัญว่าผู้ค้าปลีกมีอำนาจเหนือกว่าในใจของผู้บริโภคอย่างไร ในขณะที่ Target เป็นเพียงหนึ่งในเครือข่ายร้านค้าที่มีอยู่จริง แต่ Amazon ก็มีความสุข การครอบงำตลาดในฐานะผู้ค้าปลีกทางเว็บและทำให้ได้รับความสนใจมากขึ้น การครอบงำดังกล่าวเป็นลักษณะของ .ในปัจจุบัน ผู้ชนะจะได้ทั้งหมด ธุรกิจเว็บ

แม้ว่าความแข็งแกร่งและการครอบงำของพวกเขาอาจทำให้เรากังวลมากขึ้นเกี่ยวกับธุรกิจออนไลน์ แต่เรายังสามารถตรวจพบการเลือกปฏิบัติของพวกเขาได้ดีกว่าสำหรับร้านค้าที่มีหน้าร้านจริง สำหรับร้านค้าในเครือแบบเดิม เราต้องเดาว่าผู้บริโภคเต็มใจที่จะเดินทางไกลแค่ไหน เราอาจจำเป็นต้องรู้เวลาด้วย: ห้าไมล์ไปยังทางออกฟรีเวย์ถัดไปนั้นไม่เหมือนกับการขับผ่านถนนที่คับคั่งไปยังอีกฟากหนึ่งของเมืองเป็นเวลา XNUMX ไมล์ นอกจากนี้ เวลาเดินทางอาจแตกต่างกันไปขึ้นอยู่กับช่วงเวลาของวัน หลังจากระบุพื้นที่ที่เป็นไปได้ที่ร้านค้าให้บริการแล้ว ร้านค้าอาจไม่ได้แมปอย่างเรียบร้อยในหน่วยทางภูมิศาสตร์ที่เรามีสถิติเกี่ยวกับเชื้อชาติหรือรายได้ สรุปคือ การวิเคราะห์นั้นยุ่งเหยิงและต้องใช้ความพยายามอย่างมาก

ในทางตรงกันข้าม นักข่าวที่ Bloomberg ใช้เวลาเพียงไม่กี่ชั่วโมงในการพัฒนาแผนที่พื้นที่ให้บริการของ Amazon และสัมพันธ์กับรายได้หรือเชื้อชาติ หาก Amazon ทำสิ่งนี้ภายใน พวกเขาสามารถทำการวิเคราะห์แบบเดียวกันได้ในเวลาเพียงไม่กี่นาที และอาจสังเกตเห็นปัญหาและแก้ไขปัญหาก่อนที่จะเริ่มให้บริการในวันเดียวกัน

มนุษย์เปรียบเทียบอย่างไร?

เรามาดูตัวอย่างที่แตกต่างกันมากเพื่อดูว่าประเด็นเดียวกันนำไปใช้ในวงกว้างได้อย่างไร ล่าสุด ProPublica ได้เผยแพร่ การวิเคราะห์ที่ยอดเยี่ยมของการเลือกปฏิบัติทางเชื้อชาติ ด้วยอัลกอริธึมที่ทำนายความเป็นไปได้ที่อาชญากรจะกระทำความผิดอีกครั้ง อัลกอริทึมจะพิจารณาหลายปัจจัยและคำนวณค่าประมาณความน่าจะเป็น การวิเคราะห์ของ ProPublica พบว่ามีอคติทางเชื้อชาติอย่างเป็นระบบ แม้ว่าเชื้อชาติจะไม่ใช่ปัจจัยเฉพาะที่พิจารณา

หากไม่มีอัลกอริธึม ผู้พิพากษาที่เป็นมนุษย์จะทำการประมาณการที่คล้ายกัน ซึ่งเป็นส่วนหนึ่งของการพิจารณาคดีหรือการตัดสินทัณฑ์บน การตัดสินใจของมนุษย์อาจพิจารณาปัจจัยต่างๆ ที่มากขึ้น เช่น พฤติกรรมในห้องพิจารณาคดีของอาชญากร แต่เรารู้จาก เรียนจิตวิทยาที่ การตัดสินใจของมนุษย์นั้นเต็มไปด้วยอคติแม้ว่าเราจะพยายามทำให้ดีที่สุดเพื่อให้ยุติธรรม

แต่ข้อผิดพลาดใดๆ ที่เกิดจากอคติในการตัดสินใจของผู้พิพากษาที่เป็นมนุษย์ มักจะแตกต่างกันในหมู่ผู้พิพากษา และแม้กระทั่งสำหรับการตัดสินใจที่แตกต่างกันของผู้ตัดสินคนเดียวกัน โดยรวมแล้วอาจมีการเลือกปฏิบัติทางเชื้อชาติเนื่องจาก อคติจิตใต้สำนึกแต่การสร้างข้อสรุปนี้เป็นเรื่องยาก การศึกษาของกระทรวงยุติธรรมสหรัฐพบหลักฐานที่ชัดเจนของ ความเหลื่อมล้ำในการพิจารณาโทษนักโทษผิวขาวและผิวดำแต่ไม่สามารถระบุได้ชัดเจนว่าการแข่งขันเป็นปัจจัยในการตัดสินใจเหล่านั้นหรือไม่

ในทางตรงกันข้าม อัลกอริทึมเดียวกันกับ ProPublica ที่ใช้กับกรณีต่างๆ หลายพันกรณีในหลายรัฐ ความแข็งแกร่งและปริมาณที่มาก ทำให้งานง่ายขึ้นในการพิจารณาว่าการเลือกปฏิบัติหรือไม่ และสามารถเสนอวิธีการแก้ไขปัญหาได้อย่างมีประสิทธิภาพ

การใช้เทคโนโลยีสารสนเทศดูเหมือนจะทำให้เส้นสว่างขึ้น ความแตกต่างที่ชัดเจนขึ้น และข้อมูลทั้งหมดนี้สามารถเข้าถึงได้ง่ายขึ้นมาก สิ่งที่สามารถปัดใต้พรมเมื่อวานนี้ตอนนี้เรียกร้องความสนใจ ในขณะที่เราพบว่ามีการใช้อัลกอริธึมที่ขับเคลื่อนด้วยข้อมูลมากขึ้นเรื่อยๆ การวิเคราะห์ความเป็นธรรมจึงไม่ใช่เรื่องปกติ โดยเฉพาะอย่างยิ่งก่อนการเปิดตัวบริการที่อิงตามข้อมูลใหม่ การทำเช่นนี้จะช่วยวัดผลและปรับปรุงความเป็นธรรมของการคำนวณทางคอมพิวเตอร์ที่มีความสำคัญมากขึ้นเรื่อยๆ เหล่านี้

เกี่ยวกับผู้เขียน

HV Jagadish, Bernard A Galler ศาสตราจารย์วิทยาลัยวิศวกรรมไฟฟ้าและวิทยาการคอมพิวเตอร์, มหาวิทยาลัยมิชิแกน

บทความนี้ถูกเผยแพร่เมื่อวันที่ สนทนา. อ่าน บทความต้นฉบับ.

หนังสือที่เกี่ยวข้อง

at ตลาดภายในและอเมซอน