ข้อมูลเท็จรูปแบบใหม่พร้อมที่จะเผยแพร่ผ่านชุมชนออนไลน์ในขณะที่แคมเปญเลือกตั้งกลางภาคปี 2018 ร้อนแรงขึ้น เรียกว่า “deepfakes” ตามหลัง บัญชีออนไลน์นามแฝงที่ทำให้เทคนิคนี้เป็นที่นิยม - ซึ่งอาจเลือกชื่อเพราะกระบวนการใช้วิธีการทางเทคนิคที่เรียกว่า "การเรียนรู้อย่างลึกซึ้ง" - วิดีโอปลอมเหล่านี้ดูสมจริงมาก

จนถึงตอนนี้ ผู้คนใช้วิดีโอ Deepfake ใน สื่อลามก และ การเสียดสี เพื่อให้ดูเหมือนว่าคนดังกำลังทำในสิ่งที่พวกเขาไม่ปกติ

แต่ก็เกือบแน่นอน deepfakes จะปรากฏในช่วงฤดูกาลของแคมเปญ, อ้างว่าเป็นภาพผู้สมัคร พูดสิ่งที่ หรือไปในที่ที่ผู้สมัครตัวจริงไม่ไป

มันคือ Barack Obama – หรือเปล่า?

{youtube}cQ54GDm1eL0{/youtube}

เนื่องจากเทคนิคเหล่านี้ใหม่มาก ผู้คนจึงมีปัญหาในการแยกแยะความแตกต่างระหว่างวิดีโอจริงกับวิดีโอ Deepfake งานของฉันกับเพื่อนร่วมงานของฉัน Ming-Ching Chang และปริญญาเอกของเรา นักเรียน Yuesun Li ได้พบวิธีที่จะ บอกวิดีโอจริงจากวิดีโอ deepfake ได้อย่างน่าเชื่อถือ. ไม่ใช่วิธีแก้ปัญหาแบบถาวรเพราะเทคโนโลยีจะพัฒนาขึ้น แต่เป็นจุดเริ่มต้นและหวังว่าคอมพิวเตอร์จะสามารถช่วยให้ผู้คนบอกความจริงจากนิยายได้

'deepfake' คืออะไรกันแน่?

การทำวิดีโอ Deepfake นั้นเหมือนกับการแปลระหว่างภาษาต่างๆ บริการเช่น Google Translate ใช้การเรียนรู้ของเครื่อง – คอมพิวเตอร์วิเคราะห์ข้อความนับหมื่น ในหลายภาษา – to ตรวจจับรูปแบบการใช้คำ ที่พวกเขาใช้ในการสร้างการแปล

อัลกอริธึม Deepfake ทำงานในลักษณะเดียวกัน: ใช้ระบบการเรียนรู้ของเครื่องที่เรียกว่าa โครงข่ายประสาทลึก เพื่อตรวจสอบการเคลื่อนไหวของใบหน้าของบุคคล จากนั้นจึงสังเคราะห์ภาพใบหน้าของบุคคลอื่นโดยเคลื่อนไหวคล้ายคลึงกัน การทำเช่นนี้จะสร้างวิดีโอของบุคคลเป้าหมายที่ดูเหมือนจะทำหรือพูดในสิ่งที่บุคคลต้นทางทำอย่างมีประสิทธิภาพ

วิธีทำวิดีโอที่ล้ำลึก

{youtube}8LhI-e2B8Lg{/youtube}

ก่อนที่พวกเขาจะสามารถทำงานได้อย่างถูกต้อง โครงข่ายประสาทเทียมระดับลึกจำเป็นต้องมีแหล่งข้อมูลจำนวนมาก เช่น ภาพถ่ายของบุคคลที่เป็นแหล่งที่มาหรือเป้าหมายของการแอบอ้าง ยิ่งใช้รูปภาพในการฝึกอัลกอริธึม Deepfake มากเท่าไหร่ การเลียนแบบดิจิทัลก็จะยิ่งสมจริงมากขึ้นเท่านั้น

กำลังตรวจจับการกะพริบ

ยังมีข้อบกพร่องในอัลกอริธึมประเภทใหม่นี้ หนึ่งในนั้นเกี่ยวข้องกับการที่ใบหน้าจำลองกะพริบหรือไม่ ผู้ใหญ่ที่มีสุขภาพดีกะพริบตา ที่ไหนสักแห่งระหว่างทุกๆ 2 ถึง 10 วินาทีและพริบตาเดียวก็ใช้ ระหว่างหนึ่งในสิบและสี่ในสิบของวินาที. นั่นเป็นเรื่องปกติที่จะเห็นในวิดีโอของคนพูด แต่นั่นไม่ใช่สิ่งที่เกิดขึ้นในวิดีโอ Deepfake จำนวนมาก

บุคคลจริงกะพริบขณะพูด

{youtube}https://www.youtube.com/watch?v=-MMXXEA3UaM{/youtube}

ใบหน้าจำลองไม่กะพริบเหมือนคนจริง

{youtube}EttSA9-YIuI{/youtube}

เมื่ออัลกอริธึม Deepfake ได้รับการฝึกฝนเกี่ยวกับภาพใบหน้าของบุคคล มันขึ้นอยู่กับภาพถ่ายที่มีอยู่บนอินเทอร์เน็ตที่สามารถใช้เป็นข้อมูลการฝึกได้ แม้แต่คนที่ถูกถ่ายรูปบ่อยๆ ก็มีภาพออนไลน์ไม่กี่ภาพที่แสดงให้หลับตา ไม่เพียงแต่ภาพถ่ายจะหายากขนาดนั้น เพราะผู้คนมักจะลืมตาอยู่ตลอดเวลา แต่ช่างภาพมักไม่เผยแพร่ภาพที่ปิดตาของตัวแบบหลัก

หากไม่มีการฝึกภาพคนที่กะพริบตา อัลกอริธึมของ Deepfake มักไม่ค่อยสร้างใบหน้าที่กะพริบตามปกติ เมื่อเราคำนวณอัตราการกะพริบโดยรวม และเปรียบเทียบกับช่วงที่เป็นธรรมชาติ เราพบว่าตัวละครในวิดีโอ Deepfake กะพริบถี่น้อยกว่ามากเมื่อเปรียบเทียบกับคนจริง การวิจัยของเราใช้แมชชีนเลิร์นนิงเพื่อ ตรวจสอบการเปิดและปิดตาในวิดีโอ.

สิ่งนี้ทำให้เรามีแรงบันดาลใจในการตรวจจับวิดีโอที่ล้ำลึก ต่อจากนั้น เราได้พัฒนาวิธีการตรวจจับเมื่อบุคคลในวิดีโอกะพริบ เพื่อให้เจาะจงยิ่งขึ้น มันจะสแกนแต่ละเฟรมของวิดีโอที่เป็นปัญหา ตรวจจับใบหน้าในนั้น แล้วค้นหาตำแหน่งดวงตาโดยอัตโนมัติ จากนั้นใช้โครงข่ายประสาทเทียมระดับลึกอีกเครือข่ายหนึ่งเพื่อตรวจสอบว่าตาที่ตรวจพบเปิดหรือปิด โดยใช้ลักษณะที่ปรากฏของดวงตา ลักษณะทางเรขาคณิต และการเคลื่อนไหวของ

เรารู้ว่างานของเรากำลังใช้ประโยชน์จากข้อบกพร่องในการจัดเรียงข้อมูลที่สามารถฝึกอัลกอริธึม Deepfake เพื่อหลีกเลี่ยงไม่ให้ตกเป็นเหยื่อข้อบกพร่องที่คล้ายกัน เราได้ฝึกระบบของเราในคลังรูปภาพขนาดใหญ่ทั้งที่ตาเปิดและปิด วิธีนี้ดูเหมือนจะใช้ได้ผลดี และด้วยเหตุนี้ เราจึงบรรลุอัตราการตรวจจับได้มากกว่า 95 เปอร์เซ็นต์

นี่ไม่ใช่คำสุดท้ายในการตรวจหาของปลอมแน่นอน เทคโนโลยีคือ ดีขึ้นอย่างรวดเร็วและการแข่งขันระหว่างการสร้างและตรวจจับวิดีโอปลอมนั้นคล้ายคลึงกับเกมหมากรุก โดยเฉพาะอย่างยิ่ง คุณสามารถเพิ่มการกะพริบในวิดีโอ Deepfake โดยใส่ภาพใบหน้าที่หลับตาหรือใช้ลำดับวิดีโอสำหรับการฝึก ผู้ที่ต้องการสร้างความสับสนให้กับสาธารณชนจะสามารถสร้างวิดีโอเท็จได้ดีขึ้น และเราและคนอื่นๆ ในชุมชนเทคโนโลยีจะต้องค้นหาวิธีการตรวจหาวิดีโอเหล่านั้นต่อไป

เกี่ยวกับผู้เขียน

Siwei Lyu รองศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์; ผู้อำนวยการ ห้องปฏิบัติการคอมพิวเตอร์วิทัศน์และแมชชีนเลิร์นนิง University of Albany, มหาวิทยาลัยแห่งรัฐนิวยอร์ก

บทความนี้ถูกเผยแพร่เมื่อวันที่ สนทนา. อ่าน บทความต้นฉบับ.

หนังสือที่เกี่ยวข้อง

at ตลาดภายในและอเมซอน