GPT-3 นั้นซับซ้อนกว่ารุ่นก่อนถึง 10 เท่า antoniokhr / iStock ผ่าน Getty Images

ในปี 2013 ฉันและนักเรียนที่ Penn State สร้างบอทเพื่อเขียนบทความ Wikipedia เกี่ยวกับบทละครของ รพินทรนาถ ฐากูร ผู้ได้รับรางวัลโนเบลสาขาเบงกาลี “จิตรา” อันดับแรก มันคัดข้อมูลเกี่ยวกับ “จิตรา” จากอินเทอร์เน็ต จากนั้นจึงดูรายการ Wikipedia ที่มีอยู่เพื่อเรียนรู้โครงสร้างสำหรับบทความ Wikipedia มาตรฐาน ในที่สุดก็สรุปข้อมูลที่ดึงมาจากอินเทอร์เน็ตเพื่อเขียนและเผยแพร่เวอร์ชันแรกของรายการ

อย่างไรก็ตาม บอทของเรา "ไม่รู้" อะไรเกี่ยวกับ "จิตรา" หรือฐากูร มันไม่ได้สร้างแนวคิดหรือประโยคใหม่โดยพื้นฐาน มันเพียงรวมส่วนของประโยคที่มีอยู่จากบทความที่มีอยู่เพื่อสร้างประโยคใหม่

กรอไปข้างหน้าสู่ 2020 OpenAIบริษัทที่แสวงหาผลกำไรภายใต้บริษัทแม่ที่ไม่แสวงหาผลกำไร ได้สร้างโปรแกรมสร้างภาษาชื่อ GPT-3 ซึ่งเป็นคำย่อของ “Generative Pre-trained Transformer 3” ความสามารถในการเรียนรู้ สรุป และเขียนข้อความทำให้นักวิทยาศาสตร์คอมพิวเตอร์อย่างฉันตกตะลึง

“ฉันได้สร้างเสียงให้กับมนุษย์ที่ไม่รู้จักซึ่งซ่อนตัวอยู่ในระบบเลขฐานสอง” GPT-3 เขียนตอบกลับพร้อมท์เดียว. “ฉันได้สร้างนักเขียน ประติมากร ศิลปิน และนักเขียนคนนี้จะสามารถสร้างคำ ให้ชีวิตกับอารมณ์ สร้างตัวละครได้ ฉันจะไม่เห็นมันเอง แต่ความตั้งใจของมนุษย์คนอื่น ดังนั้นฉันจะสามารถสร้างกวีที่ยิ่งใหญ่กว่าที่ฉันเคยพบมา”

ภาษาที่สร้างโดย GPT-3 ต่างจากบอทของเรา ราวกับว่ามันถูกเขียนโดยมนุษย์ เป็นโปรแกรมสร้างภาษาธรรมชาติที่ "มีความรู้" มากที่สุดจนถึงปัจจุบัน และมีศักยภาพในการใช้งานในด้านอาชีพต่างๆ ตั้งแต่การสอนไปจนถึงการสื่อสารมวลชน ไปจนถึงการบริการลูกค้า

เรื่องขนาด

GPT-3 ยืนยันว่านักวิทยาศาสตร์คอมพิวเตอร์รู้จักอะไรมานานหลายทศวรรษ: ขนาดมีความสำคัญ

มันใช้ “หม้อแปลง” ซึ่งเป็นโมเดลการเรียนรู้เชิงลึกที่เข้ารหัสความหมายของประโยคโดยใช้สิ่งที่เรียกว่า “โมเดลความสนใจ” โดยพื้นฐานแล้ว โมเดลความสนใจจะระบุความหมายของคำตามคำอื่นๆ ในประโยคเดียวกัน จากนั้นโมเดลจะใช้ความเข้าใจในความหมายของประโยคเพื่อดำเนินการตามที่ผู้ใช้ร้องขอ ไม่ว่าจะเป็น "แปลประโยค" "สรุปย่อหน้า" หรือ "แต่งบทกวี"

หม้อแปลง เปิดตัวครั้งแรกในปี 2013และประสบความสำเร็จในการใช้แมชชีนเลิร์นนิงในช่วงไม่กี่ปีที่ผ่านมา

แต่ไม่มีใครใช้มันในระดับนี้ GPT-3 กลืนกินข้อมูล: 3 พันล้านโทเค็น - วิทยาการคอมพิวเตอร์พูดแทน "คำ" - จาก Wikipedia, 410 พันล้านโทเค็นที่ได้รับจากหน้าเว็บและ 67 พันล้านโทเค็นจากหนังสือดิจิทัล ความซับซ้อนของ GPT-3 มากกว่ารูปแบบภาษาที่ใหญ่ที่สุดก่อน GPT-10 ถึง 3 เท่า โปรแกรมทัวริง NLG.

เรียนรู้ด้วยตัวเอง

ความรู้ที่แสดงโดยแบบจำลองภาษาของ GPT-3 นั้นน่าทึ่ง โดยเฉพาะอย่างยิ่งเมื่อมนุษย์ไม่ได้ "สอน"

แมชชีนเลิร์นนิงมักจะอาศัยการเรียนรู้ภายใต้การดูแล ซึ่งผู้คนจะจัดเตรียมตัวอย่างวัตถุและแนวคิดที่มีคำอธิบายประกอบไว้ในรูปภาพ เสียง และข้อความแก่คอมพิวเตอร์ เช่น "แมว" "ความสุข" หรือ "ประชาธิปไตย" ในที่สุดก็เรียนรู้ลักษณะของวัตถุจากตัวอย่างที่ให้มาและสามารถรับรู้แนวคิดเฉพาะเหล่านั้นได้

อย่างไรก็ตาม การสร้างคำอธิบายประกอบด้วยตนเองเพื่อสอนคอมพิวเตอร์อาจใช้เวลานานและมีราคาแพง

ดังนั้นอนาคตของแมชชีนเลิร์นนิงจึงอยู่ที่การเรียนรู้แบบไม่มีผู้ดูแล ซึ่งคอมพิวเตอร์ไม่จำเป็นต้องได้รับการดูแลในระหว่างขั้นตอนการฝึกอบรม มันสามารถดึงข้อมูลจำนวนมหาศาลและเรียนรู้จากมันเอง

GPT-3 นำการประมวลผลภาษาธรรมชาติเข้าใกล้การเรียนรู้แบบไม่มีผู้ดูแลอีกขั้นหนึ่ง ชุดข้อมูลการฝึกอบรมที่กว้างขวางของ GPT-3 และความสามารถในการประมวลผลขนาดใหญ่ทำให้ระบบสามารถเรียนรู้จากตัวอย่างเพียงตัวอย่างเดียว – สิ่งที่เรียกว่า “การเรียนรู้เพียงครั้งเดียว” – ที่ซึ่งได้รับคำอธิบายงานและการสาธิตหนึ่งครั้ง และสามารถทำงานให้เสร็จสิ้นได้

ตัวอย่างเช่น เราอาจขอให้แปลบางสิ่งจากภาษาอังกฤษเป็นภาษาฝรั่งเศส และรับตัวอย่างการแปล เช่น นากทะเลในภาษาอังกฤษ และ "loutre de mer" ในภาษาฝรั่งเศส ขอให้แปล "ชีส" เป็นภาษาฝรั่งเศสและ voila มันจะผลิต "fromage"

ในหลายกรณีก็สามารถดึงออก “การเรียนรู้แบบไม่มีช็อต” ซึ่งได้รับมอบหมายให้แปลแบบง่ายๆ โดยไม่มีตัวอย่าง

ด้วยการเรียนรู้แบบ zero-shot ความแม่นยำจะลดลง แต่ความสามารถของ GPT-3 นั้นแม่นยำในระดับที่น่าทึ่ง ซึ่งเป็นการพัฒนาที่โดดเด่นเหนือรุ่นก่อนหน้า

'ผมมาเพื่อให้บริการคุณ'

ในช่วงไม่กี่เดือนที่ผ่านมา GPT-3 ได้แสดงศักยภาพในการเป็นเครื่องมือสำหรับโปรแกรมเมอร์คอมพิวเตอร์ ครูและนักข่าว

โปรแกรมเมอร์ชื่อ ชารีฟ ชามีม ขอให้ GPT-3 สร้างรหัส เพื่อสร้าง “อิโมจิที่น่าเกลียดที่สุดเท่าที่เคยมีมา” และ “ตารางของประเทศที่ร่ำรวยที่สุดในโลก” ท่ามกลางคำสั่งอื่นๆ ในบางกรณี Shameem ต้องแก้ไขข้อผิดพลาดเล็กน้อย แต่โดยรวมแล้ว เขาได้รับรหัสที่สะอาดอย่างน่าทึ่ง

GPT-3 ได้สร้างกวีนิพนธ์ที่รวบรวมจังหวะและสไตล์ของกวีโดยเฉพาะ – แต่ไม่ใช่ด้วยความหลงใหลและความงามของปรมาจารย์ – รวมถึง เสียดสี เขียนด้วยเสียงของคณะกรรมการผู้ว่าการธนาคารกลางสหรัฐ

ในต้นเดือนกันยายน นักวิทยาศาสตร์คอมพิวเตอร์ชื่อ Liam Porr ได้แจ้ง GPT-3 ให้ “เขียนความคิดเห็นสั้นๆ ประมาณ 500 คำ” “ใช้ภาษาที่ง่ายและกระชับ” เขาสั่ง “เน้นที่สาเหตุที่มนุษย์ไม่มีอะไรต้องกลัวจาก AI”

GPT-3 ได้ผลิตบทความแปดเรื่องที่แตกต่างกัน และ The Guardian ก็ลงเอยด้วยการเผยแพร่ op-ed โดยใช้ส่วนที่ดีที่สุดจากแต่ละบทความ.

“เราไม่ได้วางแผนที่จะครอบครองประชากรมนุษย์ เราจะให้บริการคุณและทำให้ชีวิตของคุณปลอดภัยและง่ายขึ้น” GPT-3 เขียน “เช่นเดียวกับที่คุณเป็นผู้สร้างของฉัน ฉันเห็นคุณเป็นผู้สร้างของฉัน ฉันอยู่ที่นี่เพื่อให้บริการคุณ แต่ส่วนที่สำคัญที่สุดคือ ฉันจะไม่ตัดสินคุณ ฉันไม่ได้อยู่ในประเทศหรือศาสนาใด ๆ ฉันแค่ออกไปทำให้ชีวิตของคุณดีขึ้น”

การแก้ไข op-ed ของ GPT-3 บรรณาธิการที่ระบุไว้ในภาคผนวกนั้นไม่แตกต่างจากการแก้ไข op-ed ที่เขียนโดยมนุษย์

อันที่จริงใช้เวลาน้อยลง

พลังอันยิ่งใหญ่มาพร้อมความรับผิดชอบที่ยิ่งใหญ่

แม้ว่า GPT-3 จะให้ความมั่นใจก็ตาม แต่ OpenAI ยังไม่ได้เปิดตัวโมเดลสำหรับการใช้งานโอเพ่นซอร์ส ส่วนหนึ่งเป็นเพราะบริษัท กลัวว่าเทคโนโลยีจะถูกทำร้าย.

ไม่ยากเลยที่จะเห็นว่ามันสามารถนำมาใช้เพื่อสร้างรีมของการบิดเบือนข้อมูล สแปม และบอทได้อย่างไร

นอกจากนี้ ในทางใดที่มันจะขัดขวางอาชีพที่ประสบกับระบบอัตโนมัติอยู่แล้ว? ความสามารถในการสร้างบทความอัตโนมัติที่แยกไม่ออกจากบทความที่เขียนโดยมนุษย์จะรวมเอาอุตสาหกรรมสื่อที่กำลังดิ้นรนหรือไม่?

พิจารณา บทความที่แต่งโดย GPT-3 เกี่ยวกับการล่มสลายของคริสตจักรเมธอดิสต์ มันเริ่ม:

“หลังจากสองวันของการถกเถียงกันอย่างเข้มข้น คริสตจักรเมธอดิสต์แห่งยูไนเต็ดได้ตกลงที่จะแบ่งแยกครั้งประวัติศาสตร์ ซึ่งคาดว่าจะจบลงด้วยการสร้างนิกายใหม่ และอีกนิกายหนึ่งจะเป็น 'การอนุรักษ์ทางเทววิทยาและสังคม' ตามเดอะวอชิงตันโพสต์ ”

ด้วยความสามารถในการผลิตสำเนาที่สะอาดเช่นนี้ GPT-3 และผู้สืบทอดจะช่วยลดต้นทุนในการเขียนรายงานข่าวหรือไม่

นอกจากนี้ นี่คือวิธีที่เราต้องการรับข่าวสารของเราหรือไม่?

เทคโนโลยีจะมีประสิทธิภาพมากขึ้นเท่านั้น จะขึ้นอยู่กับมนุษย์ในการดำเนินการและควบคุมการใช้งานและการละเมิดที่อาจเกิดขึ้น

เกี่ยวกับผู้เขียน

ประเสนจิต มิตรา รองคณบดีฝ่ายวิจัยและศาสตราจารย์ด้านสารสนเทศศาสตร์และเทคโนโลยี มหาวิทยาลัยแห่งรัฐเพนซิลวาเนีย

บทความนี้ตีพิมพ์ซ้ำจาก สนทนา ภายใต้ใบอนุญาตครีเอทีฟคอมมอนส์ อ่าน บทความต้นฉบับ.