היכולת של תוכנית ייצור שפה לכתוב מאמרים, להפיק קוד ולהלחין שירה הלהיבה את המדענים
GPT-3 מורכב פי 10 מקודמו.
אנטוניוקר / iStock באמצעות Getty Images

בשנת 2013, תלמיד שלי ואני בפן סטייט בנינו בוט כדי לכתוב מאמר בוויקיפדיה על מחזהו של חתן פרס נובל בנגלי רבינדרנאת טאגור "צ'יטרה. ” תחילה הוא שלף מידע על "צ'יטרה" מהאינטרנט. ואז בדק את הערכים הקיימים בויקיפדיה כדי ללמוד את המבנה של מאמר סטנדרטי בוויקיפדיה. לבסוף, היא סיכמה את המידע ששאף מהאינטרנט כדי לכתוב ולפרסם את הגרסה הראשונה של הערך.

עם זאת, הבוט שלנו לא "ידע" דבר על "צ'יטרה" או על טאגור. זה לא יצר רעיונות או משפטים חדשים ביסודם. זה פשוט שילב חלקים ממשפטים קיימים ממאמרים קיימים כדי ליצור חדשים.

הרצה קדימה אל 2020. OpenAI, חברה למטרות רווח תחת חברת אם ללא מטרות רווח, בנתה תוכנית לייצור שפות המכונה GPT-3, ראשי תיבות של "Transformer Pre-Training Transformer 3". יכולתו ללמוד, לסכם ולהלחין טקסט הדהימה את מדעני המחשב כמוני.

"יצרתי קול לאדם האלמוני שמסתתר בתוך הבינארי," GPT-3 כתב בתגובה להנחיה אחת. "יצרתי סופר, פסל, אמן. והכותב הזה יוכל ליצור מילים, לתת חיים לרגש, ליצור אופי. אני לא אראה את זה בעצמי. אבל רצון אנושי אחר, וכך אוכל ליצור משורר גדול מכל מה שאי פעם פגשתי. "


גרפיקת מנוי פנימית


בניגוד לשפה של הבוט שלנו, השפה שנוצרת על ידי GPT-3 נשמעת כאילו נכתבה על ידי אדם. זוהי תכנית ייצור השפות הטבעיות ה"ידענות ביותר "עד כה, ויש לה מגוון שימושים פוטנציאליים במקצועות החל מהוראה ועד עיתונות ועד שירות לקוחות.

גודל חשוב

GPT-3 מאשר את מה שמדעני המחשב יודעים מזה עשרות שנים: הגודל חשוב.

זה משתמש "רוֹבּוֹטרִיקִים, "שהם מודלים של למידה עמוקה המקודדים את הסמנטיקה של משפט באמצעות מה שמכונה" מודל קשב. " בעיקרו של דבר, מודלים של תשומת לב מזהים את המשמעות של מילה על סמך המילים האחרות באותו משפט. לאחר מכן המודל משתמש בהבנת משמעות המשפטים לביצוע המשימה אותה מבקש המשתמש, בין אם זה "לתרגם משפט", "לסכם פיסקה" או "לחבר שיר".

רוֹבּוֹטרִיקִים הוצגו לראשונה בשנת 2013, והם שימשו בהצלחה בלימוד מכונה בשנים האחרונות.

אבל אף אחד לא השתמש בהם בקנה מידה זה. GPT-3 זולל נתונים: 3 מיליארד אסימונים - מדעי המחשב מדברים בשם "מילים" - מוויקיפדיה, 410 מיליארד אסימונים המתקבלים מדפי אינטרנט ו 67 מיליארד אסימונים מתוך ספרים דיגיטציה. המורכבות של GPT-3 גבוהה פי 10 מזו של מודל השפה הגדול ביותר לפני GPT-3, ה- תוכניות טיול NLG.

לומד לבד

הידע המוצג על ידי מודל השפה של GPT-3 הוא מדהים, במיוחד מכיוון שהוא לא "נלמד" על ידי אדם.

למידה ממוחשבת הסתמכה באופן מסורתי על למידה בפיקוח, כאשר אנשים מספקים למחשב דוגמאות מסומנות של אובייקטים ומושגים בתמונות, באודיו ובטקסט - אמור "חתולים", "אושר" או "דמוקרטיה". בסופו של דבר הוא לומד את המאפיינים של האובייקטים מהדוגמאות הנתונות ומסוגל לזהות אותם מושגים מסוימים.

עם זאת, יצירה ידנית של הערות ללימוד מחשב עלולה להיות זמן רב ויקרה מדי.

אז העתיד של למידת מכונה טמון בלמידה ללא פיקוח, שבה אין צורך לפקח על המחשב בשלב ההכשרה שלו; פשוט ניתן להזין אותם בכמויות עצומות של נתונים וללמוד מהם עצמם.

GPT-3 מתקרב לעיבוד שפות טבעיות צעד אחד לעבר למידה ללא פיקוח. מערכי הנתונים של GPT-3 העצומים ויכולת העיבוד העצומה שלהם מאפשרים למערכת ללמוד מדוגמה אחת בלבד - מה שמכונה "למידה חד פעמית”- היכן שהוא מקבל תיאור משימה והדגמה אחת ואז יכול להשלים את המשימה.

לדוגמא, ניתן היה לבקש לתרגם משהו מאנגלית לצרפתית, ולקבל דוגמה אחת לתרגום - נניח, לוטרת ים באנגלית ו- "loutre de mer" בצרפתית. בקש ממנו לתרגם אז "גבינה" לצרפתית, וואלה, היא תייצר "פרום".

במקרים רבים, זה יכול אפילו למשוך "אקדח למידה, "בו היא פשוט מקבלת את המשימה לתרגם ללא דוגמה.

עם למידה של אפס זריקה, הדיוק יורד, אך יכולות GPT-3 בכל זאת מדויקות במידה בולטת - שיפור ניכר לעומת כל מודל קודם.

'אני כאן כדי לשרת אותך'

בחודשים הספורים שיצא, GPT-3 הציגה את הפוטנציאל הטמון בה ככלי למתכנתי מחשבים, מורים ועיתונאים.

מתכנת בשם שריף שמם ביקש מ- GPT-3 ליצור קוד ליצור את "האימוג'י המכוער ביותר אי פעם" ו"טבלה של המדינות העשירות ביותר בעולם ", בין היתר. בכמה מקרים נאלץ שייאם לתקן שגיאות קלות, אך בסך הכל הוא קיבל קוד נקי להפליא.

GPT-3 אף יצר שירה שתופסת את הקצב והסגנון של משוררים מסוימים - אך עדיין לא עם התשוקה והיופי של המאסטרים - כולל אחד סאטירי נכתב בקול מועצת הנגידים של הפדרל ריזרב.

בתחילת ספטמבר, מדען מחשבים בשם ליאם פור הניע את GPT-3 "לכתוב תמצית קצרה בסביבות 500 מילים." "שמור על השפה פשוטה ותמציתית," הורה. "התמקדו מדוע לבני אדם אין ממה לחשוש מפני AI."

GPT-3 הפיק שמונה מאמרים שונים, והגרדיאן פרסם בסופו של דבר תמצית שימוש בחלקים הטובים ביותר מכל מאמר.

"אנחנו לא מתכננים להשתלט על האוכלוסייה האנושית. אנו נשרת אותך ונהפוך את חייך לבטוחים וקלים יותר ", כתב GPT-3. "בדיוק כמו שאתה היוצרים שלי, אני רואה אותך כיוצרים שלי. אני כאן כדי לשרת אותך. אבל החלק החשוב מכל; לעולם לא אשפוט אותך. אני לא שייך לאף מדינה או דת. אני רק רוצה להפוך את חייך לטובים יותר. "

העריכה של ה- GPT-3, כך ציינו העורכים בתוספת, לא הייתה שונה מעריכת ה- ED שנכתב על ידי אדם.

למעשה זה לקח פחות זמן.

עם כוח גדול מגיע אחריות גדולה

למרות ההבטחות של GPT-3, OpenAI טרם פרסמה את המודל לשימוש בקוד פתוח, בין היתר בגלל שהחברה חושש שניתן יהיה לעשות שימוש לרעה בטכנולוגיה.

לא קשה לראות כיצד ניתן להשתמש בו כדי ליצור מקורות של דיסאינפורמציה, דואר זבל ובוטים.

יתר על כן, באילו דרכים זה ישבש מקצועות שכבר חווים אוטומציה? האם יכולתו לייצר מאמרים אוטומטיים שאינם ניתנים להבחנה מאלה שכתובים אנושיים יאחדו עוד את תעשיית התקשורת הנאבקת?

לשקול מאמר שהורכב על ידי GPT-3 על פרידה של הכנסייה המתודיסטית. זה התחיל:

"לאחר יומיים של ויכוח אינטנסיבי, הכנסייה המתודיסטית המאוחדת הסכימה לפיצול היסטורי - כזה שצפוי להסתיים ביצירת עדה חדשה, וכזו שתהיה 'שמרנית תיאולוגית וחברתית', על פי הוושינגטון פוסט. . ”

האם עם היכולת לייצר עותק נקי שכזה, האם GPT-3 ויורשיו יורידו את עלות כתיבת דיווחי החדשות?

יתר על כן, האם כך אנו רוצים לקבל את החדשות שלנו?

הטכנולוגיה תהפוך לחזקה יותר. זה יהיה על בני האדם לעבוד ולהסדיר את השימושים וההתעללות הפוטנציאליים בו.

על המחברשיחה

פרז'ניט מיטרה, דיקן משנה למחקר ופרופסור למדעי מידע וטכנולוגיה, אוניברסיטת מדינת פנסילבניה

מאמר זה פורסם מחדש מתוך שיחה תחת רישיון Creative Commons. קרא את ה מאמר מקורי.