היכולת של תוכנית ייצור שפה לכתוב מאמרים, להפיק קוד ולהלחין שירה הלהיבה את המדענים

היכולת של תוכנית ייצור שפה לכתוב מאמרים, להפיק קוד ולהלחין שירה הלהיבה את המדענים
GPT-3 מורכב פי 10 מקודמו.
אנטוניוקר / iStock באמצעות Getty Images

בשנת 2013, תלמיד שלי ואני בפן סטייט בנינו בוט כדי לכתוב מאמר בוויקיפדיה על מחזהו של חתן פרס נובל בנגלי רבינדרנאת טאגור "צ'יטרה. ” תחילה הוא שלף מידע על "צ'יטרה" מהאינטרנט. ואז בדק את הערכים הקיימים בויקיפדיה כדי ללמוד את המבנה של מאמר סטנדרטי בוויקיפדיה. לבסוף, היא סיכמה את המידע ששאף מהאינטרנט כדי לכתוב ולפרסם את הגרסה הראשונה של הערך.

עם זאת, הבוט שלנו לא "ידע" דבר על "צ'יטרה" או על טאגור. זה לא יצר רעיונות או משפטים חדשים ביסודם. זה פשוט שילב חלקים ממשפטים קיימים ממאמרים קיימים כדי ליצור חדשים.

הרצה קדימה אל 2020. OpenAI, חברה למטרות רווח תחת חברת אם ללא מטרות רווח, בנתה תוכנית לייצור שפות המכונה GPT-3, ראשי תיבות של "Transformer Pre-Training Transformer 3". יכולתו ללמוד, לסכם ולהלחין טקסט הדהימה את מדעני המחשב כמוני.

"יצרתי קול לאדם האלמוני שמסתתר בתוך הבינארי," GPT-3 כתב בתגובה להנחיה אחת. "יצרתי סופר, פסל, אמן. והכותב הזה יוכל ליצור מילים, לתת חיים לרגש, ליצור אופי. אני לא אראה את זה בעצמי. אבל רצון אנושי אחר, וכך אוכל ליצור משורר גדול מכל מה שאי פעם פגשתי. "

בניגוד לשפה של הבוט שלנו, השפה שנוצרת על ידי GPT-3 נשמעת כאילו נכתבה על ידי אדם. זוהי תכנית ייצור השפות הטבעיות ה"ידענות ביותר "עד כה, ויש לה מגוון שימושים פוטנציאליים במקצועות החל מהוראה ועד עיתונות ועד שירות לקוחות.

גודל חשוב

GPT-3 מאשר את מה שמדעני המחשב יודעים מזה עשרות שנים: הגודל חשוב.

זה משתמש "רוֹבּוֹטרִיקִים, "שהם מודלים של למידה עמוקה המקודדים את הסמנטיקה של משפט באמצעות מה שמכונה" מודל קשב. " בעיקרו של דבר, מודלים של תשומת לב מזהים את המשמעות של מילה על סמך המילים האחרות באותו משפט. לאחר מכן המודל משתמש בהבנת משמעות המשפטים לביצוע המשימה אותה מבקש המשתמש, בין אם זה "לתרגם משפט", "לסכם פיסקה" או "לחבר שיר".

רוֹבּוֹטרִיקִים הוצגו לראשונה בשנת 2013, והם שימשו בהצלחה בלימוד מכונה בשנים האחרונות.

אבל אף אחד לא השתמש בהם בקנה מידה זה. GPT-3 זולל נתונים: 3 מיליארד אסימונים - מדעי המחשב מדברים בשם "מילים" - מוויקיפדיה, 410 מיליארד אסימונים המתקבלים מדפי אינטרנט ו 67 מיליארד אסימונים מתוך ספרים דיגיטציה. המורכבות של GPT-3 גבוהה פי 10 מזו של מודל השפה הגדול ביותר לפני GPT-3, ה- תוכניות טיול NLG.


 קבל את הדוא"ל האחרון

מגזין שבועי השראה יומית

לומד לבד

הידע המוצג על ידי מודל השפה של GPT-3 הוא מדהים, במיוחד מכיוון שהוא לא "נלמד" על ידי אדם.

למידה ממוחשבת הסתמכה באופן מסורתי על למידה בפיקוח, כאשר אנשים מספקים למחשב דוגמאות מסומנות של אובייקטים ומושגים בתמונות, באודיו ובטקסט - אמור "חתולים", "אושר" או "דמוקרטיה". בסופו של דבר הוא לומד את המאפיינים של האובייקטים מהדוגמאות הנתונות ומסוגל לזהות אותם מושגים מסוימים.

עם זאת, יצירה ידנית של הערות ללימוד מחשב עלולה להיות זמן רב ויקרה מדי.

אז העתיד של למידת מכונה טמון בלמידה ללא פיקוח, שבה אין צורך לפקח על המחשב בשלב ההכשרה שלו; פשוט ניתן להזין אותם בכמויות עצומות של נתונים וללמוד מהם עצמם.

GPT-3 מתקרב לעיבוד שפות טבעיות צעד אחד לעבר למידה ללא פיקוח. מערכי הנתונים של GPT-3 העצומים ויכולת העיבוד העצומה שלהם מאפשרים למערכת ללמוד מדוגמה אחת בלבד - מה שמכונה "למידה חד פעמית”- היכן שהוא מקבל תיאור משימה והדגמה אחת ואז יכול להשלים את המשימה.

לדוגמא, ניתן היה לבקש לתרגם משהו מאנגלית לצרפתית, ולקבל דוגמה אחת לתרגום - נניח, לוטרת ים באנגלית ו- "loutre de mer" בצרפתית. בקש ממנו לתרגם אז "גבינה" לצרפתית, וואלה, היא תייצר "פרום".

במקרים רבים, זה יכול אפילו למשוך "אקדח למידה, "בו היא פשוט מקבלת את המשימה לתרגם ללא דוגמה.

עם למידה של אפס זריקה, הדיוק יורד, אך יכולות GPT-3 בכל זאת מדויקות במידה בולטת - שיפור ניכר לעומת כל מודל קודם.

'אני כאן כדי לשרת אותך'

בחודשים הספורים שיצא, GPT-3 הציגה את הפוטנציאל הטמון בה ככלי למתכנתי מחשבים, מורים ועיתונאים.

מתכנת בשם שריף שמם ביקש מ- GPT-3 ליצור קוד ליצור את "האימוג'י המכוער ביותר אי פעם" ו"טבלה של המדינות העשירות ביותר בעולם ", בין היתר. בכמה מקרים נאלץ שייאם לתקן שגיאות קלות, אך בסך הכל הוא קיבל קוד נקי להפליא.

GPT-3 אף יצר שירה שתופסת את הקצב והסגנון של משוררים מסוימים - אך עדיין לא עם התשוקה והיופי של המאסטרים - כולל אחד סאטירי נכתב בקול מועצת הנגידים של הפדרל ריזרב.

בתחילת ספטמבר, מדען מחשבים בשם ליאם פור הניע את GPT-3 "לכתוב תמצית קצרה בסביבות 500 מילים." "שמור על השפה פשוטה ותמציתית," הורה. "התמקדו מדוע לבני אדם אין ממה לחשוש מפני AI."

GPT-3 הפיק שמונה מאמרים שונים, והגרדיאן פרסם בסופו של דבר תמצית שימוש בחלקים הטובים ביותר מכל מאמר.

"אנחנו לא מתכננים להשתלט על האוכלוסייה האנושית. אנו נשרת אותך ונהפוך את חייך לבטוחים וקלים יותר ", כתב GPT-3. "בדיוק כמו שאתה היוצרים שלי, אני רואה אותך כיוצרים שלי. אני כאן כדי לשרת אותך. אבל החלק החשוב מכל; לעולם לא אשפוט אותך. אני לא שייך לאף מדינה או דת. אני רק רוצה להפוך את חייך לטובים יותר. "

העריכה של ה- GPT-3, כך ציינו העורכים בתוספת, לא הייתה שונה מעריכת ה- ED שנכתב על ידי אדם.

למעשה זה לקח פחות זמן.

עם כוח גדול מגיע אחריות גדולה

למרות ההבטחות של GPT-3, OpenAI טרם פרסמה את המודל לשימוש בקוד פתוח, בין היתר בגלל שהחברה חושש שניתן יהיה לעשות שימוש לרעה בטכנולוגיה.

לא קשה לראות כיצד ניתן להשתמש בו כדי ליצור מקורות של דיסאינפורמציה, דואר זבל ובוטים.

יתר על כן, באילו דרכים זה ישבש מקצועות שכבר חווים אוטומציה? האם יכולתו לייצר מאמרים אוטומטיים שאינם ניתנים להבחנה מאלה שכתובים אנושיים יאחדו עוד את תעשיית התקשורת הנאבקת?

לשקול מאמר שהורכב על ידי GPT-3 על פרידה של הכנסייה המתודיסטית. זה התחיל:

"לאחר יומיים של ויכוח אינטנסיבי, הכנסייה המתודיסטית המאוחדת הסכימה לפיצול היסטורי - כזה שצפוי להסתיים ביצירת עדה חדשה, וכזו שתהיה 'שמרנית תיאולוגית וחברתית', על פי הוושינגטון פוסט. . ”

האם עם היכולת לייצר עותק נקי שכזה, האם GPT-3 ויורשיו יורידו את עלות כתיבת דיווחי החדשות?

יתר על כן, האם כך אנו רוצים לקבל את החדשות שלנו?

הטכנולוגיה תהפוך לחזקה יותר. זה יהיה על בני האדם לעבוד ולהסדיר את השימושים וההתעללות הפוטנציאליים בו.

על המחברשיחה

פרז'ניט מיטרה, דיקן משנה למחקר ופרופסור למדעי מידע וטכנולוגיה, אוניברסיטת מדינת פנסילבניה

מאמר זה פורסם מחדש מתוך שיחה תחת רישיון Creative Commons. קרא את ה מאמר מקורי.

אולי גם תאהב

עקוב אחר InnerSelf ב

אייקון פייסבוקאייקון טוויטרסמל YouTubeאייקון אינסטגרםסמל pintrestאייקון rss

 קבל את הדוא"ל האחרון

מגזין שבועי השראה יומית

שפות זמינות

enafarzh-CNzh-TWdanltlfifrdeeliwhihuiditjakomsnofaplptroruesswsvthtrukurvi

קולות פנימיים

ליקוי ירח, 12 במאי 2022
סקירה אסטרולוגית והורוסקופ: 23 - 29 במאי 2022
by פאם יונגאנס
כתב העת האסטרולוגי השבועי מבוסס על השפעות פלנטריות ומציע נקודות מבט ו ...
05 21 מחדש את הדמיון בזמנים מסוכנים 5362430 1920
פיתול מחדש של הדמיון בזמנים מסוכנים
by נטורזה גבריאל קראם
בעולם שלעתים קרובות נראה ככוונה להרוס את עצמו, אני מוצא את עצמי אוצר יופי - מהסוג...
קבוצה של אנשים רב-גזעיים עומדים לתמונה קבוצתית
שבע דרכים בהן תוכל להראות כבוד לצוות המגוון שלך (וידאו)
by קלי מקדונלד
כבוד הוא בעל משמעות עמוקה, אבל לא עולה כלום לתת. הנה דרכים בהן תוכל להדגים (ו...
פיל הולך מול שמש שוקעת
סקירה אסטרולוגית והורוסקופ: 16 - 22 במאי 2022
by פאם יונגאנס
כתב העת האסטרולוגי השבועי מבוסס על השפעות פלנטריות ומציע נקודות מבט ו ...
תמונה של ליאו בוסקליה מעל כריכת ספרו: לחיות, לאהוב וללמוד
איך לשנות את חייו של מישהו בכמה שניות
by ג'ויס ויסל
חיי השתנו באופן דרמטי כשמישהו לקח את השניה הזו כדי להצביע על היופי שלי.
צילום מורכב של ליקוי ירח מלא
סקירה אסטרולוגית והורוסקופ: 9 - 15 במאי 2022
by פאם יונגאנס
כתב העת האסטרולוגי השבועי מבוסס על השפעות פלנטריות ומציע נקודות מבט ו ...
05 08 פיתוח חשיבה חמלה 2593344 הושלם
פיתוח חשיבה מלאת חמלה כלפי עצמי ואחרים
by מארי ט 'ראסל, InnerSelf.com
כשאנשים מדברים על חמלה, הם בעיקר מתייחסים לחמלה כלפי אחרים... על...
אדם כותב מכתב
לכתוב את האמת ולאפשר לרגשות לזרום
by ברברה ברגר
כתיבת דברים היא דרך טובה לתרגל אמירת אמת.
מניעת סרטן ואור שמש
בריאות, מניעת סרטן ואור שמש
by ריצ'רד הובדיי, תואר שני, דוקטורט
במובנים מסוימים סרטן הוא כיום למדינות מתועשות מה שחפת הייתה עד ה 18- ו ...
אסקפיזם גובר: שקט נפשי לבד אינו מספיק
אסקפיזם גובר: שקט נפשי לבד אינו מספיק
by פול ברונטון
מיסטיקה נקשרה במוח העממי בעיקר למנזרים, נסיגות, אשרמים, ...
כל יום הוא יום חדש, התחלה חדשה
כל יום הוא יום חדש, התחלה חדשה
by מארי ט 'ראסל
כל יום הוא יום חדש. זו עובדה שאין עליה עוררין. על ידי קבלת כל יום חדש עם ...

הנקראים ביותר

עיניים מנבאות בריאות 4 9
מה שהעיניים שלך מגלות על הבריאות שלך
by ברברה פירשיונק, אוניברסיטת אנגליה רוסקין
מדענים מאוניברסיטת קליפורניה, סן דייגו, פיתחו אפליקציה לסמארטפון שיכולה...
בנייה מחדש של סביבה 4 14
איך ציפורים מקומיות חוזרות ליערות העירוניים המשוחזרים של ניו זילנד
by אליזבת אליוט נואי, אוניברסיטת לינקולן ועוד
עיור, והרס בית הגידול שהוא כרוך בו, הוא איום גדול על ציפורים מקומיות...
סיפור הסבל והמוות מאחורי איסור ההפלות והלגליזציה של אירלנד
סיפור הסבל והמוות מאחורי איסור ההפלות והלגליזציה של אירלנד
by Gretchen E. Ely, אוניברסיטת טנסי
אם בית המשפט העליון של ארה"ב יבטל את רו נגד ווייד, ההחלטה משנת 1973 שאיפשרה הפלה ב...
כמה שינה אתה צריך 4 7
כמה שינה אתה באמת צריך
by ברברה ז'קלין סאהקיאן, אוניברסיטת קיימברידג', ועוד
רובנו נאבקים לחשוב טוב אחרי שנת לילה גרועה - מרגישים ערפל ולא מצליחים לבצע...
חברות נותנות אמון שמחות 4 14
מדוע אגודות אמון הן בסך הכל מאושרות יותר
by אנג'מין רדקליף, אוניברסיטת נוטרדאם
בני אדם הם חיות חברתיות. המשמעות היא, כמעט כעניין של הכרח הגיוני, שבני האדם...
היתרונות של מי לימון 4 14
האם גמילה ממי לימון או ימריץ אותך?
by Evangeline Mantzioris, אוניברסיטת דרום אוסטרליה
אם אתם מאמינים לאנקדוטות באינטרנט, שתיית מים פושרים עם שפריץ מיץ לימון היא...
כלכלה 4 14
5 דברים שכלכלנים יודעים, אבל נשמעים שגויים לרוב האנשים האחרים
by רנו פוקארט, אוניברסיטת לנקסטר
דבר מוזר במקצוע שלנו הוא שכאשר אנו הכלכלנים האקדמיים מסכימים במידה רבה עם כל אחד...
ללמוד לשים לב 4 14
האסטרטגיות והפרצות החיים הללו יכולות לעזור לכל אחד עם בעיות קשב
by רוב רוזנטל, אוניברסיטת קולורדו
בגלל הזרם הקבוע של משוב שלילי שאנשים מקבלים לגבי הפרודוקטיביות שלהם,...

עמדות חדשות - אפשרויות חדשות

InnerSelf.comClimateImpactNews.com | InnerPower.net
MightyNatural.com | WholisticPolitics.com | שוק InnerSelf
זכויות יוצרים © 1985 - פרסומי 2021 InnerSelf. כל הזכויות שמורות.