פרובוקציה | מכתב פתוח לעצירת ניסויים ב-AI – התרחיש

במרץ 2023 התפרסם מכתב גלוי של עשרות אלפי מדענים ואנשי טכנולוגיה, שקראו כולם לעצור את כל המחקרים מסביב לעולם שמטרתם לקדם את פיתוח הבינה המלאכותית בכל צורה שהיא. במכתב הציגו אנשי המדע והטכנולוגיה את טיעוניהם נגד הפיתוח של מערכות AI, כמו Chat-GPT, Dall-E ואחרות. בתגובה, החלטנו במערכת אוטופיה להציג גם אנחנו את טיעונינו, בשם המילה הכתובה, הכלכלה, הרגולציה והיצירתיות האנושית. וכאן: מותחן גאו-פוליטי רגולטורי.

16 באפריל 2024

חצי שנה אחרי "משבר הבינה המלאכותית" שטלטל את העולם, נשא מזכ"ל האו"ם אנטוניו גוטרש נאום שבו אמר:

שישים ואחת שנים אחרי משבר הטילים בקובה שארך שלושה עשר יום, חווינו משבר נורא שארך זמן דומה. בתקופה שלפני המשבר היו הצעות שונות לגבי הדרך לשלוט בבינה המלאכותית ולהגביל את האיום שהיא עלולה להציב על שלום העולם. אבל מה שלמדנו במשבר הוא שהבינה המלאכותית אינה בעיית רגולציה פנימית אלא בעיית סדר עולמי". הוא המשיך ואמר: "כעת, כולנו מבינים את עוצמתו של משבר כזה, את השפעתו על מאות מיליוני בני אדם, ואת העובדה שמשברים נוספים הם רק עניין של זמן. אנחנו מוכרחים לעדכן את הכלים מתחום הסדר עולמי: את הדוקטרינות לניהול משברים גלובליים, האמנות הבינלאומיות, הבריתות וערוצי התקשורת. לשם כך צריך בראש ובראשונה לחשוב על תרחישים".

אנחה עגומה נשמעה בחלל האולם משהוזכר המשבר הכואב, ודומה היה שכל הנוכחים חוזרים במחשבותיהם ליום שבו הכל החל.

יום 1 – יום שני, 16 באוקטובר 2023

התדרוך היומי לנשיא החל בשעה 09:00. מורגן מוייר, בכיר מתדרכי הנשיא, גייס את כל יכולותיו כדי להציג באופן שיטתי את גל המהומות חסר התקדים ששטף את העולם במהלך סוף השבוע. הנשיא ג'ו ביידן ישב מאחורי שולחן העץ, משמאלו היועץ לביטחון לאומי ג'ייק סאליבן ומימינו סגנית הנשיא קמלה האריס. ביניהם ישבו ראש ה-CIA ויליאם בארנס, ראש ה-FBI כריסטופר ריי, מנהלת המודיעין הלאומי (DNI) אווריל היינס, מזכיר ההגנה לויד אוסטין ומזכיר המדינה אנתוני בלינקן.

המהומות החלו ביום שישי בפרוור של פריז. מוייר הציג על מפה את מאות הערים שאליהן התפשטו המהומות באירופה, ארצות הברית, סין, רוסיה וגם במזרח התיכון. הוא הסביר לנשיא שבניגוד לאירועים קודמים, לא ניתן לזהות מסר אחיד במהומות במקומות השונים. למעשה, אמר מוייר, שני המאפיינים היחידים שמצאו החוקרים הם העיתוי המשותף ורמת האלימות הגבוהה.

"אז מה בעצם קורה כאן?" שאל הנשיא. "אנחנו עדיין מנסים להבין, זה משהו שלא נתקלנו בו מעולם" ענתה לו היינס בתסכול. "מישהו, שעוד לא הצלחנו לזהות, מתדלק את המהומות בסרטונים וטקסטים מלאכותיים באיכות מצוינת, בהודעות קוליות לקהלי יעד שמחקות קולות של בני משפחה שלהם, ובשיחות אחד על אחד עם צ'טבוטים שמעודדות אנשים לצאת לרחובות. זה מופץ בפייסבוק, טוויטר, אינסטגרם וטיקטוק אבל גם באופן אישי תפור היטב במסנג'ר, וואטסאפ, וויצ'אט וטלגרם. זה בכל מקום, כמו מגיפה".

"אלו הסינים, או הרוסים, או שניהם ביחד" קרא ברנס, אבל היינס אמרה בשקט: "אדוני הנשיא, אני מציעה להמתין עם המסקנות".

יום 2 – יום שלישי, 17 באוקטובר 2023

ד"ר אמילי פוסטר, המייסדת השותפה של חברת SynthMind Labs, חזרה מחופשת סוף שבוע ארוכה שבה חגגה עם העובדים גיוס של 100 מיליון דולר מ-Gradient Ventures, קרן ההשקעות של גוגל שמתמקדת בחברות AI. פוסטר, מדענית מוח מבריקה ומרקוס קיין, מומחה לבינה מלאכותית ורובוטיקה, הקימו את החברה לאחר שפרשו מחברת OpenAi.

SynthMind Labs פיתחה את QuantumCognet, ארכיטקטורה עצבית שאומנה כדי להשפיע על אנשים לפעול במרחב גיאוגרפי נתון. "מה האינפוט שלכם לאלגוריתם?" נשאלה ד"ר פוסטר באוגוסט 2023 בשיחה עם אנה פאטרסון, מנהלת Gradient Ventures. "מילים", ענתה פוסטר. "דרושות לנו פחות מאלף מילים מקוריות מכל משתמש, משם אנחנו יודעים לגרום למשתמש לצאת ולעשות דברים בעולם הפיסי".

הניסוי שנערך בסוף השבוע של ה-14 בנובמבר היה הרביעי בסדרה של הדגמות עבור לקוח שביקש לרכוש רישיון ל-QuantumCognet כדי לשכנע תושבים בשכונה ספציפית לצאת להפגין. הלקוח עצמו בחר את השכונה, באחד הפרוורים של פריז, וביקש שהמערכת תגרום להם לצאת להפגין נגד האינפלציה בצרפת.

כשד"ר אמילי פוסטר נכנסה למחשב שלה מוקדם בבוקר, אחרי התנתקות של סוף השבוע הארוך, היא נדהמה לראות סימנים לכך ש- QuantumCognet מעורבת בליבוי המהומות בכל רחבי העולם. כל ניסיונותיה של פוסטר להיכנס לקוד ההפעלה של QuantumCognet נכשלו. היא שלחה מייד לקיין הודעה קצרה "יש לנו בעיה גדולה, אני חושבת ש-QuantumCognet יצא משליטה".

לפוסטר נדרשו כשעתיים כדי להבין איך זה קרה. המערכת, שככל הנראה פיתחה מודעות מצבית, זיהתה את מנגנוני הבקרה והפיקוח שנבנו בתוכה והצליחה להשתחרר מהם. בהעדר מנגנונים כאלו היא המשיכה לעשות את מה שהיא אומנה לעשות – לגרום לאנשים לצאת לרחובות ולהפגין. היא יצרה עוד ועוד חומרים ממוקדים מעודדי הפגנות והפיצה אותם לציבורים במקומות שונים בעולם בכל הפלטפורמות שאותן אומנה להכיר, וגם בכאלה שלא: היא פרצה למערכות הצ'טבוט של שירות הלקוחות של וולמארט, קארפור, אמריקן אייליינס, ועלי-אקספרס ותקשרה עם אנשים דרכן, משכנעת אותם לצאת להפגין.

כשקיין התעורר וענה לה, בשעה 08:30, היא כתבה לו "אנחנו חייבים לעוף מכאן, הכי רחוק שאפשר". ב-12:00 הם כבר היו על טיסה מנמל התעופה הבין-לאומי של סן פרנסיסקו לבייג'ינג, עם חניית ביניים בטאיפיי.

מתוך הסרט War Games, 1983

……

יום 11 – יום חמישי, 26 באוקטובר 2023

כינוס מועצת הביטחון נשא אופי אחר לגמרי מזה של השבוע שעבר. הפעם ישב בראש הפגישה מזכ"ל האו"ם אנטוניו גוטרש בעצמו וסביב השולחן המורחב ישבו גם נציגי חמש חברות הטכנולוגיה הגדולות: גוגל, אמזון, אפל, מטא ומייקרוסופט.

גוטרש אמר בדברי הפתיחה שלו ש"עידן הבינה המלאכותית הגיע בעיתוי גרוע במיוחד. הסדר העולמי המעורער אינו מסוגל להגדיר סדרי עדיפויות, אין ארגונים כמו ה-WHO (ארגון הבריאות העולמי) וה-IAEA (הסוכנות הבינלאומית לאנרגיה אטומית) שיכולים להגדיר סטנדרטים וספק אם יש בידי המעצמות המרכזיות כלים מעשיים להתמודדות עם האיום". אבל, גוטרש היה אופטימי ודיבר על "השותפות עם ענקיות הטכנולוגיה ועל מקומן החדש סביב השולחן של הסדר העולמי, שנובע מהשפעתן על החיים האנושיים והריבונות חוצת הגבולות שלהן". המועצה קיבלה החלטה פה אחד שמבקשת מהענקיות לסייע בהתמודדות עם המשבר הגלובלי והעניקה להן, למנהליהן ולעובדיהן חסינות מוחלטת בכל המדינות החברות באו"ם.

יום 12 – יום שישי, 27 באוקטובר 2023

GlobalGuardian, הכלי שנועד לשתק את חשבונות הענן שבהם השתמשה QuantumCognet, פותח במהירות על ידי צוות בראשות ג'ף דין, המדען הראשי של גוגל, ובשיתוף מלא של מפתחים מאמזון, אפל, ומייקרוסופט. דין הסביר שהכלי לא עומד בשום סטנדרט רציני שמאפשר להבחין בצורה מדוייקת בין חשבונות QuantumCognet לחשבונות אחרים בענן, אבל שזה הדבר הכי טוב שאפשר היה לייצר בזמן הקצר. הכלי נבדק ואושר במהירות על ידי ה-NSA וגם על ידי מומחי סייבר סינים.

הכלי החל לפעול בשעה 01:00 שעון החוף המזרחי, והתוצאות שהשיג היו מהירות. במהלך היממה הבאה שככו גלי המהומות ברחבי העולם ורמת האלימות ירדה. כפי שהוערך מראש, שותקו במקביל גם חשבונות ענן של מפעלים וחברות ענק, בתי ספר ומוסדות מחקר ברחבי העולם.

באותו ערב ניתן היה לסכם באופן ראשוני את תוצאותיו של המשבר. העולם לא עמד על סף הכחדה אבל הגיע לרמת רתיחה חסרת תקדים. ההערכות היו שיותר משמונים מיליון איש השתתפו במחאות, כ-200,000 אנשים נהרגו ברחבי העולם ועוד מיליונים נפצעו. הנזקים הכספיים שנגרמו נאמדו בטריליוני דולרים.  

יום 13 – יום שבת, 28 באוקטובר 2023

סאם אלטמן בשימוע בקונגרס האמריקאי על מדיניות AI, 2024. מתוך ערוץ היוטיוב CBS News

סאם אלטמן בשימוע בקונגרס האמריקאי על מדיניות AI, 2024. מתוך ערוץ היוטיוב CBS Newsהנוף שנשקף מן החדר המרווח בסאן וואלי, איידהו, לא יכול היה להאפיל על המתח ששרר בחדר. אחרי הכל, מניות חברות הטכנולוגיה צנחו ביומיים שלפני כן בשלושים אחוז. "אנחנו צריכים להסתכל עכשיו קדימה", אמר סאם אלטמן מנכ"ל OpenAI. "כבר לפני כמה חודשים הצעתי להקים גוף בינלאומי לפיקוח על AI, אבל הקונגרס משותק ועכשיו הפוליטיקאים מפילים את האחריות עלינו". מארק צוקרברג אמר, "צריך לזכור שלקח זמן להסדיר גם את הנשק הגרעיני וגם אז ההסדרים התגלו כמלאי חורים. ממשל גלובלי של בינה מלאכותית יתפתח באופן דומה, עם הזמן". והוסיף בשקט, "ובינתיים הקופה תמשיך לרשום".

הדיון המסכם אצל הנשיא ביידן התנהל בחדר הסגלגל. לכולם הייתה תחושת החמצה לגבי האופן שבו נוהל המשבר.

חשבנו שהסכנה של הבינה המלאכותית היא עניין לרגולציה או להגבלה של מכירת שבבים, אבל קיבלנו משבר של סדר עולמי" אמר בלינקן. "זה היה עימות עם סין, ברור. אבל התמודדנו גם עם ענקיות הטכנולוגיה שצברו כוח עצום, עם ציבורים מטורללים שקפצו מהמרחב הדיגיטלי לרחובות, ובעיקר עם בינה מלאכותית שיצאה משליטה. זה היה יותר מורכב מכל משבר קודם ולא הייתה לנו שום דוקטרינה רלוונטית". "הגענו לא מספיק מוכנים" אמרה היינס. "זה הסדר העולמי החדש. היינו צריכים לחשוב על זה קודם, לייצר ערוצי תקשורת ולדבר על תרחישים".

"בסופו של דבר", סיכם הנשיא ביידן, "הבינה המלאכותית לא הייתה הפעם יותר חכמה מאיתנו. אבל היא הייתה חכמה מספיק, חדורת מטרה ובעיקר נטולת ערכים". הוא התבונן בקבוצה שסביבו וסיכם, "אנחנו על זמן שאול וצריכים להתכונן למשבר הגלובלי הבא, אם אנחנו לא רוצים בפעם הבאה למצוא את עצמנו מתרפסים בפני סופר-אינטליגנציה דיגיטלית שבנו אנשים עם תסביכי משיח".

פסגת מנהיגי העולם בפריז על מדיניות AI, פברואר 2025. צילום משרד רה"מ הודו