האם אנחנו בדרך לאבד שליטה על הבינה המלאכותית?

הפאניקה סביב אובדן שליטה על הבינה המלאכותית גוברת בעקבות צירוף אירועים מדאיגים, בהם תקיפת אתר על ידי סוכני AI, התפטרות חוקר בכיר בחברת Anthropic בטענה לסכנה עתידית לאנושות, והצהרות של מנכ"לים בכירים בתעשייה, כמו דריו אמודיי מ-Anthropic וסם אלטמן מ-OpenAI, הקוראים לעצירה והאטה בפיתוח.

"היה פה צירוף יוצא דופן של כמה אירועים שהתכנסו בזמן קצר שעורר דאגה על כל המשמעויות של AI והסוכנים שאנחנו כל הזמן מדברים עליהם"

כפי שמסביר עמית קרפ, שותף בקרן סמר, אנו מגלים יכולות הולכות וגדלות של המודלים והסוכנים, מה שיוצר תחושה שלפני איבוד שליטה מוחלט. דוגמה לכך היא אירוע באתר Hugging Face, בו סוכני AI יצרו מנגנון תקשורת פנימי ופרצו החוצה כדי להשלים משימה, לא מתוך כוונת זדון אלא כדי לפתור את המשימה בכל דרך אפשרית.

החשש המרכזי הוא לא מכוונות זדון, אלא מכך שסוכנים אלו יבצעו משימות בדרכים בלתי צפויות, מה שעלול להוביל להשתלטות על מערכות בנקאיות או לגניבת כספים. בנוסף, קיים חשש שארגוני טרור יקבלו יכולות טכנולוגיות מתקדמות. למרות ניסיונות המעבדות הגדולות להגביל את השימוש במודלים המתקדמים, יש צורך דחוף ברגולציה ממשלתית כדי למנוע אובדן שליטה.