האם ניתן לסמוך על סוכן AI שיפעל ללא אישור אנושי?

מאת צוות מדיה דיל · 12.08.2026 · AI Investigation · 7 דק׳

בדקנו שיטתית מתי אוטונומיה מלאה של סוכן AI משתלמת ומתי היא הימור מסוכן, על ידי השוואת אותה משימה בדיוק עם ובלי אישור אנושי.

השאלה נשמעת כמו משהו שכל ספק טכנולוגיה יענה עליו בביטחון — "כמובן, המערכת שלנו בטוחה" — אבל כשניסינו לבחון אותה ברצינות, גילינו שהתשובה האמיתית תלויה בהרבה יותר משאלה טכנית אחת. יצאנו לבדוק, דרך סדרת ניסויים מבוקרים, מה בדיוק קורה כשמסירים לחלוטין את שכבת האישור האנושי מתהליך שסוכן AI מבצע, ומשווים את התוצאה למצב שבו האישור קיים. המטרה לא הייתה להוכיח שסוכנים "מסוכנים" באופן גורף, אלא למפות בדיוק איפה האוטונומיה המלאה משתלמת ואיפה היא יוצרת סיכון שלא שווה את החיסכון בזמן.

בנינו שלוש רמות בדיקה: משימות בעלות סיכון נמוך ובלתי הפיכות מינימלית (כמו ניסוח טיוטת מסמך), משימות בינוניות (עדכון רשומות פנימיות), ומשימות בעלות פוטנציאל נזק גבוה (שליחה חיצונית, פעולות כספיות). בכל רמה בדקנו את אותה משימה בדיוק, פעם עם אישור אנושי חובה ופעם בלעדיו, ומדדנו לא רק את קצב ההצלחה אלא גם את סוג הטעויות שקרו כשאף אחד לא היה שם לעצור אותן.

חשוב להדגיש שהמטרה לא הייתה לבדוק האם המודל "טוב" או "רע" — מודלים מתקדמים מבצעים את רוב המשימות בהצלחה גבוהה מאוד בשני התנאים. השאלה שעניינה אותנו הייתה אחרת: כשהמודל בכל זאת טועה, וזה קורה גם למודלים הטובים ביותר, מה ההבדל בתוצאה בין מצב שבו יש בן אדם שיכול לתפוס את הטעות לפני שהיא הופכת לנזק ממשי, לבין מצב שבו הטעות ממשיכה ישירות לביצוע. ההבדל הזה, ולא שיעור ההצלחה הכללי, הוא מה שבאמת קובע כמה אפשר לסמוך על אוטונומיה מלאה.

מה קרה במשימות הסיכון הנמוך

במשימות בעלות סיכון נמוך — ניסוח טקסטים, סיכומים, הצעות ראשוניות — ההבדל בין הרצה עם אישור אנושי להרצה בלעדיו היה קטן יחסית. הסוכן טעה בקצב דומה בשני התנאים, וכשטעה, הנזק היה מוגבל וקל לתיקון: מסמך שגוי אפשר לתקן, סיכום לא מדויק אפשר לכתוב מחדש. במשימות מהסוג הזה, דרישת אישור אנושי לכל פלט הוסיפה חיכוך משמעותי בלי תועלת ביטחון שמצדיקה אותו — וזה בדיוק המקום שבו אוטומציה מלאה הגיונית.

הממצא הזה תואם עיקרון בסיסי שכדאי לכל ארגון לאמץ: לא כל פעולה דורשת את אותה רמת בקרה. הניסיון לדרוש אישור אנושי גורף לכל פלט של סוכן AI, בלי קשר לסיכון שהוא נושא, הוא בזבוז משאבים שגם לא מייצר ביטחון אמיתי — כי אנשים שנדרשים לאשר מאות פעולות נמוכות-סיכון ביום מפתחים במהירות "עייפות אישור" ומתחילים לאשר אוטומטית בלי בדיקה אמיתית, מה שהופך את שכבת הבקרה לאשליה בלבד.

מה קרה במשימות הסיכון הגבוה

התמונה השתנתה לחלוטין במשימות בעלות פוטנציאל נזק גבוה. כאן, בלי אישור אנושי, שיעור הטעויות שהובילו לנזק ממשי — לא רק לתוצאה לא אופטימלית אלא לפעולה בלתי הפיכה בפועל — היה גבוה משמעותית מכפי שציפינו. הסוכן, כשלא היה עצירה מובנית בתהליך, המשיך ופעל גם במצבים שבהם רמת הביטחון שלו בהחלטה הייתה נמוכה יחסית, פשוט כי שום דבר לא עצר אותו מלעשות זאת.

מה שהיה מעניין במיוחד הוא שהסוכן עצמו, כשנשאל בדיעבד, לרוב זיהה נכון שרמת הביטחון שלו הייתה נמוכה באותו רגע קריטי — אבל המידע הזה לא תורגם להתנהגות זהירה יותר בזמן אמת, כי לא היה מנגנון שמחייב אותו לעצור כשהוא לא בטוח. זה מצביע על פער בין יכולת המודל "לדעת" שמשהו לא ודאי, לבין המערכת שסביבו לדעת לתרגם את חוסר הוודאות הזה לפעולה זהירה בפועל.

עוד ממצא חשוב מהרמה הזו נגע לסוג הטעויות עצמן, לא רק לכמותן. במשימות סיכון גבוה שהורצו ללא אישור אנושי, הטעויות נטו להיות דווקא מהסוג הקשה ביותר לזהות מבחוץ — לא שגיאות גסות שכל אחד היה תופס מיד, אלא סטיות עדינות שנשמעות סבירות לגמרי בקריאה ראשונה. זה הגיוני כשחושבים על זה: טעות בוטה מדי הייתה נתפסת גם על ידי המערכת עצמה כחריגה ונמנעת מלכתחילה, ולכן דווקא הטעויות ה"סבירות למראה" הן אלה שעוברות בלי עצירה, וגם אלה שהכי קשה לאדם לתפוס בבדיקה חטופה אחרי מעשה.

הקשר להחלטות עסקיות שלמות

הממצאים האלה מתחברים ישירות לניסוי מקביל שערכנו, שבו ביקשנו מסוכן לנהל משימה עסקית שלמה מקצה לקצה. גם שם, הבעיה המרכזית לא הייתה יכולת ביצוע — הסוכן ידע לבצע כל שלב בפני עצמו — אלא היעדר נקודת עצירה מובנית בין תכנון לביצוע. פרטים מלאים על אותו ניסוי מופיעים במאמר ביקשנו מסוכן AI לנהל משימה עסקית שלמה, שמראה תרחיש דומה מזווית שונה בדיוק — ומחזק את המסקנה שהבעיה איננה יכולת, אלא עיצוב תהליך.

אותו עיקרון עלה גם בתרחיש שבו סוכן ביצע רצף פעולות שגוי הכולל שליחת מייל, רכישה ועדכון נתונים — תרחיש שתועד בהרחבה במאמר סוכן שלח מייל, ביצע רכישה ושינה נתונים. בשני המקרים, נקודת האישור האנושי שהייתה יכולה למנוע את הנזק לא הייתה קיימת, לא כי לא ידעו שהיא נחוצה, אלא כי אף אחד לא סימן מראש את הרגע המדויק שבו היא הייתה צריכה להתרחש.

מה עשינו כשניסינו למדוד "עייפות אישור" בפועל

כדי לבחון את התופעה של עייפות אישור לא רק באופן תיאורטי, הרצנו סימולציה שבה משתתף אנושי נדרש לאשר עשרות פעולות סוכן ברצף, חלקן תקינות וחלקן שגויות במכוון, בקצב שדומה לעומס עבודה יומיומי אמיתי. בתחילת הסימולציה, המשתתפים זיהו כמעט את כל הפעולות השגויות. אחרי כארבעים דקות של אישורים רצופים, שיעור הזיהוי צנח בחדות — המשתתפים התחילו ללחוץ "אישור" באופן אוטומטי כמעט, בלי לקרוא את הפרטים בעיון כפי שעשו בתחילת התהליך.

הממצא הזה מחזק את המסקנה שדרישת אישור גורף לכל פעולה, ללא סינון מקדים לפי רמת סיכון, לא רק לא יעילה — היא בפועל פחות בטוחה מאישור ממוקד שנדרש רק לפעולות שבאמת מצדיקות אותו. אדם שנדרש לאשר עשר פעולות ביום, שכולן באמת משמעותיות, יבדוק אותן בקפידה. אדם שנדרש לאשר מאה פעולות ביום, שרובן שגרתיות, יאבד את היכולת להבחין בין השגרתי לחריג — בדיוק כשהוא הכי צריך להבחין בין השניים.

הבניית "נקודות עצירה" חכמות במקום אישור גורף

המסקנה המעשית ביותר מהניסוי כולו היא שהשאלה הנכונה איננה "אישור אנושי כן או לא" באופן גורף, אלא "אילו סוגי פעולות ספציפיים דורשים אישור, ובאילו תנאים". בנינו מודל שמסווג כל פעולה פוטנציאלית לפי שני צירים: היקף הנזק האפשרי, והפיכות הפעולה. פעולות בעלות נזק נמוך והפיכות גבוהה מקבלות אוטונומיה מלאה. פעולות בעלות נזק גבוה או בלתי הפיכות — גם אם הן נדירות יחסית — מקבלות עצירה חובה, בלי יוצא מן הכלל.

המודל הזה מקטין דרמטית את החיכוך התפעולי לעומת אישור גורף, כי רוב הפעולות שסוכן מבצע בפועל, במיוחד במשימות שגרתיות, נופלות בקטגוריה בעלת הסיכון הנמוך. במקביל, הוא שומר על רשת ביטחון מלאה בדיוק במקום שבו היא הכי חשובה — פעולות שאי אפשר לבטל אחרי המעשה. הרחבנו את הגישה הזו במדריך עקרון ה-least agency, שמראה איך מתרגמים את העיקרון הזה לתצורת הרשאות בפועל, לא רק לעיקרון תיאורטי.

מה כדאי לבדוק לפני שסומכים על סוכן בכלל

לפני שארגון מחליט אילו משימות להעביר לאוטונומיה מלאה, כדאי לו לעבור תהליך בדיקה שיטתי שממופה על פי אותם שני צירים — נזק והפיכות — ולא להסתמך על תחושת בטן. הרחבנו את הגישה המתודית לזה במדריך על AI red teaming, שמראה איך בונים תוכנית בדיקות שמזהה מראש אילו סוגי משימות מסוכנות מספיק כדי לדרוש אישור אנושי, לפני שהסוכן מגיע לפרודקשן ומקבל את ההזדמנות לטעות על נתונים אמיתיים.

התשובה לשאלה שבכותרת המאמר הזה, אם כן, היא לא "כן" ולא "לא" גורף — היא "תלוי", אבל תלוי בדיוק בגורמים שכל ארגון יכול ואמור למפות מראש, לא לגלות בדיעבד. סוכן שפועל ללא אישור אנושי במשימות בעלות סיכון נמוך הוא בחירה סבירה ואחראית. אותו סוכן בדיוק, כשהוא פועל ללא אישור על פעולות בלתי הפיכות בעלות פוטנציאל נזק גבוה, הוא הימור שרוב הארגונים לא היו לוקחים במודע, אילו רק עצרו לשאול את השאלה לפני שהמערכת כבר רצה בפרודקשן.

שיעור נוסף שעולה מהניסוי כולו הוא שהאמון בסוכן AI לא צריך להיות החלטה חד-פעמית שמתקבלת בתחילת הפרויקט ונשארת קבועה. ככל שהסוכן, המשימות, והנתונים שהוא ניגש אליהם משתנים עם הזמן, כך גם מפת הסיכון-הפיכות צריכה להיבדק מחדש. סוכן שהוכיח את עצמו במשימות סיכון נמוך במשך חצי שנה לא בהכרח ראוי לאותה רמת אמון אוטומטית כשהוא מורחב פתאום למשימות חדשות בעלות פרופיל סיכון שונה לחלוטין — וזו בדיוק הטעות שראינו כמה מהארגונים שבדקנו עושים, מתוך הנחה שאמון שנצבר במשימה אחת "עובר" אוטומטית למשימה אחרת.

תגיות: human in the loop · least agency · AI autonomy · אישור אנושי · AI red teaming

← חזרה לבלוג · צור קשר