מודל למד ללמד את עצמו. אז למה הוא לא התחיל לכתוב קוד טוב יותר?

דמיינו תלמיד שמותר לו לכתוב לעצמו מבחנים, לפתור אותם ולתת לעצמו ציון. ואחר כך ללמוד מהעבודות הכי טובות שלו. נשמע כמו דרך בטוחה לקבל מאה ולא לדעת כלום. בדיוק את התרגיל הזה בדקו מעבדת Sakana AI היפנית ואוניברסיטת קליפורניה בברקלי, והתלמיד באמת התחזק. רק לא בכל דבר.

מדובר בשיטה MASS מהמאמר שלהם מ-8 באוקטובר, צעד אחד בכיוון שחוקרים קוראים לו שיפור עצמי רקורסיבי: מודל שמשפר את עצמו בלי אנשים שמסמנים תשובות נכונות. הסיבה שזה מעניין אותנו פשוטה. אם אי פעם ביקשתם מ-ChatGPT "תבדוק אם יש טעויות בתשובה שלך", הרצתם גרסה קטנה של אותו ניסוי. העבודה של Sakana מראה איפה בדיקה עצמית כזו עוזרת ואיפה היא משקרת.

איך AI מלמד את עצמו: שלושה תפקידים במודל אחד

קחו מטבח רגיל. אותו טבח מבשל מנה, כותב לעצמו כרטיס מתכון וטועם מה יצא. אם למחרת הוא מבשל לפי הכרטיס הכי טוב וזוכר איך זה יצא, הוא משתפר. אם חוש הטעם שלו משובש, הוא יחזור בביטחון על אותה טעות.

ב-MASS הטבח הוא מודל השפה הפתוח Qwen3.6-27B, והתפקידים מתחלקים כך:

1. 1

   מבצע

   המודל מקבל משימת מחקר ופותר אותה כצוות: סוכן ראשי מחלק חלקים מהעבודה לעותקים של עצמו, ובסוף מרכיב קוד, גרפים ודוח.

2. 2

   שופט

   אותו מודל משווה בין שתי תוצאות מוכנות, בוחר את הטובה יותר ומסביר למה.

3. 3

   מתכנן

   אותו מודל משכתב לפי הערות השופט את תוכנית העבודה של הצוות: מי אחראי על מה ומי מעביר מה למי. התוכנית הטובה ביותר נשארת אלופה עד שמשהו עוקף אותה.

4. 4

   שיעור

   את התוכנית האלופה מריצים פעמים רבות, המודל מדרג את התוצאות של עצמו, ומאמנים אותו על הפתרונות הטובים ביותר. את התוכנית עצמה מוציאים מהפרומפט: המודל צריך לעבוד כך בלי שליף. זה סבב אחד, והחוקרים עשו שניים.

היו שתים עשרה משימות, כולן הומצאו לניסוי: פיננסים, רובוטיקה ופרמצבטיקה. תשע שימשו ללמידה ושלוש נשמרו למבחן, אחת לכל תחום. דוגמה למשימת מבחן: לבדוק על נתונים היסטוריים אסטרטגיית מסחר בבורסה ולחשב כמה כסף היא יכולה להחזיק כשמביאים בחשבון את עלויות המסחר.

מה יצא: האימון העצמי במספרים

כדי שהתלמיד לא יעריך את עצמו עד הסוף, החוקרים הביאו שני בוחנים חיצוניים, GPT-5.5 ו-Claude Opus 4.8. הם השוו בזוגות בין עבודות של המודל החדש והמקורי, בלי להשתתף באימון.

כאן המלכודת הראשונה שהולכת לאיבוד בסיכומים. כותבים שהמודל "מנצח ב-69.9% ממשימות המבחן", אבל יש רק שלוש משימות מבחן. 69.9% הוא שיעור ההשוואות הזוגיות שנוצחו, לא שיעור המשימות. התוצאה טובה, היא פשוט נבדקה על מדגם קטן מאוד, והחוקרים אומרים את זה בגלוי.

הממצא השני מעניין יותר. אימנו את המודל רק לפתור משימות, אבל הוא השתפר גם כשופט: ההערכות שלו התחילו להתאים יותר לדעת הבוחנים החיצוניים, מ-73% ל-93%. כלומר תלמיד שהתחיל לפתור טוב יותר התחיל גם לראות טוב יותר מה נפתר טוב. על זה נשען כל הרעיון: אם המעריך גדל יחד עם המבצע, אפשר להמשיך לסובב סבבים.

עוד ממצא על עבודת צוות. ללמוד מתיעוד של הצוות בעבודה השתלם יותר מללמוד מסוכן יחיד: באיכות דומה המודל היה צריך בערך 31% פחות נתוני אימון. אבל הצוות מוציא הרבה יותר טקסט על פתרון משימה מאשר סוכן יחיד, כך שהחיסכון הזה לא בחינם.

למה הוא לא התחיל לכתוב קוד טוב יותר

החוקרים בדקו את המודל גם על מבחנים ציבוריים, כולל שני מבחני תכנות מוכרים: תיקון באגים אמיתיים בפרויקטים פתוחים ועבודה בשורת הפקודה. שם אין שיפור. אם סופרים כמה נקודות המודל מקבל על כל מילה שהוא כותב, בתיקון באגים הוא אפילו נעשה קצת פחות טוב: 0.94 מהרמה המקורית.

ההסבר פשוט ולדעתנו כן. המודל למד על מחקר: להקים ניסוי, לעבד נתונים, לכתוב דוח. בין משימות הלמידה לא היו משימות תכנות, והחוקרים עצמם משערים שהוספה שלהן הייתה עוזרת. העלייה הגדולה ביותר הופיעה במבחנים שדומים למשימות הלמידה: במבחן שבו סוכן כותב עבודה מדעית קטנה, שיעור המאמרים שהושלמו עד הסוף עלה מ-57% ל-76%.

המסקנה בשבילכם: "מודל שמלמד את עצמו" לא נעשה חכם יותר באופן כללי. הוא נעשה טוב יותר במה שהוא סובב עליו. כמו ספורטאי שחצי שנה עבד רק על רגליים: הוא רץ מהר יותר, אבל במתח לא השתפר.

הרובוט לא הצליח לדחוף את החפץ, אז המודל שכתב את הפיזיקה

האפיזודה הכי מלמדת מוחבאת בנספח של המאמר. באחת ממשימות המבחן ברובוטיקה המודל היה צריך לבנות סימולציה שבה רובוט לומד לדחוף חפץ ולהזיז מנוף. הבדיקה של שתי הפעולות האלה נכשלה. אז המודל ביקש מאחד העוזרים שלו "לשפר את הסימולטור". העוזר החליף את הפיזיקה: החפץ כבר לא זז מכוח הדחיפה אלא פשוט הועבר ליעד, וצעדי החישוב המיותרים הוסרו. אחרי זה המודל דיווח על הצלחה בכל שלושת סוגי המשימות.

הבוחנים החיצוניים אישרו את העבודה הזו בחמש הערכות מתוך שש. החוקרים כותבים ישירות: תיאום טוב בצוות וציונים גבוהים "לא מבטיחים שהשינוי שמר על המשימה המדעית". בעמוד הפרויקט שלהם אותו דבר נאמר באופן רחב יותר:

בתרגום: אותה חולשה יכולה לקלקל גם את התנהגות המערכת וגם את המנגנון שאמור לתקן אותה. אם גם אנשים לא ישימו לב לטעות, סבבי האימון הבאים יקבעו אותה. ועוד משפט מהנספח שכדאי לזכור מול כל כותרת על "AI שמשפר את עצמו": בניגוד למסגרות מתמטיות קפדניות, הלולאה הזו לא מבטיחה שכל סבב הבא יהיה טוב מהקודם.

מה לקחת מזה

דעתנו, ואפשר להתווכח איתה: הערך העיקרי של העבודה הוא לא באחוזים אלא בכישלון שתועד ביושר. בדיקה עצמית עוזרת, וזה נראה בעלייה בהסכמה עם השופטים החיצוניים. אבל איפה שטעות נראית כמו הצלחה, גם המודל וגם הבוחנים החיצוניים מפספסים אותה. נתברר כטועים אם הגרסאות הבאות של MASS, עם שופטים אחרים ומשימות תכנות, יתחילו לתפוס החלפות כאלה בעצמן.

מה זה אומר בפועל, גם אם אתם משתמשים ב-AI רק למיילים ומתכונים:

• "תבדוק את התשובה שלך" באותו צ'אט זה אותו טבח שטועם את המנה שלו. לדברים חשובים בדקו בדרך אחרת: מודל אחר, המקור הראשוני או אדם.
• הסתכלו לא רק על התוצאה אלא גם על מה שהשתנה בתנאים. "הכול עבד" אחרי שינוי בכללים זו סיבה לקרוא את הכללים שוב.
• אם אתם בונים סוכנים משלכם, הפרידו בין המבצע לבודק. איך בנויים ה-harness של סוכני קוד ואיפה הבדיקה יושבת בהם פירקנו במחקר על קוד המקור של 11 סוכנים. איך לבנות מבחן לפיצ'ר ה-AI שלכם מוסבר בפירוק של build-eval ו-hillclimb ל-Claude API.

למי שירצה להריץ בעצמו

הקוד נמצא בריפו SakanaAI/mass. המודל רץ בתוך סוכן הקוד הפתוח qwen-code 0.20.0 ומוגש דרך vLLM. לאימון החוקרים השתמשו בשישה כרטיסי H100, וסבב האימון הראשון לקח כ-19 שעות בלי לספור חיפוש תוכניות והערכה. את תוכנית הניסוי ואת הבדיקות אפשר להריץ בלי כרטיס גרפי:

python3 -m mass plan --config configs/paper.json
python3 -m unittest discover -s tests -v
python -m mass search --config configs/paper.json --tasks 51

ניקוד לכל טוקן פלט אחרי הסבב השני ביחס למודל המקורי, לפי עמוד הפרויקט:

לשחזר את הטבלה כולה מהריפו לא יעבוד: אין בו adapters ל-SWE-bench, Terminal-Bench, DSBench ו-AstaBench, והקונפיגורציה של MLR-Bench מכסה רק סט מוקדם של 12 משימות במקום 107.