המודל שייקח 70% מההחלטות מה-LLM הרגילים. מה זה Jev?

‏$42 למיליארד טוקני קלט. לא למיליון, למיליארד. מיליון עולה קצת יותר מארבעה סנטים, ובמחיר כזה ההרגל לחסוך בקריאות למודל מפסיק להיות הגיוני. כמה עולה המעטפת סביב הקריאות האלה זה חשבון נפרד, וספרנו אותו כשהשווינו בין Claude Code, ‏Codex ו-pi בכסף.

זה בדיוק מה שהשם מנגן עליו. ‏Jev הוא קיצור של Jevons: פרדוקס ג'בונס אומר שהוזלה של משאב לא מקטינה את הצריכה שלו אלא מגדילה אותה. כשהחלטה עולה מאיות סנט, מפסיקים לשמור אותן לרגע הנכון ומתחילים לשאול את המודל גם במקומות שבהם פעם כתבו ביטוי רגולרי וקיוו לטוב.

המודל שסירב לדבר

כמה שנים התעשייה הלכה לכיוון אחד. ‏RLHF לימד מודלים לרצות בני אדם, ואת התוצאה רואים כל יום: ביצוע הוראות מצוין, אמינות פחות. המודל טועה בביטחון מלא, מאבד חלק ממרחב התשובות, ודורש אדם לידו.

‏TypeSafe הלכה לכיוון ההפוך. האלגוריתם שלהם נקרא RLCD, למידת חיזוק להחלטות מכוילות, ומה שממוטב שם הוא לא אישור אנושי אלא היושר של ההסתברות. את החברה הקים Diogo Almeida, חוקר לשעבר ב-OpenAI ושותף למאמרים על RLHF ועל InstructGPT, כלומר בדיוק מי שבנה את מה שהוא דוחף ממנו עכשיו.

העסקה חדה: ‏Jev לא כותב טקסט. בכלל. לא שורה, לא רשימה, לא סיכום קצר. בתמורה הוא עונה בעשרות מילישניות, ולא יכול להמציא ערך שלא קיים בסכמה, כי הוא בוחר רק מתוך מה שרשמתם.

שלוש השאלות שהוא מבין

כל הממשק הוא מצב ומילון שאלות. יש בדיוק שלושה סוגים. ‏Choice בוחר אפשרות אחת מתוך רשימה, עד 255 אפשרויות. ‏Score נותן ציון מול רמות מתוארות. ‏Noul מחזיר את ההסתברות שהטענה נכונה.

מה שחשוב הוא לא הפרימיטיבים אלא שכל השאלות של בקשה אחת מחושבות במקביל מול אותו מצב. ליוצרים יש מדידה: שלוש עשרה שאלות על הערך של GDPR, בקריאה אחת במקום שלוש עשרה, יוצאות זולות פי 12.2 ומהירות פי 10.0, עם אותן תשובות.

ההסתייגות הראשונה מתבקשת: במה זה שונה מ-structured output שכל LLM מודרני יודע לעשות. שני הבדלים, ושניהם נושאים משקל. מודל רגיל עדיין מייצר את התשובה טוקן אחרי טוקן, והסכמה רק מאמתת את מה שיצא, בעוד Jev דוגם את כל האפשרויות בבת אחת ושגיאת טיפוס נשללת מעצם הבנייה. ושנית, יחד עם התשובה מגיע ביטחון מכויל, מספר שאפשר לתלות עליו סף. מכאן התבנית שבתיעוד: מעל הסף הקוד פועל לבד, מתחתיו המקרה עובר לאדם, ושני המסלולים כתובים מראש ולא מנוחשים מהנימה של התשובה.

curl -X POST https://api.typesafe.ai/v1/systemone \
  -H 'Authorization: Bearer $TYPESAFE_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{ "state": "...the incoming message...",
        "model": "jev-latest",
        "questions": { "is_urgent": { "type": "noul",
          "instructions": "The message conveys urgency" } } }'
# python: pip install typesafe-sdk   (0.7.0, 18.09)
# js:     npm i @typesafe-ai/sdk     (0.6.0, 15.09)

איפה זה נכנס בתוך סוכן

לא במקום ה-LLM אלא בינו לבין הקוד. כל נקודה שבה סוכן בוחר מבצע, מדרג מקור או מחליט אם לקרוא לאדם היא שאלה עם מספר סופי של תשובות, וכבר לא חייבים לשלם עליה בייצור טקסט. איך לפרק את הלולאה שלכם ליצירה ולהחלטות, איפה מסתתרות הנקודות האלה ומה לשים על סף הביטחון, פירקנו שלב אחר שלב במדריך על סוכנים עם Claude Code ו-Jev.

המערכת סביבו נסגרה תוך יממה. ורסל הוסיפה את המודל ל-AI Gateway ב-16 בספטמבר בשם typesafe-ai/jev, וקוראת לו דרך experimental_evaluate ב-AI SDK, וכעבור יומיים דיווחה שזו ההשקה שאומצה הכי מהר בהיסטוריה של השער: כ-13 אחוז מהצוותים המשלמים ב-24 השעות הראשונות. ב-LangChain נוסף TypeSafeClassifier. ל-Claude Code יש תוסף רשמי, שמותקן עם claude plugin marketplace add typesafe-ai/skills. אם עוד לא ירדתם לעומק ההבדל בין סקיל לתוסף ומתי כדאי לבנות משלכם, יש לנו מדריך נפרד על סקילים.

איפה הוא נשבר

זה החלק הטוב ביותר בתיעוד, והחלק שאף שרשור לא מזכיר. ל-TypeSafe יש עמוד על הקצוות המשוננים של jev-1.13, בעדכון אחרון מ-17 בספטמבר, ובו תשעה מצבי כשל מוכרים.

המודל קורא מילולית ועונה על השאלה שכתבתם, לא על זו שהתכוונתם אליה. הוא לא מחשבון: הוא לא סופר פריטים ברשימה אלא מזהה את הצורה של התשובה, והשגיאה גדלה עם הרשימה. תאריכים הוא רואה כטקסט, ולכן אי אפשר להשוות ביניהם, רק לחלץ רכיבים ולהרכיב בקוד. הדיוק יורד כשהמצב עמוס בחומר שהשאלה לא צריכה, וזו בדיוק המשמעת שאנחנו מלמדים בקורס על הזיכרון של Claude Code: מכניסים לחלון את מה שהמשימה צריכה, לא את הכול. ואין הבטחות מבניות: בדוגמה של היוצרים עצמם, שאלה והשלילה שלה כשתי שאלות Noul מחזירות 0.72 ו-0.47, סכום של 1.19.

עוד נקודה שנוגעת לנו ישירות. שפת האימון העיקרית היא אנגלית, והשאר נתמכות אך חלשות יותר. לתוכן בעברית וברוסית זה אומר מדידה על החומר שלכם, ולא ייבוא של ספי ביטחון של מישהו אחר.

מה בדקנו בעצמנו

תכננו להריץ את המודל בידיים, כמו שאנחנו עושים עם כל כלי. לא יצא: הגישה עוברת דרך רשימת המתנה, והכפתור בעמוד הבית אומר בדיוק את זה. לכן כל המספרים כאן לקוחים מהמקור, וזה ישר יותר מלצטט מסירה של מישהו אחר.

בדרך התברר בשביל מה בכלל ללכת למקור. קודם ניגשנו ל-Forbes בשביל המספרים, והוא החזיר 403 לבקשה רגילה, ובכותרת שלו כתוב «100x». בעמוד הבית של TypeSafe המספרים אחרים: פי 193.6 במהירות ופי 444.6 בעלות. ההפרש לא לטובת המסירה.

תצפית נוספת מ-npm ומ-PyPI: הלקוחות התפצלו. חבילת הפייתון typesafe-sdk הגיעה ל-0.7.0 ב-18 בספטמבר, בעוד חבילת הג'אווהסקריפט @typesafe-ai/sdk עומדת על 0.6.0 מה-15. הפרויקט בן שבוע וזה סביר, אבל אם אתם בונים על JS, בדקו שוויון יכולות לפני שאתם מתחייבים.

לגבי המספר בכותרת: אותם 70 אחוז הם ההערכה שלנו לגבי חלקן של הקריאות שבפועל מסתכמות בבחירה, בציון או בתשובת כן או לא, ולא מדידה ולא נתון של TypeSafe. תתייחסו לזה כאל הימור שאנחנו מוכנים להגן עליו.

הדעה שלנו, ומותר לחלוק עליה: יש בדיוק מקום אחד ל-Jev כרגע, והוא צר. זו הצומת עם מספר סופי של תשובות שהיום אתם משלמים עליה בייצור טקסט: בחירת מבצע, סינון מקורות, שער לפני פעולה בלתי הפיכה. אל תעבירו לשם ספירה, תאריכים וקריאה של מסמך שלם, זו בדיוק הרשימה שבעמוד הקצוות המשוננים. ואם התוכן שלכם בעברית או ברוסית, בין «מעניין» ל«אנחנו מטמיעים» חייבת לעמוד מדידה על מדגם משלכם: ספי ביטחון שנלקחו מדוגמה אנגלית של מישהו אחר לא יעברו אליכם. איך נראית מדידה כזו לעמודים של אתר מוסבר אצלנו בביקורת על היתכנות ציטוט בתשובות של AI, וכל הדרך מבדיקה חד פעמית ועד תהליך עוברת בקורס אוטומציית SEO.