אנתרופיק מציגה את Message threads ב-Claude: קיצור זמני תגובה לסוכני AI

Message threads (מקור Claude)
  • אנתרופיק השיקה בבטא ציבורית את יכולת Message threads ב-Messages API של Claude.
  • הפיצ'ר מונע שליחה חוזרת של כל היסטוריית השיחה בכל פנייה ומעביר רק את המידע החדש.
  • לדברי החברה, זמן ההמתנה לטוקן הראשון מתקצר בכ-35% בבקשות הכוללות בין 500 אלף למיליון טוקנים.
  • היכולת פעילה כברירת מחדל ב-Claude Code וזמינה דרך ה-API ללא שינוי בעלויות הטוקנים.

אנתרופיק (Anthropic) הכריזה על השקת יכולת חדשה בשם Message threads עבור ממשק ה-Messages API בפלטפורמת Claude. התכונה החדשה נועדה לשפר את מהירות העבודה של סוכני AI הפועלים לאורך זמן, באמצעות ביטול הצורך לשלוח מחדש את כל היסטוריית השיחה בכל פנייה למודל, מה שמוביל לקיצור זמני השהיה ותגובה מהירה יותר בפרויקטים מורכבים.

העדכון רלוונטי במיוחד למפתחים המפעילים סוכני קוד אוטומטיים וזרימות עבודה ממושכות, שבהן הצטברות הנתונים יצרה עד כה צוואר בקבוק משמעותי בזמן ההמתנה לתחילת המענה.

כיצד פועל מנגנון ה-Message threads

במהלך פעילות של סוכן תכנות, המערכת עשויה לבצע מאות פניות בודדות באותו סשן עבודה, כאשר כל בקשה נדרשה לשלוח בעבר את כל ההודעות ותוצאות הכלים שנצברו עד לאותו רגע. כאשר השיחה מגיעה למאות אלפי טוקנים, השידור החוזר של כלל המידע יצר השהיה לפני שהמודל החל להשיב.

באמצעות Message threads, הסוכן שולח את השיחה המלאה רק בפנייה הראשונה לצורך פתיחת שרשור. בכל פנייה עוקבת מועברים אך ורק המסרים החדשים שנוספו לצד המזהה של התשובה הקודמת.

אנתרופיק שומרת את השרשור בזיכרון המערכת בין הפניות, כשהוא מוצפן ואינו נכתב לדיסק הקשיח. תוקפו של כל שרשור פג לאחר 5 דקות מהפנייה האחרונה, ולאחר מכן המערכת שולחת שוב את היסטוריית השיחה המלאה כדי להתחיל שרשור חדש.

ביצועים וזמני תגובה

לפי נתוני אנתרופיק, בבקשות המכילות בין 500 אלף למיליון טוקנים נרשמת ירידה חציונית של כ-35% בזמן ההמתנה לטוקן הראשון (TTFT).

הקיצור בזמני ההשהיה אינו משפיע על היקף צריכת הטוקנים או על עלויות השימוש. המודל עדיין מעבד את היסטוריית השיחה המלאה בכל סבב, ולכן תמחור הטוקנים ומגבלות הקצב נותרים ללא שינוי.

Message threads שונה ממנגנון מטמון ההנחיות (Prompt Caching) שאנתרופיק כבר מציעה למפתחים. המטמון חוסך את העיבוד החוזר של חלקי שיחה שכבר נקראו ומוזיל את עלותם. Message threads, לעומת זאת, חוסך את השידור החוזר של אותו מידע ברשת, ולכן משפיע על זמן ההמתנה ולא על המחיר.

תרחישי שימוש

השימוש בשרשורי הודעות מיועד בעיקר לתרחישים שבהם להשהיה יש השפעה ישירה על חוויית העבודה השוטפת:

  • סוכני תכנות ממושכים: תהליכים שבהם כל עריכת קובץ או תוצאת הרצה מרחיבות את הקשר השיחה.
  • סוכני שימוש במחשב (Computer use): צילומי מסך נשמרים כעת במסגרת השרשור בזיכרון במקום להישלח מחדש ברשת בכל פעולה.
  • זרימות עבודה עתירות קבצים: מסמכים ותמונות כבדים נשלחים פעם אחת בלבד ונשמרים בשרשור, במקום לעבור שוב ברשת בכל פנייה.

זמינות

הפיצ'ר Message threads זמין כעת בגרסת בטא ציבורית בפלטפורמת Claude הישירה, וכן דרך שירותי הענן Amazon Bedrock של AWS, פלטפורמת Foundry של Microsoft ובמודלי Vertex AI המנוהלים ב-Google Cloud.

עבור משתמשי Claude Code, התכונה מופעלת כברירת מחדל. מפתחים הניגשים ישירות ל-Messages API יכולים להפעיל אותה באמצעות הוספת הפרמטר thread לבקשותיהם, תחת תעריפי הטוקנים ומגבלות הקצב הרגילות.

השוואת מפרטים