OpenAI به‌تازگی یک صفحه در وب‌سایت خود منتشر کرده که در آن نام یک مدل زبانی بزرگ جدید را می‌بینیم: GPT-4o Long Output. این مدل جدید نسبت به مدل GPT-4o که در اردیبهشت‌ماه رونمایی شد، تفاوت عمده‌ای دارد و آن نیز در تعداد توکن‌های خروجی آن است. این مدل در هر درخواست تا 64 هزار توکن خروجی به شما ارائه می‌دهد. برای مقایسه، خروجی GPT-4o حداکثر 4 هزار توکن است.
براساس اعلام OpenAI، نسخه آزمایشی GPT-4o Long Output حداکثر 64 هزار توکن خروجی در هر درخواست ارائه می‌دهد. این افزایش 16 برابری نسبت به مدل اصلی GPT-4o، به کاربران و به طور خاص‌تر به توسعه‌دهندگان شخص ثالث که از API این چت‌بات بهره می‌برند این فرصت را می‌دهد تا پاسخ‌های طولانی‌تر، معادل یک رمان 200 صفحه‌ای داشته باشند.
توکن‌ها در مدل‌‌های زبانی بزرگ به نمایش عددی مفاهیم، ساختارهای دستوری و همچنین معنای آن‌ها اشاره دارند. برای مثال کلمه «Hello» یک توکن است، «Hi» نیز هرچند همان معنا را دارد، اما توکن دیگری محسوب می‌شود.
مدل اصلی GPT-4o حداکثر 128 هزار توکن در پنجره زمینه (Context Window) ارائه می‌کند؛ پنجره زمینه مقدار حاوی توکن‌هایی است که مدل می‌تواند در هر تعامل، ازجمله در توکن‌های ورودی و خروجی، مدیریت کند. اکنون GPT-4o Long Output نیز همان 128 هزار توکن پنجره زمینه را ارائه می‌دهد. بنابراین چگونه OpenAI می‌تواند تعداد توکن‌های خروجی را 16 برابر افزایش دهد و از 4000 به 64000 توکن برساند، درحالی‌که پنجره زمینه کلی را روی 128000 نگه دارد؟
پاسخ ساده است، GPT-4o اصلی اگرچه پنجره 128 هزار توکنی داشت، اما پیام خروجی آن به 4000 توکن محدود بود. یعنی در ازای 124 هزار پیام ورودی، شما حداکثر 4000 توکن دریافت می‌کردید. یا برای مثال، GPT-4o mini حداکثر 16 هزار توکن خروجی داشت. اکنون OpenAI با حفظ همان پنجره زمینه، سقف خروجی را تا 64 هزار توکن بالا برده است.
یکی از سخنگویان OpenAI به VentureBeat گفته است: «ما بازخوردهایی را از مشتریان خود شنیدیم که می‌خواهند زمینه خروجی طولانی‌تری داشته باشند. ما همیشه درحال آزمایش راه‌های جدیدی هستیم تا می‌توانیم به بهترین شکل به نیازهای مشتریان خود پاسخ دهیم.»
انتظار می‌رود مرحله آزمایش آلفا GPT-4o Long Output چند هفته به طول بینجامد و به OpenAI اجازه می‌دهد تا داده‌هایی را درباره اینکه چه میزان خروجی بیشتر نیازهای کاربر را برآورده می‌کند، جمع‌آوری کند. با ارائه خروجی‌های طولانی‌تر، مدل GPT-4o می‌تواند پاسخ‌های جامع‌تر و دقیق‌تری ارائه دهد.
