عکس یک جدول در کانال‌های تلگرام دست‌به‌دست می‌شود: اسم یک مدل در کادر قرمز و تیتر «مدل X اول شد!». دو روز بعد جدول دیگری مدل دیگری را اول نشان می‌دهد. هر دو راست می‌گویند، چون هر جدول سؤال دیگری پرسیده است؛ و برای مقایسه مدل‌های هوش مصنوعی اول باید همین سؤال را بشناسید.

جواب کوتاه: هیچ رتبه‌ای به‌تنهایی بهترین مدل را برای شما معلوم نمی‌کند. شاخص Artificial Analysis موفقیت در آزمون‌های سخت و عمدتاً انگلیسی را می‌سنجد، Arena پسند آدم‌ها در مقایسهٔ کور را، و OpenRouter اینکه در آن درگاه بیشترین توکن خرج کدام مدل شده است. پیش از باور کردن «اول شد» بپرسید با کدام تنظیم، با چه هزینه‌ای برای هر کار و با چه حاشیهٔ خطایی؛ بعد چند نامزد را با پرامپت‌های فارسی خودتان کور بسنجید.

این راهنما ستون‌های صفحهٔ مقایسه مدل‌های هوش یاب را با عددهای واقعی ۱ مهر ۱۴۰۵ باز می‌کند، ده دام رایج را نشان می‌دهد و یک روش پنج‌مرحله‌ای با پرامپت داوری آماده به دستتان می‌دهد.

بنچمارک چیست و جدول مقایسه مدل‌های هوش مصنوعی چه می‌گوید؟

بنچمارک آزمونی ثابت برای همهٔ مدل‌هاست تا نمره‌هایشان قابل مقایسه باشد؛ لیدربورد جدولی است که مدل‌ها را با این نمره‌ها رتبه‌بندی می‌کند. صفحهٔ مقایسه مدل‌ها در هوش یاب داده‌های سه منبع مستقل را کنار هم گذاشته است:

  • Artificial Analysis (آرتیفیشال آنالیز، AA): شرکتی مستقل که خودش مدل‌ها را می‌آزماید. «شاخص AA» در نسخهٔ v4.3.2 (۲۸ شهریور ۱۴۰۵) میانگین وزنی ده آزمون است: کارهای ایجنتی و چندمرحله‌ای (۳۰ درصد)، کدنویسی (۲۰)، دانش و استدلال عمومی (۳۰) و استدلال علمی (۲۰). «هزینه تسک AA» میانگین خرج دلاری حل یک تسک از همین آزمون‌هاست، با نرخ API خود مدل.
  • Arena (آرنا، همان LMArena سابق): کاربر پرسشی می‌نویسد، جواب دو مدل ناشناس را می‌بیند و به بهتری رأی می‌دهد. Arena از میلیون‌ها رأی، با مدل آماری Bradley–Terry، امتیازی در مقیاس Elo می‌سازد: «Arena Elo» همین امتیاز است و «رتبه Arena» جای مدل در جدول متنی کلی.
  • OpenRouter (اپن‌روتر): درگاهی که با یک کلید API صدها مدل را در دسترس می‌گذارد. «رتبه OpenRouter» جای مدل در مصرف هفتگی توکن همین درگاه است و قیمت‌های «ورودی $/1M» و «خروجی $/1M»، یعنی دلار برای هر یک میلیون توکن، هم از آن‌جا می‌آید.

ستون‌های فنی «سرعت»، «تأخیر TTFT» و «Context» و ستون «در هوش یاب»، که ابزارهای عرضه‌کنندهٔ مدل را نشان می‌دهد، هم در جدول‌اند. خلاصهٔ کل این راهنما:

هر ستون صفحهٔ مقایسه مدل‌ها چه می‌گوید و چه نمی‌گوید
ستونچه می‌گویدچه نمی‌گوید
شاخص AAتوان در ده آزمون سخت، با یک تنظیم مشخصکیفیت فارسی؛ اینکه همین تنظیم در اپ شما هست یا نه
هزینه تسک AAخرج واقعی هر تسک، با توکن‌های فکرخرج کار شما با پرامپت‌های خودتان
Arena Elo و رتبه Arenaکدام جواب در مقایسهٔ کور پسندیده‌تر بودهدرستی در کار تخصصی؛ اختلاف چندامتیازی هم معنادار نیست
رتبه OpenRouterبیشترین مصرف توکن در این درگاهکیفیت؛ مصرف بیرون از این درگاه
ورودی و خروجی $/1Mنرخ هر میلیون توکناینکه مدل برای هر کار چند توکن می‌سوزاند
سرعت و تأخیر TTFTپاسخ چه زود شروع و چه تند نوشته می‌شودزمان رسیدن جواب اصلی در مدل‌هایی که فکرشان را هم می‌فرستند
Contextسقف ورودی روی کاغذدقت مدل در متن خیلی بلند
در هوش یابابزارهایی که مدل را عرضه می‌کنندپلن لازم یا اینکه فقط از راه API است

چرا یک مدل چند نمرهٔ متفاوت دارد؟

اولین چیزی که به چشم می‌آید اسم‌های تکراری است: Claude Opus 5.5 (max with fallback)، (xhigh with fallback) و بقیه. پسوندها سطح فکر کردن (effort) مدل‌اند: هرچه بالاتر، مدل پیش از جواب توکن بیشتری صرف استدلال می‌کند، کندتر و گران‌تر می‌شود و معمولاً نمرهٔ بهتری می‌گیرد. «with fallback» یعنی اگر مدل درخواستی را به دلایل ایمنی رد کند، API شرکت Anthropic آن را خودکار به مدل دیگری می‌سپارد.

یک مدل، پنج نمره (داده‌های صفحهٔ مدل‌های هوش یاب، ۱ مهر ۱۴۰۵)
سطح فکرClaude Opus 5.5: شاخص / هزینهٔ هر تسکGPT-6 Astra: شاخص / هزینهٔ هر تسک
low۴۲ / ۰٫۵۵ دلار۴۶ / ۰٫۸۲ دلار
medium۵۱ / ۱٫۳۴ دلار۵۰ / ۱٫۵۴ دلار
high۵۴ / ۱٫۸۲ دلار۵۱ / ۱٫۷۳ دلار
xhigh۵۶ / ۳٫۴۶ دلار۵۲ / ۲٫۳۱ دلار
max۵۸ / ۵٫۹۸ دلار۵۳ / ۳٫۲۶ دلار

عدد ۵۸ در تیترها مال بالاترین تنظیم است. طبق مستندات Anthropic، اگر در API سطحی تعیین نشود، Claude Opus 5.5 با medium کار می‌کند که نمره‌اش ۵۱ است. از medium تا max هفت امتیاز اضافه می‌شود و هزینهٔ هر تسک ۴٫۵ برابر. در GPT-6 Astra همین مسیر سه امتیاز می‌افزاید، اما انتظار برای اولین تکهٔ پاسخ از حدود ۶ ثانیه به نزدیک ۶ دقیقه می‌رسد.

در اپ‌ها معمولاً نمی‌دانید کدام ردیف را گرفته‌اید و اسم‌ها هم فرق می‌کند. طبق صفحهٔ ChatGPT (چت جی پی تی) در هوش یاب، GPT-6 Astra در خود چت با نام GPT-6 Pro و فقط در پلن‌های Pro و Business/Enterprise می‌آید؛ Claude (کلود) هم Opus 5.5 را از پلن Pro به بالا می‌دهد. پس ردیفی را معیار بگیرید که به تنظیم در دسترس شما نزدیک‌تر است.

قیمت هر توکن یا هزینهٔ هر کار: کدام مدل واقعاً ارزان‌تر است؟

قیمت $/1M نرخ است، نه صورت‌حساب. مدل‌های استدلالی پیش از جواب هزاران توکن «فکر» می‌نویسند که با نرخ خروجی حساب می‌شود؛ برای همین هزینهٔ هر تسک از ستون قیمت گویاتر است.

نرخ توکن در برابر هزینهٔ واقعی هر تسک (داده‌های ۱ مهر ۱۴۰۵)
مدلورودی / خروجی (دلار برای یک میلیون توکن)شاخص AAهزینهٔ هر تسک
GPT-6 Astra (max)۱۰ / ۵۰۵۳۳٫۲۶ دلار
Claude Fable 5.1 (max with fallback)۱۰ / ۵۰۵۳۷٫۶۳ دلار
Claude Opus 5.5 (max with fallback)۴ / ۲۰۵۸۵٫۹۸ دلار
Qwen3.8 Max (0902)۲ / ۶۴۵۵٫۴۱ دلار
MiMo-V2.6-Pro۰٫۴۳۵ / ۰٫۸۷۴۶۰٫۱۳ دلار

دو ردیف اول نرخ و نمرهٔ یکسان دارند، اما یکی بیش از دو برابر دیگری خرج برمی‌دارد. طبق تحلیل AA از Claude Opus 5.5، Claude Fable 5.1 (max) برای هر تسک حدود ۷۸ هزار توکن خروجی می‌نویسد و GPT-6 Astra (max) حدود ۲۷ هزار؛ خود Opus 5.5 (max) حدود ۱۱۹ هزار. برای همین Opus با نرخی ۲٫۵ برابر ارزان‌تر، در هر تسک از GPT-6 Astra گران‌تر درمی‌آید. Qwen3.8 Max با خروجی ۶ دلاری ارزان به نظر می‌رسد، ولی هر تسکش تقریباً هم‌خرج Opus 5.5 (max) است و ۱۳ امتیاز کمتر می‌گیرد. در سوی دیگر، MiMo-V2.6-Pro با نمرهٔ ۴۶ هر تسک را ۱۳ سنت تمام می‌کند و Grok 4.7 (high) با همان نمره ۲٫۷۳ دلار.

این عددها قیمت API است؛ اگر اشتراک ماهانهٔ اپ‌ها را می‌خرید، حساب‌وکتاب پلن‌های رایگان و پولی هوش مصنوعی را ببینید.

رتبهٔ Arena و OpenRouter را چقدر جدی بگیریم؟

اختلاف چند امتیازی در Elo نویز است

امتیاز Arena از رأی آدم‌ها ساخته می‌شود و با هر رأی تازه کمی جابه‌جا می‌شود. برای همین Arena کنار هر امتیاز بازهٔ اطمینان می‌گذارد و در سایتش ستونی به نام Rank Spread دارد: بهترین و بدترین رتبهٔ ممکن مدل. طبق روش رتبه‌بندی Arena، مدل‌هایی که این بازه‌هایشان هم‌پوشانی دارد مساوی‌اند.

در جدول ۲۲ شهریور ۱۴۰۵، چهار مدلِ رتبه‌های ۸ تا ۱۱ در صفحهٔ هوش یاب همه امتیاز ۱۴۹۳ دارند، از جمله Muse Spark 1.3 (max) با ۴٬۷۲۳ رأی و Gemini 3.8 Flash (high) با ۵٬۰۷۶ رأی؛ ترتیبشان عملاً قرعه است. GPT-6 Astra (max) با ۲٬۶۹۳ رأی در رتبهٔ ۲۴ است، اما Rank Spread آن از ۵ تا ۵۱ است. حتی فاصلهٔ رتبهٔ ۱ (۱۵۰۶) تا همین رتبهٔ ۲۴ (۱۴۸۰) در فرمول Elo یعنی جواب مدل اول فقط در حدود ۵۴ درصد مقایسه‌ها ترجیح داده می‌شود. رتبهٔ AA در صفحهٔ هوش یاب هم برای هم‌نمره‌ها مشترک است: پنج ردیف با شاخص ۵۳ همه چهارم‌اند.

Arena سلیقه را می‌سنجد، AA کار را

رأی‌دهندهٔ Arena پرسش خودش را می‌نویسد و جوابی را برمی‌گزیند که بیشتر به دلش می‌نشیند؛ جواب بلندتر و پرتیتر دل بیشتری می‌برد. روش style control، که Arena در ۲۰۲۴ ساخت، اثر طول و قالب‌بندی را از امتیاز جدا می‌کند. در تحلیل اولش طول جواب مهم‌ترین عامل سبکی بود و GPT-4o-mini با کنترل آن از رتبهٔ ۶ به ۱۱ رفت. این نما از بهار ۱۴۰۴ پیش‌فرض Arena است و عددهای صفحهٔ هوش یاب هم از آن می‌آید، اما همهٔ جذابیت یک جواب را کنترل نمی‌کند.

پس دو جدول به دو سؤال جواب می‌دهند: GPT-6 Astra (max) در AA چهارم و در Arena بیست‌وچهارم است؛ Gemini 3.8 Flash (high) در Arena نهم و در AA چهل‌وچهارم. برای گفتگو و نوشتن عمومی، Arena به تجربهٔ شما نزدیک‌تر است؛ برای کدنویسی و کار ایجنتی، AA.

محبوب‌ترین، بهترین نیست

رتبهٔ OpenRouter فقط می‌گوید در یک هفته، از راه همین درگاه، کدام مدل بیشترین توکن را پردازش کرده است. بخش بزرگی از این توکن‌ها را کارهای خودکار می‌سوزانند: بیشترِ ده اپ پرمصرف OpenRouter ایجنت و دستیار کدنویسی‌اند و چنین کارهایی معمولاً سراغ مدل ارزانِ کافی می‌روند. در داده‌های ۱ مهر ۱۴۰۵، رتبهٔ ۱ مال GLM-5.3-Flash با نرخ ۰٫۱۵ و ۰٫۵ دلار است که در AA رتبهٔ ۳۸ و در Arena رتبهٔ ۲۹ را دارد؛ در مقابل، Claude Fable 5.1 (max)، چهارم AA و پنجم Arena، با نرخ ۱۰ و ۵۰ دلار در OpenRouter سی‌وهشتم است. محبوبیت یعنی «به‌صرفه برای کار دیگران»، نه «بهترین برای کار شما».

چرا نمرهٔ بالای بنچمارک همیشه قابل اعتماد نیست؟

آزمون‌ها اشباع می‌شوند و خط‌کش عوض می‌شود

وقتی بیشتر مدل‌ها به سقف آزمونی برسند، آن آزمون دیگر فرقی نشان نمی‌دهد. در MMLU-Pro، نسخهٔ سخت‌تر آزمون مشهور MMLU، مدل‌های اواخر ۲۰۲۵ به حدود ۹۰ درصد رسیدند و این آزمون حالا در شاخص AA نیست. AA در ۱۳ شهریور ۱۴۰۵ آزمون GPQA Diamond را هم به دلیل اشباع کنار گذاشت. پیامدش: نمرهٔ یک مدل در دو تاریخ قابل مقایسه نیست. Claude Opus 5 (max) در مرداد ۱۴۰۵ در شاخص AA نمرهٔ ۶۳ داشت و در نسخهٔ v4.3 (۱۶ شهریور) ۵۱؛ مدل عوض نشده بود، آزمون سخت‌تر شده بود.

آزمونی که مدل از قبل دیده است

سؤال آزمون‌های عمومی ممکن است به دادهٔ آموزشی مدل راه پیدا کند. وقتی پژوهشگرانی در ۲۰۲۴ نسخه‌ای تازه از آزمون ریاضی GSM8k با سؤال‌های نو ساختند، دقت بعضی مدل‌ها تا ۸ درصد افت کرد، هرچند این افت در مدل‌های پیشرو کمتر بود. AA هم برای همین سهم آزمون‌هایی را که سؤالشان منتشر نشده به ۴۵ درصد شاخص رسانده است.

نسخه‌ای برای جدول، نسخه‌ای برای مردم

فروردین ۱۴۰۴ (آوریل ۲۰۲۵) نسخه‌ای «آزمایشی» از Llama 4 Maverick متا در Arena دوم شد. به گفتهٔ Arena، این نسخه برای پسند کاربران سفارشی شده بود و لحن و سبک جواب‌ها نقش مهمی داشت. نسخهٔ منتشرشده رتبهٔ ۳۲ گرفت و Arena قواعدش را تغییر داد. چند هفته بعد مقالهٔ The Leaderboard Illusion نشان داد شرکت‌های بزرگ پیش از عرضه نسخه‌های خصوصی متعددی را آزمایش می‌کنند و بهترین نتیجه را نگه می‌دارند (متا پیش از عرضهٔ Llama 4، بیست‌وهفت نسخه). Arena بعدها روش رتبه‌بندی‌اش را متن‌باز کرد، اما درس ماجرا این است که نسخهٔ داخل جدول لزوماً همان نسخهٔ دست شما نیست.

کدام ستون کیفیت فارسی را نشان می‌دهد؟

هیچ‌کدام. AA در صفحهٔ روش‌شناسی‌اش شاخص را مجموعه‌ای «عمدتاً متنی و انگلیسی» می‌نامد و شاخص چندزبانهٔ جداگانه‌اش ۱۶ زبان دارد، بدون فارسی. جدول متنی Arena دسته‌های زبانی انگلیسی، چینی، روسی، ژاپنی، کره‌ای و چند زبان اروپایی را دارد، اما فارسی ندارد. رتبهٔ OpenRouter هم مصرف جهانی است.

پس مدلی که در استدلال انگلیسی اول است ممکن است فارسی را ترجمه‌وار یا با نیم‌فاصلهٔ غلط بنویسد، و مدلی از میانهٔ جدول نثر روان‌تری داشته باشد. توکن‌ها هم یکسان نیستند: پژوهشی در ۲۰۲۳ نشان داد یک متن واحد در زبان‌های مختلف گاهی تا ۱۵ برابر توکن بیشتر می‌سازد؛ پس قیمت و سرعت را با متن فارسی خودتان بسنجید. گفتار فارسی هم حساب جدایی دارد، چون این جدول فقط مدل‌های متنی را می‌سنجد. برای سنجیدن نثر، نشانه‌های ترجمه‌زدگی در فارسی هوش مصنوعی چک‌لیست خوبی است.

در هوش یاب بنویسید: «برای ترجمه و نوشتن متن فارسی کدام مدل بهتر است؟» تا ابزارهای مناسب را با یک مسیر گام‌به‌گام و پرامپت آماده ببینید.

سرعت، تأخیر و پنجرهٔ زمینه را چطور بخوانیم؟

TTFT یا توکن در ثانیه؟

«سرعت» می‌گوید وقتی پاسخ راه افتاد، چند توکن در ثانیه می‌رسد؛ «تأخیر TTFT» می‌گوید چند ثانیه طول می‌کشد تا اولین تکه برسد. در مدل‌هایی که فکرشان را نشان نمی‌دهند، این انتظار عملاً زمان فکر کردن است؛ TTFT حدود ۳۴۲ ثانیه‌ای GPT-6 Astra (max) یعنی نزدیک شش دقیقه صفحهٔ خالی. در مقابل، Muse Spark 1.3 (max) پس از حدود ۲۲ ثانیه با سرعت ۲۲۳ توکن در ثانیه می‌نویسد.

عکسش هم پیش می‌آید: اگر ارائه‌دهنده فکر مدل را هم بفرستد، AA اولین توکن فکر را ملاک می‌گیرد. پس TTFT کمتر از یک ثانیهٔ DeepSeek V4.1 Flash (max) یعنی شروع سریع، نه جواب فوری؛ کل پاسخش در اندازه‌گیری AA حدود ۱۲ ثانیه است. عدد کوچک e2e زیر TTFT، هر جا آمده باشد، زمان کل پاسخ است.

در دستیار صوتی و گفتگو، چند ثانیه سکوت آزاردهنده است؛ در ایجنتی که پنجاه مرحله کار می‌کند، هر تأخیر پنجاه بار تکرار می‌شود؛ در کار دسته‌ای شبانه، سرعت تقریباً بی‌اهمیت است و هزینه حرف اول را می‌زند.

یک میلیون توکن روی کاغذ

بیشتر مدل‌های بالای جدول Context یک‌میلیونی دارند و بزرگ‌ترین عدد جدول، ده میلیون توکن، به Llama 4 Scout با شاخص AA فقط ۸ تعلق دارد. سقف ورودی با استفادهٔ درست از آن یکی نیست: گزارش Context Rot از شرکت Chroma در ۲۰۲۵ روی ۱۸ مدل نشان داد با بلندتر شدن ورودی، عملکرد حتی در کارهای ساده افت می‌کند، و در آزمون NoLiMa، در طول ۳۲ هزار توکن، ۱۱ مدل از ۱۳ مدل به زیر نصف دقتِ متن کوتاهشان رسیدند. اگر کتاب یا قراردادی بلند می‌دهید، سؤال‌هایی بپرسید که جوابشان وسط متن است.

مدل اول جدول اصلاً به دست شما می‌رسد؟

بالاترین نمره به کاری نمی‌آید اگر مدل در دسترس شما نباشد یا پرداختش ممکن نشود. ستون «در هوش یاب» چند ابزار عرضه‌کنندهٔ مدل را نشان می‌دهد و در صفحهٔ هر ابزار، بخش «مدل‌های در دسترس» می‌گوید در کدام پلن، فقط از راه API یا با پرداخت ریالی.

چند نمونه از داده‌های هوش یاب در زمان نوشتن: Claude Opus 5.5، جز در اپ Claude، از راه API GapGPT (گپ‌جی‌پی‌تی) با پرداخت ریالی هم عرضه می‌شود. GPT-6 Astra را AvalAI (اول‌ای‌آی) از راه API و GapGPT در فهرست مدل‌هایش دارد. Muse Spark 1.3 (max) در Arena هشتم است، اما اپ خود متا، Meta AI (متا ای‌آی)، طبق آخرین اعلام رسمی نسخهٔ قبلی را دارد (Muse Spark 1.1). واسط‌ها فهرستشان را زود عوض می‌کنند؛ پیش از پرداخت، در خود سرویس چک کنید.

راه کوتاه‌تر: در هوش یاب بپرسید «کجا می‌توانم از Claude Opus 5.5 استفاده کنم؟» تا ابزارهای عرضه‌کنندهٔ همین مدل را ببینید.

چطور بهترین مدل هوش مصنوعی را برای کار خودمان انتخاب کنیم؟

جدول برای کوتاه کردن فهرست است، نه برای تصمیم نهایی:

  1. کار را دقیق بنویسید. نه «نوشتن»، بلکه «بازنویسی توضیح محصول از انگلیسی به فارسی رسمی، حداکثر ۱۲۰ کلمه»، همراه با معیار موفقیت. اگر کار اصلاً کار دستیار چت نیست، نقطه‌های کور دستیارهای هوش مصنوعی را ببینید.
  2. از صفحهٔ مقایسه مدل‌ها سه چهار نامزد بردارید. تیک «فقط مدل‌های متصل به ابزارهای سایت» را بزنید، برای کار سنگین AA و برای گفتگو Arena را ببینید، هزینهٔ تسک را کنارش بگذارید و مدل دور از دسترس را خط بزنید. یک مدل ارزان هم بماند؛ گاهی همان کافی است.
  3. ده پرامپت واقعی آماده کنید. از کار خودتان، نه معما، با دو سه مورد سخت؛ همه را عیناً به همهٔ نامزدها بدهید.
  4. کور مقایسه کنید. حالت Battle در Arena دو مدل ناشناس را کنار هم می‌گذارد، اما مدل‌ها را تصادفی انتخاب می‌کند؛ برای مدل‌های مشخص، حالت Side by Side حساب کاربری می‌خواهد. گفتگوهای Arena ممکن است عمومی شود؛ دادهٔ محرمانه نفرستید. راه دیگر: جواب‌ها را از یک سرویس چندمدلی بگیرید، کسی اسم مدل‌ها را با «الف»، «ب» و «ج» عوض کند و با پرامپت زیر نمره بدهید.
  5. با هزینه و سرعت تصمیم بگیرید. اگر نمره‌ها نزدیک‌اند، ارزان‌تر و سریع‌تر برنده است. هر چند ماه آزمون را تکرار کنید؛ جدول هر هفته عوض می‌شود.

پرامپت داوری، آمادهٔ کپی:

تو داوری بی‌طرف و سخت‌گیر هستی. چند پاسخ به یک درخواست با برچسب «الف»، «ب» و «ج» می‌گیری و نمی‌دانی هرکدام را کدام مدل نوشته است.
هر پاسخ را با این معیارها از ۱ تا ۵ نمره بده و برای هر نمره یک جمله دلیل بیاور:
۱. درستی: اطلاعات غلط یا ساختگی دارد؟
۲. پاسخ به خواسته: همهٔ بخش‌های درخواست انجام شده است؟
۳. فارسی: روان و طبیعی است؟ جملهٔ ترجمه‌وار، نیم‌فاصلهٔ غلط یا واژهٔ انگلیسی بی‌دلیل دارد؟
۴. قالب و طول: همان است که خواسته‌ام؟
۵. کاربرد: بی‌تغییر برای [کار من] به کار می‌آید؟
به پاسخ بلندتر یا پرتیتر امتیاز اضافه نده و ترتیب پاسخ‌ها را در داوری دخالت نده.
در پایان جدول نمره‌ها را بده و بگو کدام بهتر است، یا بنویس «مساوی».
درخواست: [متن درخواست]
پاسخ الف: [...]
پاسخ ب: [...]
پاسخ ج: [...]

جای [کار من] را پر کنید و برای کدنویسی، معیار ۳ را با «کد اجرا می‌شود و تست‌ها را می‌گذراند؟» عوض کنید. داور هوش مصنوعی هم سوگیری دارد، از جمله به جایگاه پاسخ و به پاسخ بلندتر؛ پس ترتیب پاسخ‌ها را جابه‌جا کنید و دو بار داوری بگیرید، داور را از میان نامزدها انتخاب نکنید و چند نمره را خودتان چک کنید.

جمع‌بندی: جدول را بخوانید، داوری را خودتان بکنید

جدول بنچمارک نقشه است، نه مقصد. پیش از باور کردن «اول شد» چهار سؤال بپرسید: با کدام تنظیم؟ هزینهٔ هر کار چقدر است؟ اختلاف از حاشیهٔ خطا بزرگ‌تر است؟ به زبان فارسی و به کار من ربطی دارد؟ بعد سه نامزد از صفحهٔ مقایسه مدل‌های هوش یاب بردارید، با ده پرامپت خودتان کور بسنجید و ارزان‌ترین مدلی را انتخاب کنید که کارتان را درست انجام می‌دهد.

پرسش‌های پرتکرار

بهترین مدل هوش مصنوعی در حال حاضر کدام است؟

جواب واحدی ندارد. در داده‌های صفحهٔ مقایسه مدل‌های هوش یاب در ۱ مهر ۱۴۰۵، Claude Opus 5.5 (max with fallback) با ۵۸ بالاترین شاخص Artificial Analysis را دارد، در جدول Arena مدل Claude Fable 5 اول است و در مصرف OpenRouter مدل ارزان GLM-5.3-Flash. بهترین مدل برای شما مدلی است که در ده پرامپت واقعی خودتان، با هزینه و دسترسی قابل قبول، بهتر جواب بدهد.

امتیاز Elo در Arena یعنی چه؟

Arena رأی کاربرانی را که جواب دو مدل ناشناس را مقایسه می‌کنند، با مدل آماری Bradley–Terry به امتیازی در مقیاس Elo تبدیل می‌کند. اختلاف امتیاز یعنی احتمال ترجیح: فاصلهٔ حدود ۲۶ امتیاز یعنی مدل بالاتر فقط در حدود ۵۴ درصد مقایسه‌ها برنده است. چون هر امتیاز بازهٔ اطمینان دارد، اختلاف چند امتیازی دو مدل، به‌خصوص با رأی کم، معمولاً معنادار نیست.

شاخص Artificial Analysis چطور محاسبه می‌شود؟

Artificial Analysis Intelligence Index در نسخهٔ v4.3.2 میانگین وزنی ده آزمون در چهار دسته است: کارهای ایجنتی ۳۰ درصد، کدنویسی ۲۰ درصد، دانش و استدلال عمومی ۳۰ درصد و استدلال علمی ۲۰ درصد. آزمون‌ها عمدتاً انگلیسی‌اند و هر سطح فکر کردن مدل جداگانه سنجیده می‌شود. چون AA آزمون‌های اشباع‌شده را عوض می‌کند، نمره‌های نسخه‌های مختلف شاخص را با هم مقایسه نکنید.

کیفیت فارسی مدل‌ها را از کجا بفهمیم؟

از هیچ‌کدام از این جدول‌ها. شاخص Artificial Analysis عمدتاً انگلیسی است، شاخص چندزبانهٔ آن فارسی را ندارد و جدول Arena هم دستهٔ زبانی فارسی ندارد. تنها راه مطمئن آزمون خودتان است: ده متن واقعی فارسی را به چند مدل بدهید، جواب‌ها را بی‌نام کنید و روانی، درستی، نیم‌فاصله و ترجمه‌زدگی را نمره بدهید.

منابع