میسترال اسمال ۴ (آفلاین)

نسخه‌ها و سخت‌افزار لازم

• 119B-A6.5B۱۱۹B (فعال ۶٫۵B)طول متن ۲۵۶ هزار توکن

  حجم دانلود:

  ۷۲٫۲ گیگ

  حافظهٔ لازم:

  کارت گرافیک ۸۷ گیگ یا رم ۸۹ گیگ

  mistralai/Mistral-Small-4-119B-2603 ↗

  حجم ۴ بیتی از نسخهٔ GGUF در LM Studio است (به‌علاوهٔ فایل ۰٫۹ گیگابایتی برای خواندن عکس)؛ حداقل حافظه برآوردی است. وزن رسمی FP8 حدود ۱۲۱ گیگابایت است و برای vLLM دو کارت H200 یا B200 می‌خواهد. LM Studio خودش حداقل ۶۵ گیگابایت حافظه را اعلام کرده است.

• 119B NVFP4۱۱۹B (فعال ۶٫۵B)طول متن ۲۵۶ هزار توکن

  حجم دانلود:

  ۷۰٫۸ گیگ

  حافظهٔ لازم:

  کارت گرافیک ۸۵ گیگ یا رم ۸۷ گیگ

  mistralai/Mistral-Small-4-119B-2603-NVFP4 ↗

  نسخهٔ ۴ بیتی رسمی میسترال فقط برای کارت‌های NVIDIA نسل Blackwell (مثل B200)؛ طبق دستورالعمل vLLM روی یک B200 با متن کوتاه‌تر و روی دو B200 با کل ۲۵۶ هزار توکن اجرا می‌شود. حداقل حافظه برآوردی است.

نصب و اجرا

1. ۱

   روی دستگاه ۱۲۸ گیگابایتی: مدل را در LM Studio بگیرید

   lms get mistralai/mistral-small-4کپی

   اول برنامهٔ LM Studio را از lmstudio.ai نصب کنید. نسخهٔ ۴ بیتی حدود ۷۲ گیگابایت است.

2. ۲

   روی سرور لینوکس، vLLM را نصب کنیدلینوکس

   uv pip install -U vllmکپی

   vLLM نسخهٔ 0.20.0 یا جدیدتر لازم است؛ این دستور mistral_common را هم نصب می‌کند.

3. ۳

   وزن‌ها را یک بار دانلود کنیدلینوکس

   hf download mistralai/Mistral-Small-4-119B-2603کپی

   ابزار hf با pip install -U "huggingface_hub[cli]" نصب می‌شود. حجم کل حدود ۲۴۲ گیگابایت است. برای سرور بدون اینترنت، پوشهٔ کش هاگینگ‌فیس را کپی کنید و HF_HUB_OFFLINE=1 بگذارید.

4. ۴

   سرویس را روی دو کارت بالا بیاوریدلینوکس

   vllm serve mistralai/Mistral-Small-4-119B-2603 --max-model-len 262144 --tensor-parallel-size 2 --tool-call-parser mistral --enable-auto-tool-choice --reasoning-parser mistral --max-num-batched-tokens 16384 --max-num-seqs 128 --gpu-memory-utilization 0.8کپی

   دستور رسمی vLLM برای ۲ کارت H200 یا B200؛ یک API سازگار با OpenAI روی پورت ۸۰۰۰ می‌دهد.

5. ۵

   برای کارت‌های Blackwell، نسخهٔ NVFP4 سبک‌تر استلینوکس

   vllm serve mistralai/Mistral-Small-4-119B-2603-NVFP4 --max-model-len 262144 --tensor-parallel-size 2 --tool-call-parser mistral --enable-auto-tool-choice --reasoning-parser mistral --max-num-batched-tokens 16384 --max-num-seqs 128 --gpu-memory-utilization 0.8کپی

   روی یک B200 هم اجرا می‌شود، اما برای کل ۲۵۶ هزار توکن دو کارت لازم است.

دانلود

• Hugging Face (مخزن رسمی میسترال) ↗رسمی

  وزن رسمی FP8؛ هر قالب حدود ۱۲۱ گیگابایت، کل مخزن حدود ۲۴۲ گیگابایت.

• Hugging Face — NVFP4 ↗رسمی

  نسخهٔ ۴ بیتی رسمی برای کارت‌های Blackwell؛ حدود ۷۱ گیگابایت.

• LM Studio ↗رسمی

  نسخهٔ GGUF برای کامپیوتر و مک؛ کارت رسمی مدل به آن لینک داده است.

• Unsloth GGUF ↗غیررسمی

  کوانت‌های جامعه برای llama.cpp، از ۳۲ تا ۲۳۸ گیگابایت؛ کارت رسمی به آن لینک داده است.

نکات امنیتی

• پورت API سرور (۸۰۰۰ در vLLM) را به اینترنت باز نکنید؛ آن را پشت فایروال یا VPN داخلی بگذارید و با گزینهٔ --api-key کلید تعیین کنید.
• وزن‌ها را فقط از مخزن رسمی سازنده یا کتابخانه‌های شناخته‌شده (Ollama، LM Studio) بگیرید؛ قالب safetensors و GGUF کد اجرایی ندارند.
• اگر مدل را به ابزار یا ایجنت وصل می‌کنید، دسترسی‌هایش را محدود کنید؛ مدل ممکن است ابزار را اشتباه صدا بزند.
• ایمیج داکر vLLM را فقط از داکرهاب یا میرورهای نام‌برده بگیرید و digest آن را با صفحهٔ رسمی مقایسه کنید.

برای شرکت‌ها و سازمان‌ها

برای سرور شرکت: میسترال حداقل ۴ کارت H100، ۲ کارت H200 یا یک DGX B200 را اعلام کرده و دستورالعمل vLLM روی ۲ کارت H200 یا B200 با سقف ۱۲۸ درخواست هم‌زمان تنظیم شده است. چون فقط حدود ۶٫۵ میلیارد پارامتر در هر توکن فعال است، چنین سروری می‌تواند به چند ده کاربر هم‌زمان جواب بدهد (برآورد ما؛ عدد رسمی نیست). یک مک یا کامپیوتر ۱۲۸ گیگابایتی با نسخهٔ ۴ بیتی فقط برای یک یا دو کاربر مناسب است.

برنامه‌هایی که این مدل را اجرا می‌کنند

• ال‌ام استودیو
• لاما سی‌پی‌پی
• وی‌ال‌ال‌ام
• لوکال‌ای‌آی