دیپ‌سیک ۴ فلش (آفلاین)

نسخه‌ها و سخت‌افزار لازم

• V4-Flash-0731 (284B-A13B)۲۸۴B (فعال ۱۳B)طول متن ۱٬۰۲۴ هزار توکن

  حجم دانلود:

  ۱۵۵٫۱ گیگ

  حافظهٔ لازم:

  کارت گرافیک ۱۸۷ گیگ یا رم ۱۸۹ گیگ

  deepseek-ai/DeepSeek-V4-Flash-0731 ↗

  حجم ۴ و ۸ بیتی از نسخه‌های GGUF شرکت Unsloth است (نسخهٔ ۸ بیتی بی‌افت است). وزن رسمی (FP4 و FP8) حدود ۱۶۷ گیگابایت است و برای vLLM یا SGLang چند کارت می‌خواهد، مثلاً ۴ کارت H200 یا ۸ کارت RTX PRO 6000. حداقل حافظه برآوردی است.

• V4-Flash-0731 — 3-bit GGUF (UD-IQ3_XXS)۲۸۴B (فعال ۱۳B)طول متن ۱٬۰۲۴ هزار توکن

  حافظهٔ لازم:

  کارت گرافیک ۱۲۶ گیگ یا رم ۱۲۸ گیگ

  unsloth/DeepSeek-V4-Flash-0731-GGUF ↗

  فایل حدود ۱۰۴ گیگابایت؛ Unsloth آن را برای دستگاه ۱۲۸ گیگابایتی پیشنهاد می‌کند و کمی افت کیفیت دارد. حداقل حافظه برآوردی است.

• V4.1-Flash (552B + 196B Engram)۵۵۲B (فعال ۱۶B)طول متن ۱٬۰۲۴ هزار توکن

  حافظهٔ لازم:

  کارت گرافیک ۶۱۲ گیگ یا رم ۶۱۴ گیگ

  deepseek-ai/DeepSeek-V4.1-Flash ↗

  جانشین V4-Flash (۱۰ سپتامبر ۲۰۲۶، MIT): ستون ۵۵۲ میلیاردی به‌علاوهٔ ۱۹۶ میلیارد حافظهٔ جست‌وجوی Engram (حدود ۷۶۳ میلیارد پارامتر ذخیره‌شده)، ۸ میلیارد پارامتر فعال هنگام خواندن ورودی و ۱۶ میلیارد هنگام تولید، ورودی متن و تصویر. وزن رسمی FP8/FP4 حدود ۵۱۰ گیگابایت است و اجرای مرجع ۸ کارت گرافیک مرکز داده می‌خواهد. فعلاً فقط vLLM و SGLang اجرایش می‌کنند؛ llama.cpp هنوز نه، و Ollama و LM Studio فقط نسخهٔ ابری‌اش را دارند. حافظهٔ لازم برآوردی است.

• V4-Flash-Vision-Exp (GGUF)

  حجم دانلود:

  ۱۵۵ گیگ

  حافظهٔ لازم:

  کارت گرافیک ۱۸۶ گیگ یا رم ۱۸۸ گیگ

  ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF ↗

  V4-Flash به‌علاوهٔ ماژول بینایی (۳۱ اوت ۲۰۲۶، MIT، آزمایشی)؛ در کارهای ایجنتی متنی نزدیک 0731 است. GGUF رسمی تیم llama.cpp: MXFP4 حدود ۱۵۵ گیگابایت، Q2_K حدود ۱۱۷٫۴ و Q2_K_S حدود ۹۸٫۶ گیگابایت، به‌علاوهٔ فایل تصویر mmproj (۰٫۵ تا ۰٫۹ گیگابایت). کنار 0731، راه اجرای این خانواده با llama.cpp همین است. حافظهٔ لازم برآوردی است.

نصب و اجرا

1. ۱

   ساده‌ترین راه روی دستگاه قوی: LM Studio

   lms get deepseek/deepseek-v4-flashکپی

   دانلود حدود ۱۵۶ گیگابایت است. در صفحهٔ مدل گزینهٔ Cloud هم هست که آفلاین نیست؛ نسخهٔ دانلودی را انتخاب کنید.

2. ۲

   یا llama.cpp را از گیت‌هاب بگیرید و بسازیدلینوکس

   git clone https://github.com/ggml-org/llama.cpp && cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON && cmake --build llama.cpp/build --config Release -j --target llama-cli llama-serverکپی

   بدون کارت گرافیک NVIDIA، گزینهٔ GGML_CUDA را OFF بگذارید؛ روی مک، Metal خودکار فعال است.

3. ۳

   نسخهٔ ۳ بیتی را یک بار دانلود کنید

   hf download unsloth/DeepSeek-V4-Flash-0731-GGUF --local-dir DeepSeek-V4-Flash-0731-GGUF --include "*UD-IQ3_XXS*"کپی

   حدود ۱۰۴ گیگابایت. برای کیفیت کامل به‌جای آن *UD-Q8_K_XL* (حدود ۱۶۲ گیگابایت) را بگیرید. ابزار hf با pip install -U "huggingface_hub[cli]" نصب می‌شود.

4. ۴

   مدل را به‌صورت API محلی اجرا کنیدلینوکس

   ./llama.cpp/build/bin/llama-server --model DeepSeek-V4-Flash-0731-GGUF/UD-IQ3_XXS/DeepSeek-V4-Flash-0731-UD-IQ3_XXS-00001-of-00004.gguf --ctx-size 32768 --temp 1.0 --top-p 1.0 --min-p 0.01کپی

   API سازگار با OpenAI روی پورت ۸۰۸۰ بالا می‌آید. تنظیمات دما از راهنمای Unsloth است.

5. ۵

   روی سرور چندکارته، vLLMلینوکس

   vllm serve deepseek-ai/DeepSeek-V4-Flash-0731 --trust-remote-code --kv-cache-dtype fp8 --block-size 256 --data-parallel-size 4 --enable-expert-parallel --moe-backend deep_gemm_mega_moe --attention-config '{"use_fp4_indexer_cache": true}' --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"greedy"}'کپی

   این دستور رسمی دیپ‌سیک برای یک سرور ۴ کارتهٔ GB300 است؛ برای H200 یا RTX PRO 6000 دستور مناسب را از دستورالعمل vLLM بردارید. vLLM نسخهٔ 0.25.0 یا جدیدتر لازم است.

دانلود

• Hugging Face (مخزن رسمی، نسخهٔ 0731) ↗رسمی

  وزن رسمی FP4 و FP8، حدود ۱۶۷ گیگابایت.

• ModelScope (حساب رسمی دیپ‌سیک) ↗رسمی

  همان وزن‌ها روی ModelScope؛ کارت رسمی نسخهٔ اول هم به همین حساب دیپ‌سیک لینک داده است.

• LM Studio ↗رسمی

  نسخهٔ دانلودی حدود ۱۵۶ گیگابایت؛ گزینهٔ Cloud را انتخاب نکنید.

• Unsloth GGUF ↗غیررسمی

  نسخه‌های GGUF برای llama.cpp، از ۸۳ تا ۱۶۲ گیگابایت.

• Hugging Face (DeepSeek-V4.1-Flash) ↗رسمی

  وزن رسمی FP8/FP4 حدود ۵۱۰ گیگابایت برای vLLM و SGLang؛ قالب چت Jinja همراهش نیست.

• GGUF رسمی llama.cpp برای Vision-Exp (ggml-org) ↗رسمی

  MXFP4 حدود ۱۵۵، Q2_K حدود ۱۱۷٫۴ و Q2_K_S حدود ۹۸٫۶ گیگابایت، با فایل تصویر mmproj.

نکات امنیتی

• vLLM برای این مدل گزینهٔ --trust-remote-code می‌خواهد، یعنی کد پایتون داخل مخزن اجرا می‌شود؛ فقط مخزن رسمی deepseek-ai را به کار ببرید.
• پورت API سرور (۸۰۰۰ در vLLM) را به اینترنت باز نکنید؛ آن را پشت فایروال یا VPN داخلی بگذارید و با گزینهٔ --api-key کلید تعیین کنید. همین نکته برای پورت ۸۰۸۰ llama-server هم صدق می‌کند.
• در Ollama و LM Studio گزینه‌های Cloud را انتخاب نکنید؛ در آن حالت متن شما به سرور بیرونی می‌رود.
• فایل‌های GGUF را فقط از مخزن‌های شناخته‌شده (Unsloth یا LM Studio) بگیرید و حجم فایل‌ها را با صفحهٔ مخزن مقایسه کنید.
• اگر آن را به ایجنت برنامه‌نویسی وصل می‌کنید، ایجنت را در محیط ایزوله اجرا کنید؛ ممکن است دستور خطرناک اجرا کند.
• V4.1-Flash قالب چت Jinja ندارد و پرامپت باید با encoding/encoding.py مخزن یا دستورالعمل رسمی ساخته شود. چند GGUF جامعه پیش از پشتیبانی llama.cpp ساخته شده‌اند و نسخه‌های «بدون سانسور» هم هست؛ فقط نسخه‌های رسمی دیپ‌سیک، nvidia یا antirez را بگیرید.

برای شرکت‌ها و سازمان‌ها

مناسب سرور شرکت است، نه کامپیوتر شخصی. دستورالعمل vLLM هر نسخهٔ سرویس را روی ۴ کارت H200 یا B200 (نیمی از یک سرور ۸ کارته) اجرا می‌کند و روی ۸ کارت ۹۶ گیگابایتی RTX PRO 6000 هم آزموده شده است. چنین سروری به چند ده کاربر هم‌زمان جواب می‌دهد (برآورد ما؛ عدد رسمی نیست). روی یک دستگاه ۱۲۸ گیگابایتی با نسخهٔ ۳ بیتی، فقط برای یک یا دو کاربر مناسب است.

برنامه‌هایی که این مدل را اجرا می‌کنند

• ال‌ام استودیو
• لاما سی‌پی‌پی

هم‌سطح ابری

• دیپ‌سیک