وی‌ال‌ال‌ام
vLLMمحصول پروژهٔ وی‌ال‌ال‌ام
موتور سرویس‌دهی سریع مدلهای زبانی روی سرور لینوکس با کارت گرافیک؛ یک API سازگار با OpenAI می‌سازد تا چندین کاربر و برنامه همزمان از مدل محلی استفاده کنند. رایگان و متن‌باز (Apache-2.0).
معرفی: وی‌ال‌ال‌ام
vLLM نرم‌افزاری برای «سرو کردن» مدلهای زبانی روی سرور است: مدل را یک بار روی کارت گرافیک بار میکند و برای برنامه‌ها و کاربران یک API سازگار با OpenAI (و Anthropic) باز میکند. با PagedAttention و دسته‌بندی پیوستهٔ درخواست‌ها، یک GPU همزمان به کاربران زیادی جواب می‌دهد.
مخاطبش تیم فنی شرکت‌هاست، نه کاربر عادی: رابط گرافیکی ندارد و با خط فرمان راه می‌افتد. معمولاً Open WebUI یا AnythingLLM را جلویش می‌گذارند تا کارمندان چت کنند. بیش از ۲۰۰ معماری مدل از جمله Qwen3.5، Gemma 4، gpt-oss و مدلهای بردارسازی را پشتیبانی میکند.
فقط روی لینوکس اجرا میشود (در ویندوز با WSL) و عملاً کارت گرافیک می‌خواهد: انویدیا با توان محاسباتی ۷٫۵ به بالا (از سری RTX 20 به بعد)، یا AMD و اینتل. طبق دستورالعمل رسمی، gpt-oss-20b روی یک کارت ۱۶ گیگابایتی اجرا میشود؛ Qwen3.5 9B با دقت کامل حدود ۱۸ گیگابایت فقط برای وزن‌ها می‌خواهد (تخمینی)، یعنی کارت ۲۴ گیگابایتی.
نصب: uv pip install vllm --torch-backend=auto و اجرا: vllm serve با نام مدل و --api-key. ایمیج رسمی vllm/vllm-openai روی Docker Hub است.
نکته: مدل‌ها به‌طور پیش‌فرض از Hugging Face دانلود می‌شوند؛ ModelScope یا پوشهٔ محلی جایگزین است. هر سرور vLLM در هر لحظه یک مدل را سرو میکند و کلید API فقط مسیرهای /v1 را میبندد، پس نباید مستقیم به اینترنت باز شود.
نسخهٔ 0.31.0 (۵ اکتبر ۲۰۲۶): دستور تازهٔ vllm preload یک سرویس پس‌زمینه راه می‌اندازد که وزن‌های مدل را آماده نگه می‌دارد تا سرور بعد از خاموش و روشن شدن خیلی زودتر بالا بیاید. DeepSeek-V4.1-Flash سریع‌تر اجرا میشود، MiMo V2 با فشرده‌سازی MXFP4 پشتیبانی میشود و DiffusionGemma خروجی ساختاریافته (مثل JSON) می‌دهد. پیش از به‌روزرسانی دو تغییر ناسازگار را بدانید: گزینهٔ tokenizer_mode="slow" حذف شده و فرستادن تنظیمات چندرسانه‌ای در هر درخواست حالا گزینهٔ --trust-request-mm-kwargs را لازم دارد.
بهترین کاربردها
- •روی سرور شرکت یک API مثل OpenAI با مدل محلی راه بیندازم
- •به ده‌ها کارمند همزمان از یک مدل زبانی روی GPU سرور خودمان سرویس بدهم
- •پشت Open WebUI روی سرور داخلی یک موتور مدل سریع بگذارم
- •مدل Qwen3.5 را روی سرور لینوکس با کارت گرافیک سرو کنم
- •برای جست‌وجوی معنایی اسناد شرکت API بردارسازی محلی داشته باشم
- •برنامه‌ای که با API اوپن‌ای‌آی نوشته شده را به مدل داخلی و آفلاین وصل کنم
- •بدون ارسال داده به خارج، چت‌بات پشتیبانی مشتری را روی سرور خودمان اجرا کنم
برای این کارها سراغش نروید
- –اجرای مدل روی لپتاپ برای استفادهٔ شخصی
- –کاربری که با خط فرمان لینوکس آشنا نیست
- –ساخت تصویر و ویدیو
- –سرور بدون کارت گرافیک (اجرای CPU محدود و کند است)
اجرا روی سیستم خودتان
این برنامه را روی سیستم خودتان نصب می‌کنید و هوش مصنوعی روی همان دستگاه اجرا میشود؛ متن و فایل‌هایتان از آن بیرون نمی‌رود.
- بعد از نصب، بدون اینترنت
- متن‌باز
- Apache-2.0 — استفادهٔ تجاری آزاد
- خط فرمان
- API
مدل را یک بار دانلود کنید (یا از جای دیگری بیاورید) و با مسیر پوشه سرو کنید؛ با HF_HUB_OFFLINE=1 دیگر سراغ اینترنت نمی‌رود. نصب با pip و دانلود مدل در مرحلهٔ راه‌اندازی اینترنت می‌خواهد.
آزاد برای استفادهٔ تجاری؛ مجوز هر مدلی که سرو می‌کنید جداست.
سخت‌افزار لازم
- حداقل رم: ۱۶ گیگابایت — پیشنهادی: ۶۴ گیگابایت
- کارت گرافیک لازم است — حداقل حافظهٔ کارت گرافیک: ۱۶ گیگابایت
- سرور لینوکس با Python 3.10 تا 3.13 و کارت انویدیا با توان محاسباتی ۷٫۵ یا بالاتر (یا AMD با ROCm و اینتل XPU). ۱۶ گیگابایت VRAM برای gpt-oss-20b طبق دستورالعمل رسمی؛ رم سیستم تخمینی است. اجرای CPU (لینوکس، ترجیحاً با AVX512) هم پشتیبانی میشود ولی برای سرویس‌دهی واقعی کند است.
نصب و اجرا
- ۱
محیط پایتون بسازید (لینوکس)لینوکس
uv venv --python 3.12 --seed && source .venv/bin/activateدرایور کارت گرافیک باید از قبل نصب باشد؛ در ویندوز از WSL استفاده کنید.
- ۲
vLLM را نصب کنیدلینوکس
uv pip install vllm --torch-backend=autoبا pip معمولی: pip install vllm --extra-index-url https://download.pytorch.org/whl/cu129
- ۳
مدل را سرو کنیدلینوکس
vllm serve Qwen/Qwen3.5-9B --api-key CHANGE_MEAPI روی http://localhost:8000/v1 باز میشود. برای کارت ۱۶ گیگابایتی openai/gpt-oss-20b را امتحان کنید.
- ۴
اجرای آفلاین از پوشهٔ محلیلینوکس
HF_HUB_OFFLINE=1 vllm serve /srv/models/Qwen3.5-9B --served-model-name qwen3.5-9b --api-key CHANGE_MEپوشهٔ مدل را یک بار دانلود یا منتقل کنید.
- ۵
(اختیاری) اجرا با Dockerلینوکس
docker run --gpus all --ipc=host -p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface vllm/vllm-openai:v0.31.0 --model Qwen/Qwen3.5-9B --api-key CHANGE_ME
دانلود
- PyPI: vllm ↗رسمی
نصب با pip یا uv
- Docker Hub: vllm/vllm-openai ↗رسمی
- GitHub Releases ↗رسمی
فایل‌های wheel، از جمله نسخهٔ CPU
نکات امنیتی
- پورت 8000 را به اینترنت باز نکنید؛ vLLM برای شبکهٔ داخلی و قابل‌اعتماد ساخته شده.
- --api-key فقط مسیرهای /v1 و چند مسیر دیگر را محافظت میکند؛ جلویش پراکسی با HTTPS و احراز هویت بگذارید.
- --trust-remote-code کد پایتون مخزن مدل را اجرا میکند؛ فقط برای مدلهای مطمئن روشنش کنید.
- در استقرار چندگره‌ای، ارتباط بین گره‌ها رمزنگاری نشده است؛ گره‌ها را در شبکهٔ جدا بگذارید.
- ۲۳ تا ۲۸ سپتامبر ۲۰۲۶ حدود ۱۰ هشدار امنیتی برای vLLM منتشر شد (بیشترشان از کار انداختن سرویس، به‌علاوهٔ نشت اطلاعات بین کاربران از راه کش پیشوند) که در نسخه‌های تازه رفع شده‌اند؛ از 0.30.0 یا جدیدتر استفاده کنید.
برای شرکت‌ها و سازمان‌ها
گزینهٔ اصلی برای سرور سازمانی: با دسته‌بندی پیوسته یک GPU همزمان به چندین کاربر پاسخ می‌دهد. معمولاً Open WebUI یا AnythingLLM را جلویش می‌گذارند تا کارمندان رابط چت داشته باشند و برنامه‌های داخلی هم از همان API استفاده کنند.
مدل‌هایی که با این برنامه اجرا می‌شوند
کوئن ۳.۵ (آفلاین)
جما ۴ (آفلاین)
میمو ۲.۶ (آفلاین)
جی‌پی‌تی اواس‌اس (آفلاین)
اورنیث ۱.۵ (آفلاین)
میسترال اسمال ۴ (آفلاین)
نموترون ۳.۵ لایتنینگ (آفلاین)
امبدینگ جما ۲ (آفلاین)
کوئن ۳ ای‌اس‌آر (آفلاین)
گرانیت ۴.۲ (آفلاین)
کوئن ۳ امبدینگ (آفلاین)
بی‌جی‌ای ام۳ (آفلاین)آخرین بررسی: ۱۷ مهر ۱۴۰۵
تصاویر محیط ابزار
نقاط قوت
- ✓توان پردازش بالا در بار چندکاربره با PagedAttention و دسته‌بندی پیوسته
- ✓API سازگار با OpenAI و Anthropic؛ برنامه‌های موجود بدون تغییر وصل می‌شوند
- ✓پشتیبانی از بیش از ۲۰۰ معماری: Qwen3.5، Gemma 4، gpt-oss، Mistral و مدلهای بردارسازی
- ✓انواع کوانتیزاسیون (FP8، AWQ، GPTQ، GGUF و…) و اجرای چند GPU
- ✓مجوز Apache-2.0 و پروژهٔ میزبانی‌شده در PyTorch Foundation
- ✓امکان دانلود مدل از ModelScope به‌جای Hugging Face
نقاط ضعف
- ✗سرور لینوکس با کارت گرافیک جدی لازم دارد؛ برای gpt-oss-20b دست‌کم ۱۶ گیگابایت و برای Qwen3.5 9B با دقت کامل حدود ۲۴ گیگابایت VRAM (تخمینی)
- ✗رابط گرافیکی ندارد و راه‌اندازی‌اش کار متخصص است
- ✗ویندوز را مستقیم پشتیبانی نمی‌کند (فقط WSL)
- ✗هر نمونه در هر لحظه فقط یک مدل را سرو میکند
- ✗کلید API فقط مسیرهای /v1 را میبندد؛ بدون پراکسی و فایروال امن نیست
پرسش‌های پرتکرار
vLLM را روی لپتاپ هم میشود اجرا کرد؟
برای لپتاپ ساخته نشده: فقط لینوکس (ویندوز با WSL) و عملاً کارت گرافیک لازم دارد. برای استفادهٔ شخصی Ollama یا LM Studio سادهترند. vLLM وقتی به کار میآید که چند نفر یا چند برنامه همزمان از یک مدل استفاده کنند.
چه کارت گرافیکی لازم است؟
انویدیا با توان محاسباتی ۷٫۵ یا بالاتر (T4، سری RTX 20 به بعد، A100، H100…)؛ AMD با ROCm و اینتل (Arc و Data Center) هم پشتیبانی می‌شوند. طبق دستورالعمل رسمی، gpt-oss-20b روی هر کارت ۱۶ گیگابایتی اجرا میشود.
فارسی را پشتیبانی میکند؟
vLLM خودش زبانی ندارد؛ هر زبانی که مدل بلد باشد را سرو میکند. برای فارسی یک مدل چندزبانه مثل Qwen3.5 (پشتیبانی از ۲۰۱ زبان و گویش) انتخاب کنید و خروجی را با متنهای واقعی خودتان محک بزنید.
امنیتش چطور است؟
--api-key فقط مسیرهای /v1 و چند مسیر دیگر را میبندد و بقیهٔ نقاط پایانی بدون احراز هویتاند. vLLM را در شبکهٔ داخلی نگه دارید، پشت پراکسی با HTTPS بگذارید و --trust-remote-code را فقط برای مدلهای مطمئن روشن کنید.
مجوزش برای شرکت چطور است؟
Apache-2.0 است و استفادهٔ تجاری آزاد است. مجوز خود مدلی را که سرو می‌کنید جدا بررسی کنید.
نظرات کاربران
هنوز نظری ثبت نشده — اولین نفر باشید!
ابزارهای مشابه
مشاهده همه
اولاما
Ollama
ابزار متن‌باز و رایگان برای اجرای مدلهای باز مثل Qwen3.5 و Gemma 4 روی ویندوز، مک و لینوکس: با یک دستور مدل را می‌گیرد و اجرا میکند، برنامهٔ چت دارد و API محلی روی پورت ۱۱۴۳۴ می‌دهد.
لوکال‌ای‌آی
LocalAI
جایگزین خودمیزبان API اوپن‌ای‌آی: متن، تصویر، گفتار و بردارسازی را با یک API روی سرور یا کامپیوتر خودتان اجرا میکند، حتی بدون کارت گرافیک. رایگان و متن‌باز (MIT).
لاما سی‌پی‌پی
llama.cpp
موتور متن‌باز (MIT) اجرای مدلهای GGUF که خیلی از برنامه‌های محلی رویش ساخته شده‌اند؛ llama serve یک سرور سازگار با OpenAI همراه رابط وب چت، روی هر سخت‌افزاری از لپتاپ تا سرور، راه می‌اندازد.