هوش مصنوعی آفلاین

یعنی مدل هوش مصنوعی روی لپ‌تاپ، کامپیوتر یا سرور خودتان اجرا می‌شود، نه روی سرور یک شرکت دیگر. بعد از یک بار دانلود بدون اینترنت کار می‌کند، متن و فایل‌هایتان از دستگاه بیرون نمی‌رود و هزینهٔ ماهانه ندارد.

یک برنامهٔ اجرا مثل Jan، Ollama یا LM Studio، و یک مدل که در حافظهٔ سیستمتان جا شود. با «چه مدلی روی سیستم من اجرا می‌شود؟» در همین صفحه، مدل و نسخهٔ مناسب را پیدا کنید و دستور اجرایش را در صفحهٔ همان مدل ببینید.

مدل باید در حافظه جا شود. لپ‌تاپ ۸ گیگابایتی مدل‌های کوچک (حدود ۲ تا ۴ میلیارد پارامتر) را اجرا می‌کند. با ۱۶ گیگ رم مدل‌های ۷ تا ۱۲ میلیاردی هم اجرا می‌شوند، ولی بدون کارت گرافیک کند. کارت گرافیک NVIDIA با ۱۶ تا ۲۴ گیگ حافظه، یا مک با ۳۲ گیگ حافظهٔ یکپارچه، مدل‌های ۲۷ تا ۳۵ میلیاردی را روان اجرا می‌کند. مدل‌های خیلی بزرگ سرور با چند کارت گرافیک می‌خواهند.

فایل نصب Ollama و بسیاری از برنامه‌ها از گیت‌هاب دانلود می‌شود و مدل‌ها از کتابخانهٔ مدل‌های Ollama یا Hugging Face. بهترین کار این است که مدل را یک بار دانلود کنید و فایلش را نگه دارید؛ بعد برای همیشه بدون اینترنت کار می‌کند. راه‌های دانلود هر مدل در صفحهٔ خودش آمده است.

همه نه. وضعیت فارسی هر مدل در صفحهٔ خودش نوشته شده و با فیلتر «فقط با فارسی» می‌توانید فقط مدل‌هایی را ببینید که فارسی را خوب یا متوسط پشتیبانی می‌کنند.

برای یک تیم کوچک، Ollama روی یک کامپیوتر با کارت گرافیک ۲۴ گیگابایتی و Open WebUI یا AnythingLLM برای رابط چت و جستجو در اسناد کافی است. برای ده‌ها کاربر هم‌زمان، vLLM روی سرور با کارت‌های گرافیک بزرگ‌تر مناسب است. همه‌چیز داخل شبکهٔ خودتان می‌ماند.