ODS: запуск локальной LLM, Open WebUI и RAG одной командой

Сборка локального ИИ-сервера больше не требует ручной настройки множества контейнеров. Проект ODS (Osmantic Deployment System) автоматизирует этот процесс. Утилита сама определяет характеристики компьютера, подбирает совместимую модель и поднимает готовый стек. Вместо отдельной установки Ollama, Open WebUI, n8n и ComfyUI вы получаете рабочую среду из коробки.

Внутри разворачивается инфраструктура без привязки к облачным провайдерам. Пользователь получает ChatGPT-подобный интерфейс, инференс открытых LLM, RAG для поиска по документам и генерацию изображений. Через панель управления подключаются голосовой ввод, ИИ-агенты и автоматизация рабочих процессов. Все запросы остаются строго на вашем устройстве, платные подписки не требуются.

Система поддерживает Linux, Windows с WSL2 и macOS на чипах Apple Silicon. На Mac и Linux сервер разворачивается командой curl -fsSL https://install.osmantic.com/ods.sh | bash. После установки чат открывается на локальном порту 3000, а API работает на 11434 или 8080. Если мощной видеокарты нет, флаг --cloud переключит интерфейс на работу с внешними API.