CLI-утилита для управления llama-server на базе Python, для ОС Windows 10/11. Позволяет запускать и переключать LLM, используя только конфигурационный файл (config.ini). Реализован паттерн стратегия, для выбора моделей. Эта утилита разработана в первую очередь для видеокарт AMD (RX 6600 - 6700), не поддерживающих ROCM HIP SDK
-
Updated
Apr 4, 2026 - Python