Fine-tuned local models for the self-hosted AGmind stack — the full lifecycle by hand: teacher distillation → PEFT/LoRA → GGUF quantization → llama.cpp inference on AMD (Vulkan, no CUDA). Commercial-OK licenses, fully local.
Shipped — agmind-rag-splitter-ru: a Russian context-aware RAG document splitter — semantic chunks, tables and code kept whole, lossless reconstruction. Base t-tech/T-lite-it-2.1 (Qwen3-8B); bf16 LoRA + rsLoRA, response-only loss; Cyrillic-reworked tokenizer (~1.6× fewer tokens). 100% valid JSON · boundary-F1@±1 = 0.821.
- 🤗 Model: https://huggingface.co/AGmind/agmind-rag-splitter-ru
- 🤗 Dataset: https://huggingface.co/datasets/AGmind/agmind-rag-splitter-ru-data
- 📝 Write-up (RU, Habr): https://habr.com/ru/articles/1055628/
Полное описание на русском — ниже.
Дообученные модели для self-hosted AI-стека AGmind. Каждая модель: дистилляция из сильной модели-учителя, PEFT-обучение на потребительском железе (RTX 5090 / Blackwell), квантизация в GGUF и инференс на AMD (Vulkan, без CUDA) через llama.cpp — полностью локально, лицензии commercial-OK.
Каждый проект — в своей папке, самодостаточный (данные → обучение → оценка → инференс → доки).
| Проект | Что делает | База | Ключевые цифры | Статус |
|---|---|---|---|---|
| agmind-rag-splitter-ru · 🤗 HF | Русский context-aware сплиттер документов для RAG: смысловые чанки, таблицы и код целиком, lossless-реконструкция | t-tech/T-lite-it-2.1 (Qwen3-8B) |
валидный JSON 100%, boundary-F1@±1 0.821 | ✅ обучена + развёрнута |
| следующая… | (guardian / grounded-RAG генератор и т.д.) | в планах |
- Дистилляция от учителя — сильная модель размечает задачу; без ручной разметки (жёсткие гейты валидации + дедуп + ретраи).
- PEFT — bf16 LoRA (+rsLoRA), response-only loss, на одной RTX 5090 (32 ГБ).
- Кириллические базы — токенайзеры переработаны под русский (≈в 1.6× меньше токенов, чем у ванильных).
- Деплой где угодно — merge → GGUF (Q5_K_M) →
llama.cppVulkan на AMD Strix Halo.
AGmind-ML/
├── agmind-rag-splitter-ru/ # модель 1 — см. её README
│ ├── data/ training/ eval/ inference/ docs/
└── <будущие модели>/
Подробности каждого проекта — в его README.md: постановка задачи, методология, метрики, шаги воспроизведения.