🏌️ OpenAI Parameter Golf Challenge — участие в конкурсе (16MB LLM, 10min на 8×H100)

[gHashTag]

Задача агенту: OpenAI Model Craft — Parameter Golf

Контекст

OpenAI запустил открытый челлендж Parameter Golf — создать максимально эффективную языковую модель в жёстких ограничениях:

Ограничение	Значение
Размер	модель + код ≤ 16 МБ
Обучение	≤ 10 минут на 8× H100
Метрика	качество сжатия на FineWeb (BPC/perplexity)
Дедлайн	30 апреля 2026

Лучших участников приглашают на интервью в OpenAI. Возможный приз — до $1M в GPU-кредитах через Runpod.

---

Задание

Провести исследование и подготовить submission для Parameter Golf от имени t27.

Шаг 1 — Анализ baseline-решений

• Склонировать openai/parameter-golf, изучить baseline-модели
• Зафиксировать текущий baseline BPC/perplexity на FineWeb
• Выявить, какие компоненты модели занимают больше всего места (embeddings, attention, FFN)

Шаг 2 — Стратегии оптимизации под 16 MB

Исследовать и реализовать минимум 3 из следующих подходов:

• Extreme quantization — 1-bit / 2-bit weights (BitNet, GPTQ, GGUF)
• Shared embeddings — input/output embedding tying + vocab compression
• Alternative architectures — Mamba/SSM, RWKV, Hyena (меньше attention heads = меньше размер)
• Knowledge distillation — tiny student от большого teacher
• Custom tokenizer — BPE с vocab ≤ 4096 токенов

Шаг 3 — Fit в φ-стек t27

t27 строит вычисления вокруг golden ratio (φ) и священной геометрии. Исследовать:

• φ-based weight initialization (Fibonacci scaling для слоёв)
• Нестандартные activation functions на основе φ (например φ·tanh(x/φ))
• Размерность слоёв как числа Фибоначчи: 144, 233, 377, 610 → уложиться в 16MB

Шаг 4 — Submission

• Написать обучающий скрипт (train.py или .t27) с логированием
• Добавить eval.py для замера BPC на FineWeb валидации
• Упаковать модель + код, проверить: du -sh model/ | awk '{print $1}' ≤ 16M
• Создать PR с результатами в ветку feat/parameter-golf

---

Технические требования

Языки:    Rust (core), Python (только train/eval), НЕТ .sh скриптов
Бюджет:   16 MB (model weights + tokenizer + inference code)
Время:    ≤ 10 мин на 8×H100 (≈ 80 GPU-минут)
Метрика:  FineWeb BPC — чем ниже, тем лучше

---

Критерии готовности (Definition of Done)

• Модель весит ≤ 16 MB
• Обучение укладывается в лимит по времени
• BPC ниже официального OpenAI baseline
• Код проходит CI в репозитории
• Результат задокументирован в docs/parameter-golf.md

---

Ресурсы

• openai/parameter-golf — официальный репозиторий
• FineWeb dataset — обучающие данные
• GPU гранты через Runpod — запросить через форму OpenAI (25/500/1000 кредитов)

---

Приоритет

🔴 ВЫСОКИЙ — дедлайн 30 апреля 2026

/cc @gHashTag