| --- |
| license: apache-2.0 |
| datasets: |
| - Vikhrmodels/GrandMaster2 |
| language: |
| - ru |
| - en |
| base_model: |
| - p-e-w/Qwen3-4B-Instruct-2507-heretic |
| --- |
| |
| # 🧙♂️ LLightPro |
|
|
| <div align="center"> |
|
|
|  |
|  |
|  |
|  |
|  |
|
|
| ### Компактная модель. Мощная логика. |
|
|
| *Высококачественная дообучка экспериментальной модели для продвинутых рассуждений на русском языке* |
|
|
| [🤗 Hugging Face](https://huggingface.co/your-username/model-name) • [📊 Dataset](https://huggingface.co/datasets/Vikhrmodels/GrandMaster2) • [🔧 Base Model](https://huggingface.co/p-e-w/Qwen3-4B-Instruct-2507-heretic) |
|
|
| </div> |
|
|
| --- |
|
|
| ## 📖 О модели |
|
|
| **LLightPro** — это специализированная дообучка экспериментальной базовой модели `p-e-w/Qwen3-4B-Instruct-2507-heretic`, оптимизированная для **русского языка** и сложных задач рассуждения, программирования и логических головоломок с использованием элитного датасета **GrandMaster2**. |
|
|
| В отличие от стандартных LoRA-дообучек, эта модель использует технологию **DoRA** (Weight-Decomposed Low-Rank Adaptation), что позволяет ей изучать тонкие нюансы рассуждений без катастрофического забывания. Обучение проводилось в чистом **bfloat16** (без квантизации) на NVIDIA RTX 4090 для максимальной точности. |
|
|
| --- |
|
|
| ## ✨ Ключевые особенности |
|
|
| | Особенность | Описание | |
| |-------------|----------| |
| | 🧠 **Продвинутая архитектура** | Построена на экспериментальной версии Qwen3 "Heretic" | |
| | 🇷🇺 **Русский язык** | Дообучена для высококачественной работы с русским языком | |
| | ⚡ **Технология DoRA** | Weight-Decomposed LoRA (r=64, alpha=128) для превосходной способности обучения | |
| | 💎 **Безкомпромиссное качество** | Обучение в нативной точности bfloat16 без квантизации | |
| | 📚 **Элитные данные** | Дообучка на оптимизированной версии Vikhrmodels/GrandMaster2 | |
| | 🎯 **Точная настройка** | Низкая скорость обучения с косинусным планировщиком для предотвращения переобучения | |
|
|
| --- |
|
|
| ## 🎯 Основные применения |
|
|
| - 💬 **Диалоговые системы** на русском языке |
| - 🧩 **Логические задачи** и головоломки |
| - 💻 **Генерация кода** с комментариями на русском |
| - 🎭 **Ролевые игры** (Role-playing) |
| - 📝 **Сложные рассуждения** и анализ |
| - 🤖 **Ассистенты** для русскоязычных пользователей |
|
|
| --- |
|
|
| ## 📊 Технические детали обучения |
|
|
| <table> |
| <tr> |
| <td width="50%"> |
|
|
| **⚙️ Оборудование и время** |
| - 🖥️ GPU: NVIDIA RTX 4090 (24GB) |
| - ⏱️ Время обучения: ~30 часов |
| - 🔢 Эпохи: 1 (для избежания переобучения) |
|
|
| </td> |
| <td width="50%"> |
|
|
| **🧬 Архитектура** |
| - 📦 Базовая модель: Qwen3-4B Heretic |
| - 🎛️ Метод: DoRA (все линейные слои) |
| - 📈 Rank: 64 / Alpha: 128 |
| - 📏 Контекст: 4096 токенов |
|
|
| </td> |
| </tr> |
| <tr> |
| <td width="50%"> |
|
|
| **🔬 Точность** |
| - 💾 Precision: bfloat16 |
| - 🚫 Без квантизации при обучении |
| - ⚡ Оптимизатор: paged_adamw_8bit |
|
|
| </td> |
| <td width="50%"> |
|
|
| **📚 Данные** |
| - 📖 Датасет: GrandMaster2 (оптимизированный) |
| - 🎯 Фокус: Русский язык + reasoning |
| - 🎲 Специализация: Role-playing |
|
|
| </td> |
| </tr> |
| </table> |
|
|
| --- |
|
|
| ## 💻 Использование |
|
|
| ### 🐍 Python (Transformers) |
|
|
| ```python |
| import torch |
| from transformers import AutoTokenizer, AutoModelForCausalLM |
| |
| # Загрузка модели |
| model_id = "AugustLight/LLightPro" |
| tokenizer = AutoTokenizer.from_pretrained(model_id) |
| model = AutoModelForCausalLM.from_pretrained( |
| model_id, |
| torch_dtype=torch.bfloat16, |
| device_map="auto" |
| ) |
| |
| # Пример использования |
| messages = [ |
| {"role": "system", "content": "Ты полезный ассистент, заточенный на помощь в ответах на вопросы на русском языке."}, |
| {"role": "user", "content": "Напиши функцию на Python для решения задачи о рюкзаке с использованием динамического программирования."} |
| ] |
| |
| text = tokenizer.apply_chat_template( |
| messages, |
| tokenize=False, |
| add_generation_prompt=True |
| ) |
| |
| inputs = tokenizer(text, return_tensors="pt").to(model.device) |
| |
| outputs = model.generate( |
| **inputs, |
| max_new_tokens=1024, |
| temperature=0.7, |
| top_p=0.9, |
| do_sample=True |
| ) |
| |
| response = tokenizer.decode(outputs[0], skip_special_tokens=True) |
| print(response) |
| ``` |
|
|
| ### 🦙 llama.cpp (GGUF) |
|
|
| ```bash |
| # Скачайте GGUF версию модели |
| # Запустите с помощью llama.cpp |
| ./main -m model.gguf -p "Ты полезный ассистент..." -n 512 |
| ``` |
|
|
| ### 📝 Рекомендуемые параметры генерации |
|
|
| ```python |
| generation_config = { |
| "max_new_tokens": 1024, |
| "temperature": 0.7, # Для творческих задач: 0.8-1.0 |
| "top_p": 0.9, |
| "top_k": 50, |
| "repetition_penalty": 1.1, |
| "do_sample": True |
| } |
| ``` |
|
|
| --- |
|
|
| ## 🎨 Примеры промптов |
|
|
| <details> |
| <summary>💬 Диалоговый ассистент</summary> |
|
|
| ```python |
| messages = [ |
| {"role": "system", "content": "Ты дружелюбный и полезный ассистент."}, |
| {"role": "user", "content": "Объясни принцип работы нейронных сетей простыми словами."} |
| ] |
| ``` |
| </details> |
|
|
| <details> |
| <summary>💻 Генерация кода</summary> |
|
|
| ```python |
| messages = [ |
| {"role": "system", "content": "Ты опытный программист Python."}, |
| {"role": "user", "content": "Создай класс для работы с двоичным деревом поиска с методами вставки и поиска."} |
| ] |
| ``` |
| </details> |
|
|
| <details> |
| <summary>🎭 Ролевая игра</summary> |
|
|
| ```python |
| messages = [ |
| {"role": "system", "content": "Ты мудрый волшебник из средневекового фэнтези мира."}, |
| {"role": "user", "content": "Расскажи мне о древнем артефакте, который я нашел."} |
| ] |
| ``` |
| </details> |
|
|
| --- |
|
|
| ## 📈 Производительность |
|
|
| - ✅ **Русский язык**: Высокое качество генерации текста |
| - ✅ **Reasoning**: Улучшенные способности к логическим рассуждениям |
| - ✅ **Coding**: Качественная генерация кода с комментариями |
| - ✅ **Role-playing**: Глубокая проработка персонажей |
| - ⚠️ **Размер**: 4B параметров — компактная и быстрая модель |
|
|
| --- |
|
|
| ## ⚠️ Ограничения |
|
|
| - 📏 Контекст ограничен 4096 токенами |
| - 🔬 Экспериментальная базовая модель может иметь непредсказуемое поведение |
| - 🌐 Оптимизирована в первую очередь для русского языка |
| - 📊 Может требовать дополнительной настройки для специфических задач |
|
|
| --- |
|
|
| ## 📜 Лицензия |
|
|
| Эта модель следует лицензированию базовой модели Qwen и датасета GrandMaster. Пожалуйста, обратитесь к оригинальным репозиториям для подробной информации о лицензиях: |
|
|
| - [Qwen License](https://huggingface.co/Qwen) |
| - [GrandMaster2 Dataset](https://huggingface.co/datasets/Vikhrmodels/GrandMaster2) |
|
|
| --- |
|
|
| ## 🙏 Благодарности |
|
|
| - **Base Model**: [p-e-w/Qwen3-4B-Instruct-2507-heretic](https://huggingface.co/p-e-w/Qwen3-4B-Instruct-2507-heretic) |
| - **Dataset**: [Vikhrmodels/GrandMaster2](https://huggingface.co/datasets/Vikhrmodels/GrandMaster2) |
| - **Training Framework**: [HuggingFace TRL](https://github.com/huggingface/trl) & [PEFT](https://github.com/huggingface/peft) |
|
|
| --- |
|
|
| ## 💜 Особая благодарность |
|
|
| Огромная благодарность **[AniworldAI](https://t.me/aniworldai)** за предоставленные вычислительные мощности для обучения этой модели! |
|
|
| Без их поддержки эта работа была бы невозможна. ❤️ |
|
|
| --- |
|
|
| <div align="center"> |
|
|
| ### Обучено с ❤️ используя TRL и PEFT |
|
|
| **Вопросы? Предложения? Создайте Issue!** |
|
|
| ⭐ Если модель вам помогла, поставьте звёздочку! |
|
|
| </div> |
