KakTakOne commited on
Commit
354e0d3
·
verified ·
1 Parent(s): 46c2621

Upload folder using huggingface_hub

Browse files
.gitattributes CHANGED
@@ -33,3 +33,7 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
 
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ VibeThinker-3B-f16.gguf filter=lfs diff=lfs merge=lfs -text
37
+ VibeThinker-3B-Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text
38
+ VibeThinker-3B-Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text
39
+ VibeThinker-3B-Q8_0.gguf filter=lfs diff=lfs merge=lfs -text
README.md ADDED
@@ -0,0 +1,137 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ language:
4
+ - en
5
+ - ru
6
+ base_model: WeiboAI/VibeThinker-3B
7
+ tags:
8
+ - math
9
+ - code
10
+ - reasoning
11
+ - gpqa
12
+ - instruction-following
13
+ - gguf
14
+ - llama.cpp
15
+ pipeline_tag: text-generation
16
+ ---
17
+
18
+ # KakTakOne/VibeThinker-3B-GGUF
19
+
20
+ This repository contains GGUF format model files for [WeiboAI/VibeThinker-3B](https://huggingface.co/WeiboAI/VibeThinker-3B).
21
+
22
+ VibeThinker-3B is a 3-billion-parameter dense reasoning model designed for verifiable reasoning tasks like mathematics, competitive programming, and STEM.
23
+
24
+ ## Available Quantizations
25
+
26
+ | File | Quantization | Size | Description |
27
+ | --- | --- | --- | --- |
28
+ | **[VibeThinker-3B-f16.gguf](https://huggingface.co/KakTakOne/VibeThinker-3B-GGUF/blob/main/VibeThinker-3B-f16.gguf)** | FP16 | 6.18 GB | Original precision, best quality. |
29
+ | **[VibeThinker-3B-Q8_0.gguf](https://huggingface.co/KakTakOne/VibeThinker-3B-GGUF/blob/main/VibeThinker-3B-Q8_0.gguf)** | Q8_0 | 3.29 GB | High quality, recommended for resource-rich environments. |
30
+ | **[VibeThinker-3B-Q5_K_M.gguf](https://huggingface.co/KakTakOne/VibeThinker-3B-GGUF/blob/main/VibeThinker-3B-Q5_K_M.gguf)** | Q5_K_M | 2.22 GB | Good balance between size and quality. |
31
+ | **[VibeThinker-3B-Q4_K_M.gguf](https://huggingface.co/KakTakOne/VibeThinker-3B-GGUF/blob/main/VibeThinker-3B-Q4_K_M.gguf)** | Q4_K_M | 1.93 GB | Fastest, lightweight (most popular for daily use). |
32
+
33
+ ---
34
+
35
+ ## Introduction
36
+
37
+ VibeThinker-3B is a further exploration of the VibeThinker series at the 3B-parameter scale, focusing on challenging reasoning tasks with clear verification signals, such as mathematics, coding, and STEM. By systematically optimizing the Spectrum-to-Signal Principle (SSP) post-training pipeline introduced in VibeThinker-1.5B, VibeThinker-3B achieves strong performance on AIME, HMMT, IMO-AnswerBench, LiveCodeBench, and recent LeetCode contests, reaching the performance range of top-tier frontier reasoning models, including Qwen3.6 Plus, Gemini 3 Pro, GLM-5, and Kimi K2.5, on verifiable reasoning benchmarks.
38
+
39
+ ## Key Performance Data
40
+
41
+ * 📏 In terms of reasoning accuracy relative to model scale, VibeThinker-3B reaches **76.4** on IMO-AnswerBench, a highly challenging benchmark with 400 IMO-level problems, with only 3B parameters, and improves to **80.6** with Claim-Level Reliability Assessment (CLR), a test-time scaling strategy. This demonstrates that a model within a strictly small-model regime can reach the performance range of substantially larger models, such as DeepSeek V3.2 (78.3, 671B), GLM-5 (82.5, 744B), and Kimi K2.5 (81.8, 1T).
42
+ * 🏆 To further test the model's out-of-distribution performance, it was evaluated on recent unseen LeetCode weekly and biweekly contests (Python) from Apr. 25 to May 31, 2026. VibeThinker-3B passes **123/128** first-attempt submissions, corresponding to a **96.1%** acceptance rate.
43
+
44
+ ## Training Pipeline
45
+
46
+ VibeThinker-3B follows the **Spectrum-to-Signal Principle (SSP)**. The SFT stage constructs a broad spectrum of valid reasoning trajectories, while the RL stage amplifies correct reasoning signals using verifiable rewards:
47
+
48
+ 1. **Curriculum-based two-stage SFT** (Stage 1: broad capability coverage, Stage 2: harder/longer samples).
49
+ 2. **Multi-domain Reasoning RL** using MaxEnt-Guided Policy Optimization (MGPO) with a 64K context window.
50
+ 3. **Offline Self-Distillation** using a learning-potential score to distill high-quality trajectories back into a student model.
51
+ 4. **Instruct RL** to improve format controllability on user-facing prompts.
52
+
53
+ ---
54
+
55
+ ## How to use
56
+
57
+ You can load these GGUF files in **LM Studio**, **Ollama**, **llama.cpp**, or any other GGUF-compatible inference engine.
58
+
59
+ ### LM Studio
60
+ Search for `KakTakOne/VibeThinker-3B-GGUF` directly in LM Studio search bar and download the desired quantization.
61
+
62
+ ### CLI (llama.cpp)
63
+ ```bash
64
+ llama-cli -m VibeThinker-3B-Q4_K_M.gguf -p "2+2=" -n 128
65
+ ```
66
+
67
+ ## Citations & References
68
+
69
+ ```bibtex
70
+ @misc{xu2026vibethinker3bexploringfrontierverifiable,
71
+ title={VibeThinker-3B: Exploring the Frontier of Verifiable Reasoning in Small Language Models},
72
+ author={Sen Xu and Shixi Liu and Wei Wang and Jixin Min and Yingwei Dai and Zhibin Yin and Yirong Chen and Xin Zhou and Junlin Zhang},
73
+ year={2026},
74
+ eprint={2606.16140},
75
+ archivePrefix={arXiv},
76
+ primaryClass={cs.AI},
77
+ url={https://arxiv.org/abs/2606.16140},
78
+ }
79
+ ```
80
+
81
+ ---
82
+
83
+ <details>
84
+ <summary><b>Читать описание на русском языке (Russian Description)</b></summary>
85
+
86
+ # KakTakOne/VibeThinker-3B-GGUF
87
+
88
+ В этом репозитории содержатся файлы моделей в формате GGUF для [WeiboAI/VibeThinker-3B](https://huggingface.co/WeiboAI/VibeThinker-3B).
89
+
90
+ VibeThinker-3B — это модель рассуждений (reasoning model) с 3 миллиардами параметров, сфокусированная на сложных задачах рассуждения с проверяемыми результатами, таких как математика, программирование и STEM.
91
+
92
+ ## Доступные кванты
93
+
94
+ | Файл | Квантование | Размер | Описание |
95
+ | --- | --- | --- | --- |
96
+ | **[VibeThinker-3B-f16.gguf](https://huggingface.co/KakTakOne/VibeThinker-3B-GGUF/blob/main/VibeThinker-3B-f16.gguf)** | FP16 | 6.18 ГБ | Исходная точность, максимальное качество. |
97
+ | **[VibeThinker-3B-Q8_0.gguf](https://huggingface.co/KakTakOne/VibeThinker-3B-GGUF/blob/main/VibeThinker-3B-Q8_0.gguf)** | Q8_0 | 3.29 ГБ | Высокое качество, рекомендуется для мощных ПК. |
98
+ | **[VibeThinker-3B-Q5_K_M.gguf](https://huggingface.co/KakTakOne/VibeThinker-3B-GGUF/blob/main/VibeThinker-3B-Q5_K_M.gguf)** | Q5_K_M | 2.22 ГБ | Отличный баланс между размером и качеством. |
99
+ | **[VibeThinker-3B-Q4_K_M.gguf](https://huggingface.co/KakTakOne/VibeThinker-3B-GGUF/blob/main/VibeThinker-3B-Q4_K_M.gguf)** | Q4_K_M | 1.93 ГБ | Самый быстрый и легкий квант (наиболее популярный для повседневного использования). |
100
+
101
+ ---
102
+
103
+ ## Введение
104
+
105
+ VibeThinker-3B продолжает развитие серии моделей рассуждения VibeThinker на масштабе 3 миллиардов параметров. Благодаря оптимизации пайплайна обучения Spectrum-to-Signal Principle (SSP), модель демонстрирует выдающиеся результаты на бенчмарках AIME, HMMT, IMO-AnswerBench, LiveCodeBench и недавних контестах LeetCode, приближаясь по качеству к флагманским коммерческим моделям рассуждения вроде Qwen3.6 Plus, Gemini 3 Pro, GLM-5 и Kimi K2.5.
106
+
107
+ ## Ключевые показатели производительности
108
+
109
+ * 📏 Модель набирает **76.4** на сложном бенчмарке IMO-AnswerBench (400 олимпиадных задач уровня IMO) с использованием всего 3 млрд параметров, и улучшает результат до **80.6** с применением CLR (Claim-Level Reliability Assessment) на этапе инференса. Это сопоставимо с показателями гораздо более крупных моделей, таких как DeepSeek V3.2 (78.3, 671B), GLM-5 (82.5, 744B) и Kimi K2.5 (81.8, 1T).
110
+ * 🏆 На еженедельных и двухнедельных соревнованиях LeetCode (Python) за период с 25 апреля по 31 мая 2026 года модель успешно прошла **123 из 128** тестов с первой попытки (доля успешных решений составляет **96.1%**).
111
+
112
+ ## Пайплайн обучения
113
+
114
+ Обучение VibeThinker-3B основано на методологии **Spectrum-to-Signal Principle (SSP)**:
115
+ 1. **Curriculum SFT в два этапа**: сначала общая кодовая и математическая база, затем сложные рассуждения с длинным контекстом.
116
+ 2. **Multi-domain RL** с алгоритмом MaxEnt-Guided Policy Optimization (MGPO) в окне контекста 64K.
117
+ 3. **Офлайн дистилляция на себя (Self-Distillation)** для отбора лучших траекторий рассуждений.
118
+ 4. **Instruct RL** для улучшения управляемости и форматирования ответов под пользователя.
119
+
120
+ ---
121
+
122
+ ## Как использовать
123
+
124
+ Эти файлы GGUF можно запускать в **LM Studio**, **Ollama**, **llama.cpp** и других совместимых клиентах.
125
+
126
+ ### LM Studio
127
+ Просто вбей в строку поиска `KakTakOne/VibeThinker-3B-GGUF` и скачай нужный квант.
128
+
129
+ ### Запуск через консоль (llama.cpp)
130
+ ```bash
131
+ llama-cli -m VibeThinker-3B-Q4_K_M.gguf -p "2+2=" -n 128
132
+ ```
133
+
134
+ </details>
135
+
136
+ ---
137
+ *Quantized by [KakTakOne](https://huggingface.co/KakTakOne) using `llama-quantize`.*
VibeThinker-3B-Q4_K_M.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9782b918cc220fb81d59e21be3e45c3ae027e5d86fb56ce7c6d537a347c80d79
3
+ size 1929902784
VibeThinker-3B-Q5_K_M.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:bab12e99c894e26a1d780b578068ffa068fd78dc12d289462b60ef96f94ae4c3
3
+ size 2224814784
VibeThinker-3B-Q8_0.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fe2a4be8c268cb56e3e4fb62b3e7bd4569015428dde33b9dcb2015c6ccaf0ffd
3
+ size 3285476032
VibeThinker-3B-f16.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:da3f4915a20150686489b88757ab1f2186fbe6dedd012aba58aa8bce8eda2c95
3
+ size 6178316992