三个数学任务等权平均
RESULTS / D+ 技术进阶档 · 数学实验记录
量化 9B · INT4 · D+ 技术D+ 技术。
D+ 技术。
小模型，大可能。
量化 9B，5.68 GB 的模型文件。
记录本地增强与计算工具辅助下的探索。
SHAFU / QWEN 3.5 / D+ 技术5.68 GB。
5.68 GB。
看看走到哪里。
量化 9B · GGUF Q4_K_M
本地增强与计算工具辅助
LiveBench Math · 数学任务平均80.57%
内部多轮开发记录
与部分历史公开配置，并排看。
以下为部分历史参考，非正式排名| 模型 / 配置 | 参数量 | 权重文件 | Math 分数 |
|---|---|---|---|
| SHAFU · Qwen 3.5 · D+ 技术内部多轮开发记录 | 9B量化模型 | 5.68 GBGGUF · Q4_K_M | 80.57 |
| o1 (High) | 官方未公开 | 官方未公开 | 80.32 |
| Claude 3.7 Sonnet Thinking | 官方未公开 | 官方未公开 | 79.00 |
| QwQ 32B | 32B | 65.53 GB safetensors · BF16 · 公开权重参考 | 77.82 |
| DeepSeek V3 0324 | 671B 总参数MoE · 激活 37B | 688.59 GB safetensors · FP8 mixed (F8_E4M3 + BF16 + F32) · 公开权重参考 | 73.52 |
| DeepSeek R1 Distill Llama 70B | 70B | 141.11 GB safetensors · BF16 · 公开权重参考 | 58.11 |
| mistral-large-2411 | 123B | 245.22 GB safetensors · BF16 · 公开权重参考 | 42.55 |
| Phi-4 | 14B | 29.32 GB safetensors · BF16 · 公开权重参考 | 41.98 |
公开历史数据与 SHAFU 内部多轮开发结果的运行条件不同，不代表同条件击败或官方排名。表中公开权重体积是同名模型发布文件的参考，并非历史 API 评测实际部署大小；精度与格式不同。GB 是文件体积，不等于运行内存／显存，未核实的历史版本不推算大小。
展开全部 65 项历史参考
完整保留 65 项历史数据，其中 2 项分数高于 80.57，63 项低于。分数条件不同，不构成同条件排名。
| 模型 / 配置 | 参数量 | 权重文件 | Math 分数 |
|---|---|---|---|
| Gemini 2.5 Pro Exp 03-25 | 官方未公开 | 官方未公开 | 90.20 |
| DeepSeek R1 | 671B 总参数MoE · 激活 37B | 该版本未核实 | 80.71 |
| o1 (High) | 官方未公开 | 官方未公开 | 80.32 |
| Claude 3.7 Sonnet Thinking | 官方未公开 | 官方未公开 | 79.00 |
| QwQ 32B | 32B | 65.53 GB safetensors · BF16 · 公开权重参考 | 77.82 |
| o3-mini (High) | 官方未公开 | 官方未公开 | 77.29 |
| Gemini 2.0 Flash Thinking | 官方未公开 | 官方未公开 | 75.85 |
| DeepSeek V3 0324 | 671B 总参数MoE · 激活 37B | 688.59 GB safetensors · FP8 mixed (F8_E4M3 + BF16 + F32) · 公开权重参考 | 73.52 |
| o3-mini-2025-01-31-medium | 官方未公开 | 官方未公开 | 72.37 |
| gemini-exp-1206 | 官方未公开 | 官方未公开 | 72.36 |
| gemini-2.0-pro-exp-02-05 | 官方未公开 | 官方未公开 | 70.97 |
| GPT-4.5 Preview | 官方未公开 | 官方未公开 | 69.33 |
| gemini-2.0-flash | 官方未公开 | 官方未公开 | 65.62 |
| claude-3-7-sonnet | 官方未公开 | 官方未公开 | 63.26 |
| o3-mini-2025-01-31-low | 官方未公开 | 官方未公开 | 63.06 |
| o1-mini-2024-09-12 | 官方未公开 | 官方未公开 | 61.99 |
| hunyuan-turbos-20250313 | 该版本未核实 | 该版本未核实 | 61.98 |
| deepseek-v3 | 671B 总参数MoE · 激活 37B | 该版本未核实 | 60.54 |
| gemini-2.0-flash-exp | 官方未公开 | 官方未公开 | 60.39 |
| chatgpt-4o-latest-2025-03-27 | 官方未公开 | 官方未公开 | 59.52 |
| DeepSeek R1 Distill Qwen 32B | 32B | 该版本未核实 | 59.44 |
| qwen2.5-max | 官方未公开 | 官方未公开 | 58.35 |
| qwq-32b-preview | 32B | 该版本未核实 | 58.26 |
| DeepSeek R1 Distill Llama 70B | 70B | 141.11 GB safetensors · BF16 · 公开权重参考 | 58.11 |
| gemini-2.0-flash-lite | 官方未公开 | 官方未公开 | 58.09 |
| learnlm-1.5-pro-experimental | 官方未公开 | 官方未公开 | 57.75 |
| gemini-2.0-flash-lite-preview-02-05 | 官方未公开 | 官方未公开 | 55.54 |
| perplexity-sonar-pro | 官方未公开 | 官方未公开 | 55.44 |
| Gemma 3 27B IT | 27B | 该版本未核实 | 55.39 |
| grok-2-1212 | 该版本未核实 | 该版本未核实 | 54.88 |
| dracarys2-72b-instruct | 72B | 该版本未核实 | 54.66 |
| Qwen 2.5 72B Instruct Turbo | 72B | 该版本未核实 | 54.29 |
| claude-3-5-sonnet-20241022 | 官方未公开 | 官方未公开 | 52.28 |
| gpt-4o-2024-08-06 | 官方未公开 | 官方未公开 | 49.54 |
| step-2-16k-202411 | 该版本未核实 | 该版本未核实 | 48.77 |
| chatgpt-4o-latest-2025-01-29 | 官方未公开 | 官方未公开 | 48.02 |
| Qwen 2.5 Coder 32B Instruct | 32B | 该版本未核实 | 46.61 |
| grok-beta | 该版本未核实 | 该版本未核实 | 45.84 |
| claude-3-opus-20240229 | 官方未公开 | 官方未公开 | 43.62 |
| gpt-4o-2024-11-20 | 官方未公开 | 官方未公开 | 42.87 |
| mistral-large-2411 | 123B | 245.22 GB safetensors · BF16 · 公开权重参考 | 42.55 |
| Llama 3.3 70B Instruct Turbo | 70B | 该版本未核实 | 42.24 |
| Phi-4 | 14B | 29.32 GB safetensors · BF16 · 公开权重参考 | 41.98 |
| perplexity-sonar | 该版本未核实 | 该版本未核实 | 41.63 |
| Llama 3.1 405B Instruct Turbo | 405B | 该版本未核实 | 41.07 |
| dracarys2-llama-3.1-70b-instruct | 70B | 该版本未核实 | 40.30 |
| mistral-small-2501 | 24B | 该版本未核实 | 39.89 |
| qwen2.5-7b-instruct-turbo | 7B | 该版本未核实 | 39.51 |
| mistral-small-2503 | 24B | 该版本未核实 | 39.43 |
| amazon.nova-pro-v1:0 | 官方未公开 | 官方未公开 | 38.04 |
| amazon.nova-lite-v1:0 | 官方未公开 | 官方未公开 | 36.70 |
| gpt-4o-mini-2024-07-18 | 官方未公开 | 官方未公开 | 36.31 |
| claude-3-5-haiku-20241022 | 官方未公开 | 官方未公开 | 35.54 |
| meta-llama-3.1-70b-instruct-turbo | 70B | 该版本未核实 | 34.72 |
| amazon.nova-micro-v1:0 | 官方未公开 | 官方未公开 | 34.49 |
| azerogpt | 官方未公开 | 官方未公开 | 32.85 |
| Gemma 2 27B IT | 27B | 该版本未核实 | 26.46 |
| command-r-plus-08-2024 | 104B | 该版本未核实 | 21.27 |
| gemma-2-9b-it | 9B | 该版本未核实 | 19.80 |
| command-r-08-2024 | 32B | 该版本未核实 | 19.39 |
| meta-llama-3.1-8b-instruct-turbo | 8B | 该版本未核实 | 18.31 |
| phi-3-small-8k-instruct | 7B | 该版本未核实 | 17.58 |
| phi-3-mini-128k-instruct | 3.8B | 该版本未核实 | 15.72 |
| phi-3-mini-4k-instruct | 3.8B | 该版本未核实 | 14.96 |
| olmo-2-1124-13b-instruct | 13B | 该版本未核实 | 13.64 |
＋D+＋SMALL MODEL. MORE TO EXPLORE.
同一套 232 题 · 按题平均
71.05%85.46%
Qwen 3.5 · INT4 裸模型Qwen 3.5 · INT4 · D+ 技术
+14.41个百分点每一点，继续探索。
LiveBench Math · 2024-11-25 题集
同题集历史开发记录，包含作答完成度与得分的变化。
满分单题数量，非整个基准满分
LOCAL ENHANCEMENT / TOOL-ASSISTED
这份成绩属于量化 9B · D+ 技术配置。
1.7B 轻量档不对应这些评测结果。
内部开发评测 · 多轮迭代汇总 · 非官方榜单成绩。不是一次冻结配置的独立盲测，不代表未见题目表现。
BEYOND ONE NUMBER
从一道难题，到更多可能。
试卷与精选题开发案例2024 新高考 II 卷多轮合计
150 / 150前 18 题 133 分 ＋ 第 19 题独立重测 17 分
不同运行的分数合计，非单次整卷首轮成绩；分步评分细则尚未逐项核对。
大学精选数学题单题满分
19 / 32 题精选题中的满分单题数量
内部人工评分，涵盖数学分析、线性代数等方向；不是完整试卷或整卷满分。
这些数字，是怎样计算的？
两个平均，两个口径。 85.46% 是 232 道题按题等权的平均得分；80.57% 是 olympiad、AMPS_Hard、math_comp 三个任务各自的平均分再等权平均。部分题目允许部分得分。
记录进步，也保留边界。 无最终答案按 0 分计；D+ 技术评测为工具辅助、多轮不同版本的有效结果汇总。题目曾用于开发与迭代，因此这不是冻结配置的独立消融实验，也不能直接作为基础模型单独能力或官方排名。
查看逐题评测数据 JSON ↗