同一套题测四个大模型：知识库问答的小样本对比
怎么测的
知识库和检索方式不变，只换模型。题库 48 道题，其中 16 道是难题，例如问一个并不存在的设置项、贴一段日志让它读。每道题事先写好必须答到的要点和不该出现的内容，由脚本自动打分，满分 122。
结果
| 模型 | 要点得分 | 出第一个字 | 答完 |
|---|---|---|---|
| glm-5.3-flashx | 122 / 122 | 14.8 秒 | 22.1 秒 |
| deepseek-v4.1-flash | 122 / 122 | 10.1 秒 | 24.0 秒 |
| qwen3.8-max | 121 / 122 | 50.8 秒 | 88.2 秒 |
| qwen-max | 113 / 122 | 2.0 秒 | 21.6 秒 |
时间是中位数。
几点体会
- 带思考的模型出字慢，但在难题上更稳。不带思考的那个出字最快，丢的分基本都在难题上。
- 出字早不等于答完早。使用的人最在意的是多久能看到完整答案。
- 更贵的模型没有答得更好，只是更长、更慢。在这套题上，回答质量已经由知识库的内容决定了。
- 自动打分会误判。脚本报"缺要点"时要先看回答原文，有几次是规则写得太死，模型其实答对了。
局限
只有 48 道题，题目都来自我自己的知识库，每个模型只跑了一遍。结论只对这套题有效，不代表这些模型在别的任务上的表现。