大模型评测的 5 个常见误区

误区一:榜单分数等于真实体验

基准分高,只说明在出题者关心的任务上强。你的场景——写周报、读合同、改代码——未必被覆盖。

误区二:只看平均值

均值会掩盖长尾。一个在 90% 任务上平庸、10% 任务上翻车的模型,均值可能仍好看。

误区三:忽视上下文窗口与成本

能读 20 万 token 听起来很猛,但同样长度下更贵的模型未必更值。

误区四:把「会说话」当「会做事」

流畅 ≠ 正确。指令遵循、工具调用、稳定性,比文笔更影响生产力。

误区五:一次评完就放心

模型每周都在更新,今天的结论下周可能失效。把评测当成持续动作,而不是一次性盖章。