财税大模型评测，不能只看答案是否流畅

流畅的解释也可能建立在错误数字上

财务回答中的错误可能很小，却足以改变结论：取错年度、把千元读成元、把小计当作合计，或者在没有数据时补出一个看似合理的增长率。仅由人工判断文字是否“像正确答案”，很难稳定地发现这些问题。

因此，评测任务需要与实际输入绑定。模型到底看到了哪些表格，哪些答案可以从材料推出，哪些问题本来就没有足够信息，都应事先定义。否则，测试既可能惩罚合理拒答，也可能奖励偶然猜对。

FAITH 关注对给定材料的忠实性

FAITH 把金融表格中的内在幻觉转化为上下文相关的遮蔽片段恢复任务：保留表格与周边文本，遮蔽句子中的数值片段，要求模型根据已给信息恢复答案。其关键要求包括答案唯一、原始文本与上下文一致，以及答案确实可从材料推得。^[1]

这一思想适合启发内部评测集建设，但不意味着可以无检查地自动出题。原始文档本身可能存在口径变化；单位、精度和百分比也需要规范。单纯的字符串一致并不充分，而过度宽松的数值容差又可能掩盖实质性错误。

FINAUDITING 提醒我们保留结构

FINAUDITING 基于具有 US-GAAP 分类体系约束的多文档 XBRL 报告，区分语义匹配 FinSM、关系识别 FinRE 和数学推理 FinMR。它不仅检查数字，还检查概念是否正确、层级是否反转，以及维度成员组合是否符合结构约束。^[2]

对中文企业财税任务，不能直接照搬 US-GAAP 标签或沿用论文排行榜。更合适的迁移方式，是保留多维评测思想，再使用目标业务的科目、制度、凭证和文档结构建立任务与基准答案。

建立可以定位错误的评测流程

先固定测试资料版本和可用上下文，再将问题拆成取数、关系理解和计算等子任务。确定性计算使用程序复算；概念映射由专业人员审定。报告中分别呈现各环节的错误，而不是把多个维度压成一个容易误读的综合分数。

• 同时准备可回答与不可回答样本，检查缺失信息下的拒答和追问。
• 按期间、单位、企业和文档结构分层，观察长尾错误而非只看平均值。
• 保留模型版本、提示词、检索结果、工具调用和失败样本，以便复现。

从离线测试走向真实使用

离线评测通过后，仍需要检查真实输入分布、工具故障、权限和人工接管流程。材料格式、专业口径或模型版本变化，都可能使原有测试结果失效。可靠评测应持续更新，并明确每份结果适用的数据范围，而不是用一次跑分长期代替验证。