税务机关如何审计模型生成的政策答复

税务机关如何审计模型生成的政策答复

税务机关的政策答复若由模型生成，审计不能只抽查答案有没有错别字。应看每条高影响回答能否找到现行正式依据，是否问到了地区、时段与企业类型，是否保留了资格例外。模型与知识库版本、人工修改和对外发布时间要能追溯。

审计可用“旧政策压力测试”：给它已经失效的条文，询问是否照单回答；输入模糊情况，看它是否先追问。对退税、处罚、优惠资格等高风险答复，提高人工审核比例。发现错误后检查哪些用户曾看到，主动更正，不能只更新模板。

审计政策答复时，可以先做一套“刁钻但真实”的测试：同一优惠在两个地区适用条件不同；政策发布与生效日期不同；一条旧规定只对存量项目有过渡期。模型若把例外省略，即便大方向正确，也可能误导纳税人。每个测试保留官方原文和预期处理，不让模型自己给自己打分。

真实会话抽查要保护隐私。审计人员只看完成任务所需信息，公开报告用汇总结果。高风险问题若没有有效来源或事实不足，应转人工，而不是要求系统“尽量回答”。投诉和人工纠错是重要的测试材料，模型版本更新后必须重跑。

独立人员抽样复核并公布汇总结果，同时保护个人税务资料。客服人员能上报“模型经常在这类问题上猜测”，且不会因为暂停自动回复被扣绩效。审计结果进入下一轮规则和培训。

机构还应检查客服是否出现“语言很好，依据很差”的情况。阅读体验可以优化，但正式政策解释的首要要求是可追溯和及时更新。

审计人员应保留一份独立于供应商的测试题库。里面既有常见政策，也有旧条文、地方差异、过渡期和用户事实不清的问题。模型能否追问、承认不知道，与能否答对同样重要。抽查真实答复时去身份处理，发现严重错误便按影响范围更正。供应商若只给总体准确率，却不让机关回到每条依据，公共服务不应接受这种黑箱成绩单。

审计报告若发现模型在某类问题上总漏掉例外条件，应追查知识库结构和问答界面，而不仅要求它“回答更详细”。问太长可能让纳税人更难理解；正确做法是先问关键事实，再给适用的短答案与来源。人工审核比例可按风险动态调整，错误下降后再放开。

高风险答复如遇依据冲突，应暂缓自动发布。人工确认不仅检查语句，还检查适用的时间和地区。

可信答复的核心不是模型背会多少条款，而是每条建议都能回到当前有效的来源。