把 AI 引入研究,如何保留独立判断与可复现性
从定性资料编码到金融论文生成,研究效率的提升必须与独立验证、来源核实和研究过程留痕一起设计。
生成更多文字,不等于产生更多知识
模型能够迅速整理资料、生成代码和草拟解释,改变了研究工作的时间分配。但效率提升也会扩大一些熟悉的风险:选择性呈现结果、事后构造看似自然的假说,以及引用从未存在的文献。研究质量因此更依赖对过程的约束,而不只是对成稿的润色。
我们需要把几项职责分开:谁提出问题,谁定义可接受的证据,谁执行分析,以及谁检查结论是否超出了数据。若这些步骤都依赖同一份生成结果,相互核对很容易变成重复确认同一个错误。
TRISMIND RESEARCH
把生成与验证分开
- 01
先定义研究规则
问题、编码方案与分析计划
- 02
独立执行与比对
人工基线、模型输出与差异复核
- 03
保留可复现记录
材料、版本、代码与出处核实
作为次级编码者,AI 的位置更清楚
Blondeel 等人的研究讨论了在预先定义的编码方案下,让 ChatGPT 作为定性研究的次级编码者。论文摘要涉及 36 位学生的访谈材料,并与人工编码进行比较。这支持一种职责清楚的辅助方式:先有研究设计和人工基线,再让工具参与检查,而非让模型自行决定所有分析类别。[1]
本篇解读依据摘要与章节摘录,尚不足以完整复核提示词及全部编码流程。摘要中的高一致性描述,不宜推广到开放式编码、其他样本或其他模型版本。对具体研究,仍应报告分歧如何处理,以及模型是否接触了人工结果。
自动化论文生成的警示
AI-Powered (Finance) Scholarship 展示了由标准化实证材料自动生成金融论文的过程,同时明确警示了 HARKing,也就是在结果已知后再构造假说的风险。文中还指出生成内容可能包含虚构引用。它的启示不是论文越多越好,而是成稿的完整性不能替代理论与证据的独立性。[2]
因此,探索性发现与预先设定的假说检验应分别记录。文献引用需要核实作者、标题和来源;经验结果必须能够从数据和代码重新产生。模型可以帮助写作,但不应让读者误以为事后解释就是研究开始前的预测。
AI 可以帮助执行研究步骤,但研究问题、证据标准和解释责任不应被外包给生成过程。
可复现性是一套具体的记录
关于生成式 AI 金融研究可复现性的综述,把方法条件、透明度和评估设计放在重要位置。对使用 LLM 的项目,材料版本、模型标识、提示词、采样配置和运行日期都会影响结果。仅留下一个聊天截图,通常不足以支持别人理解和重做分析。[3]
- 在可公开的范围内保留数据字典、分析代码、提示词和运行环境。
- 对关键结论进行独立复算,并记录失败、修订和不符合预期的结果。
- 对不可共享数据说明访问条件与验证方式,避免用保密作为不可检查的理由。
保留人的研究责任
负责任的人机协作,不只是最后由人点一次确认。研究者需要判断问题是否有意义、材料是否合适、结论是否成立,并如实披露工具参与的环节。我们希望把 AI 用在可以检查的执行工作上,让节约出来的时间真正回到研究设计、解释和质疑之中。
参考资料
本文由 TrisMind 基于研究资料整理撰写。文献发现、技术设计讨论与产品实测结果不作等同;引用资料的作者及原始出处如下。
- [1]A practical guide to implementing ChatGPT as a secondary coder in qualitative research
Eva Blondeel, Patricia Everaert, Evelien Opdecam · IJAIS, 2025
本篇解读依据摘要及章节摘录,不涵盖完整方法附录。
- [2]AI-Powered (Finance) Scholarship
Robert Novy-Marx, Mihail Z. Velikov · NBER Working Paper 33363, 2025
NBER 工作论文;作者明确讨论了结果后构造假说与虚构引用的风险。
- [3]Generative AI in finance: Replicability, methodological contingencies, and future research directions
Hassnian Ali, Muhammad Bilal Zafar, Ahmet Faruk Aysan · Finance Research Letters 86, 2025


