把 AI 引入研究,如何保留独立判断与可复现性

从定性资料编码到金融论文生成,研究效率的提升必须与独立验证、来源核实和研究过程留痕一起设计。

研究索引

生成更多文字,不等于产生更多知识

模型能够迅速整理资料、生成代码和草拟解释,改变了研究工作的时间分配。但效率提升也会扩大一些熟悉的风险:选择性呈现结果、事后构造看似自然的假说,以及引用从未存在的文献。研究质量因此更依赖对过程的约束,而不只是对成稿的润色。

我们需要把几项职责分开:谁提出问题,谁定义可接受的证据,谁执行分析,以及谁检查结论是否超出了数据。若这些步骤都依赖同一份生成结果,相互核对很容易变成重复确认同一个错误。

TRISMIND RESEARCH

把生成与验证分开

  1. 01

    先定义研究规则

    问题、编码方案与分析计划

  2. 02

    独立执行与比对

    人工基线、模型输出与差异复核

  3. 03

    保留可复现记录

    材料、版本、代码与出处核实

研究方法示意。它强调独立检查,不将模型之间的相互同意等同于有效验证。

作为次级编码者,AI 的位置更清楚

Blondeel 等人的研究讨论了在预先定义的编码方案下,让 ChatGPT 作为定性研究的次级编码者。论文摘要涉及 36 位学生的访谈材料,并与人工编码进行比较。这支持一种职责清楚的辅助方式:先有研究设计和人工基线,再让工具参与检查,而非让模型自行决定所有分析类别。[1]

本篇解读依据摘要与章节摘录,尚不足以完整复核提示词及全部编码流程。摘要中的高一致性描述,不宜推广到开放式编码、其他样本或其他模型版本。对具体研究,仍应报告分歧如何处理,以及模型是否接触了人工结果。

自动化论文生成的警示

AI-Powered (Finance) Scholarship 展示了由标准化实证材料自动生成金融论文的过程,同时明确警示了 HARKing,也就是在结果已知后再构造假说的风险。文中还指出生成内容可能包含虚构引用。它的启示不是论文越多越好,而是成稿的完整性不能替代理论与证据的独立性。[2]

因此,探索性发现与预先设定的假说检验应分别记录。文献引用需要核实作者、标题和来源;经验结果必须能够从数据和代码重新产生。模型可以帮助写作,但不应让读者误以为事后解释就是研究开始前的预测。

AI 可以帮助执行研究步骤,但研究问题、证据标准和解释责任不应被外包给生成过程。

可复现性是一套具体的记录

关于生成式 AI 金融研究可复现性的综述,把方法条件、透明度和评估设计放在重要位置。对使用 LLM 的项目,材料版本、模型标识、提示词、采样配置和运行日期都会影响结果。仅留下一个聊天截图,通常不足以支持别人理解和重做分析。[3]

  • 在可公开的范围内保留数据字典、分析代码、提示词和运行环境。
  • 对关键结论进行独立复算,并记录失败、修订和不符合预期的结果。
  • 对不可共享数据说明访问条件与验证方式,避免用保密作为不可检查的理由。

保留人的研究责任

负责任的人机协作,不只是最后由人点一次确认。研究者需要判断问题是否有意义、材料是否合适、结论是否成立,并如实披露工具参与的环节。我们希望把 AI 用在可以检查的执行工作上,让节约出来的时间真正回到研究设计、解释和质疑之中。

参考资料

本文由 TrisMind 基于研究资料整理撰写。文献发现、技术设计讨论与产品实测结果不作等同;引用资料的作者及原始出处如下。

  1. [1]
    A practical guide to implementing ChatGPT as a secondary coder in qualitative research

    Eva Blondeel, Patricia Everaert, Evelien Opdecam · IJAIS, 2025

    本篇解读依据摘要及章节摘录,不涵盖完整方法附录。

  2. [2]
    AI-Powered (Finance) Scholarship

    Robert Novy-Marx, Mihail Z. Velikov · NBER Working Paper 33363, 2025

    NBER 工作论文;作者明确讨论了结果后构造假说与虚构引用的风险。

  3. [3]
    Generative AI in finance: Replicability, methodological contingencies, and future research directions

    Hassnian Ali, Muhammad Bilal Zafar, Ahmet Faruk Aysan · Finance Research Letters 86, 2025

人机协同 / 可复现性 / 研究方法全部研究
查看全部

技术解读 · 2026年10月15日

财税大模型如何理解一笔业务

阅读全文

技术解读 · 2026年10月15日

跨文档审计,让每条风险线索回到证据

阅读全文

方法笔记 · 2026年10月15日

财务智能体协作,先设计任务再增加角色

阅读全文