附录 C：当 AI 的回答成为研究数据

v1.3 · 2026-10-16

请 AI 帮你理解一段访谈，与把它给出的标签直接放进数据表，是两种不同用途。前者提供一种供你考虑的读法；后者会参与计数、比较或模型分析，分类错误也会随之进入结果。还有一些研究会请模型评分、生成实验材料、模拟回答，或直接研究模型的表现。开始之前，先说清输出在研究里做什么，才能安排合适的验证。

先明确，你准备怎样使用输出

你让 AI 做的事	输出会怎样进入研究	需要回答的问题
帮助阅读、提出另一种解释	作为研究者继续思考的材料	解释是否贴合原文，遗漏了什么，为什么采用或放弃
按规则分类、提取信息	成为数据表里的标签或变量	规则能否被一致理解，模型在实际材料中会怎样错
给文本或回答打分	分数参与排序、比较或分析	分数代表什么，是否受顺序、长短等无关因素影响
编写短文、题目或情境	成为参与者实际接触的研究材料	是否符合设计，难度与操纵是否经试做检查
扮演某类参与者作答	生成一批模拟响应	能支持哪种演练，凭什么认为它对应真实人群
接受系统测试，作为研究对象	模型行为本身成为观察结果	观察单位、运行条件和结论范围是什么

同一项目可以有多种用途，逐项说明即可。例如，AI 先帮忙起草分类规则，再按规则给文本贴标签：起草阶段需要概念讨论，正式分类还需要单独评估。

一个小例子：把“提到截止时间”写进表格

沿用质性章的六段虚构访谈。现在提出一个范围很窄的任务：标出哪些片段明确提到截止时间或临近截止，不根据焦虑、查看消息等线索推测。按这条教学规则，Q01 和 Q06 命中，其他四段不命中。

下面假设模型多标了 Q02。标签是为讲解错误而编写的，没有实际调用模型。

片段	参考标签	假设输出
Q01：截止前我会关掉群聊，否则总觉得别人比我快。	是	是
Q02：安静下来也会担心错过消息，有时又重新打开。	否	是
Q03：和熟悉的同学分工后，我倒不太在意进度排名了。	否	否
Q04：我经常问同学作业怎么做，主要想确认大家理解的是同一个任务。	否	否
Q05：别人说我依赖讨论，但独自写的时候我也能推进。	否	否
Q06：如果截止时间清楚，我会先试一版再去讨论。	是	是

模型在六段中答对五段，准确率为 5/6；但它标出的三段里，只有两段符合规则，精确率为 2/3。真正符合规则的两段都被找到了，召回率为 2/2。精确率问“找出来的有多少找对”，召回率问“该找的有多少找到了”。

这三个数字回答不同问题。如果研究者只检查模型选出的片段，本例没有漏掉命中项，但增加了一项误报；如果直接拿标签去统计提及数量，就会把两段算成三段。Q02 中“担心错过消息”并没有明确说到截止时间，模型把一个可能的背景解释当成了原话信息。

还要分清计数单位。这里是两位说话者的六个片段，不能把它们当成六名独立参与者。如果真正想比较参与者，必须另外定义如何从多个片段形成每人的指标。即使片段标签完全正确，“明确提到截止”也不等于已经测得“时间压力”这个心理构念。

这个练习检查的是一条明确分类规则。它与质性章中的解释发展各有目的：Q02 没有命中“截止时间”，仍可能对理解学习中的矛盾感受很有价值。

从这个练习走向实际分类任务

开始时，选一小批允许使用的真实任务材料，自己先读，写出标签含义、包含与排除条件以及拿不准的例子。可以请 AI 帮忙暴露规则中的模糊处：

下面是我的分类规则和几个已核对的例子。请找出可能有两种理解的地方，并编写几条容易混淆的测试句。把新编句子标明为练习材料，逐条说明它在检验哪一个边界。先不要替我扩充标签，也不要把这些句子当作真实数据。

研究者随后修改规则，必要时请熟悉材料的研究者独立判断，再讨论分歧。参考标签需要有方法依据：若人之间也无法稳定理解规则，先解决定义和材料问题，不能直接把某一次判断称为真值。主观评价任务尤其需要解释参照来自谁、分歧如何处理。

用于修改提示词的材料，和用于评估最终表现的材料要分开。否则，你可能只是把规则调到了适合眼前这些例子。若已经依据某批测试结果修改提示，就把它视为开发过程，再准备没有参与修改的新材料。测试内容应覆盖后续会遇到的语体、长度、少见类别和模糊情形；是否分别检查不同群体的错误，要结合研究问题和允许使用的数据决定。

确定评价方式时，先考虑错误后果。漏掉候选文献与多找出几篇文献的代价不同；把某类回答误判得更多，也可能扭曲后续组间比较。因此，要查看各类别的误报和漏报、未能处理的材料，以及人工修正需要多少工作。样本很少时，比例也会很不稳定。本例六段话只能讲清计算，不能估计一个产品在正式研究中的准确性。

评估结果应当导向下一步安排：继续修改规则、保留人工复核、缩小自动处理范围，或放弃当前做法。换模型、提示词、资料来源或处理方式后，也要检查原来的评价是否仍适用。没有一个适合所有研究的统一“通过分数”。

请模型评分时，检验它究竟在评什么

如果希望 AI 给开放回答的“论证质量”评分，先把标准写清楚。例如，是否明确提出主张、使用给定材料支持主张、回应相关反例；每个等级配上研究者判断过的例子。让模型同时指出支撑评分的文字，便于检查它是否真正按标准判断。

接着可以有意改变与目标无关的特征：交换两份回答的呈现顺序，或在尽量保持论证内容的前提下改变表达长短，再检查评分是否变化。改写可能同时改变信息，因此这些对照也要由人检查。若评分用于实际分析，还需在未参与调整的材料上，与合适的人类评价或其他外部依据比较。

Zheng 等（2023）在对话助手评测中观察到位置、冗长表达等因素对模型评判的影响，并研究了交换位置等做法。这为设计检查提供了具体问题；论文中的模型、任务和结果不能直接作为当前心理测量的有效性证明。原文第 3 节

生成材料、模拟回答与研究模型，分别怎样衔接

生成研究材料可以接回研究设计章：先说明构念、条件和限制，请 AI 起草多个版本，人工筛选后试做，再依据观察修改。保存采用版本及修改理由，报告材料怎样形成和验证。AI 给短文贴上“高威胁”标签，并不说明参与者真的把它读作高威胁。

模拟参与者回答可以帮助演练问卷流程、检查数据格式或设想值得追问的情况。若希望用模拟响应推断人群态度，则需要相应人群和任务的外部验证。Bisbee 等（2024）用 GPT-3.5 生成对应美国选举调查人物特征的回答，发现均值接近时，变异和回归关系仍可能与人类数据不同。这说明比较平均值不足以验证这种替代用途。原文

把模型作为研究对象时，要直接写明观察的是特定条件下的模型输出。例如，比较两种提问方式如何改变同一模型的选择，记录各次输入、上下文、输出与运行条件，并解释怎样处理重复运行。一个模型生成许多角色的回答，不会因此产生许多独立的人类参与者；观察单位和依赖关系要与所要推断的对象相符。

把做法报告到别人能够理解和检查

Feuerriegel 等（2026）的 GUIDE-LLM 清单整理了行为科学中使用大语言模型的报告事项，包括模型角色、运行方式、提示与上下文、资料处理、验证和后续加工。可以在写方法部分时按实际用途查阅。论文信息与作者清单

对前面的分类任务，一段可检查的方法说明至少应让读者知道：分类规则从哪里来；使用什么模型、版本和入口，在何时运行；给了哪些提示、例子和上下文；参考标签怎样形成；最终测试用了什么材料、发现了哪些错误；哪些输出经过人工修改，以及修改后怎样进入分析。无法取得的设置就注明不可见，不补填猜测。

写作时可以请 AI 根据已有记录起草，再逐项核对。完整提示和可共享示例可放进补充材料；受限文本及模型输出按资料权限保存和提供访问，具体处理见隐私章节。报告的目标，是让读者看清这些输出为何适合当前用途，以及结论依赖了哪些判断。