研究设计：用 AI 比较方案、准备材料和改进试做

v1.3 · 2026-10-16

作者

Hao Xie

让 AI “设计一个实验”，通常很快就能得到一份像样的方案：研究假设、自变量、因变量、实验步骤，甚至连预期结果都有。但真正准备实施时，问题才开始出现。两个条件除了目标因素还差了什么？材料中的题目究竟在测理解，还是只在测记住一个数字？同一个人做过第一遍之后，第二遍还能比较吗？

设计研究时，AI 最有用的地方，是让这些问题更早暴露。你可以请它比较几种办法，解释各自能回答什么；把材料交给它逐项试读；让它模拟程序运行，找出遗漏的步骤。之后再结合文献、实际条件和试做反馈作决定。方案是在这个过程中逐步成形的。

本章用一个完整教学案例说明怎样做：我们想了解，阅读中文短文时，背景谈话是否会影响对内容的理解。它与文献探索章的背景音乐问题相邻，但换了声音类型，需要另查谈话干扰的证据。这里的方案、短文、对话和试做反馈均为教学编写，材料尚未经真实被试试做。

先和 AI 比较几种能回答不同问题的办法

开始时，先说清你想了解什么，以及手里有什么。比起“帮我做一个严谨的实验”，下面的问法更容易得到可讨论的内容：

我想研究背景谈话是否影响中文短文理解，能够在同一个房间用同一套电脑和耳机安排个别测试。目前先准备八段不同的短文，每段附两道理解题。请比较问卷调查、每人经历两种声音条件、两组人分别经历一种条件这三种方案。先解释它们实际能回答什么，再指出最可能出现的困难。不要先替我确定样本量或写预期结果。

AI 提出的比较可以整理成这样：

方案 实际能了解什么 眼下需要想清楚的地方
调查平时怎样在嘈杂环境中阅读 使用习惯、主观困难及其关联 谁选择了什么环境，可能与任务和个人特点有关；不能据此直接判断谈话造成的影响
每人都在两种条件下阅读，但每段文章只读一次 同一批人在有无额外谈话条件下的任务表现差别 文章难度、练习和疲劳、前一条件的影响，需要在安排中考虑
两组人分别在一种条件下读相同材料 随机分配到两种条件后的组间表现差别 需要安排分配，考虑个体差异与相应的样本规划；同一人的条件变化无法直接观察

若你想了解日常使用经验，问卷是合适的起点；若想比较指定声音条件下的表现，就需要更直接地安排条件。下面选择第二种方案，继续练习怎样处理材料与顺序。

选定一个方向后，还应把它放回原问题检查：

假如有谈话时的正确率较低，这个设计能支持哪一句话？能否进一步说原因是语言加工资源受到占用？如果不能，还缺什么比较？请结合这个实验解释，不要只列术语。

有无谈话的比较可以研究指定声音安排对任务表现的影响，但还不能单独分辨影响来自可理解的语义、声音本身，还是其他条件差别。如果要专门区分这些解释，就可能需要额外的声音条件和材料控制。如何选择值得进一步区分的解释，见理论发展章。

把模糊的条件写成别人能照做的安排

“安静”和“有噪声”不足以说明实验。在本例中，先把 quiet 定义为同一房间、同样佩戴耳机，但不额外播放谈话；把 noise 定义为通过耳机播放事先选定的谈话。这样既有列表中的条件名称就有了含义。quiet 不是绝对无声，noise 也不代表所有噪声。

接着请 AI 检查两个条件的具体差别：

按下面的实验步骤，从参与者进入房间开始逐步检查。请指出：哪些信息已经足以实施，哪些仍需要我决定，哪些差别可能混进声音条件的比较。不要自行补出音量、时限或录音内容。

它应该提醒你仍要决定谈话内容、语种、说话人数、播放时段、设备和音量设置，也要考虑是否每次使用同一录音，以及文字、问题和声音怎样同时呈现。只用一段录音时，结论范围也应与这份材料相称。录音要有可用的授权，参与者需要知道如何暂停或退出；音量安排则应在合适的设备和安全条件下确认。

本例先拟定一种便于试做的方式：每段短文单独呈现，读完后隐藏，再逐题作答；两道题都答完才进入下一段。声音从短文出现持续到这一段作答结束。因此，将来如果出现差异，它对应的是这段阅读及作答过程中的声音安排，不能只归因于读文章时受到的影响。若你的问题只针对阅读阶段，就需要改变播放时段，并重新检查流程。

这种追问能使 AI 从替你“补齐一份计划”，转为帮助你看见尚未作出的决定。初稿里留有明确的待定项，比让它用看似合理的数值填满所有空格更方便继续工作。

用 AI 生成材料时，也让它解释材料为什么可能不好用

AI 可以很快起草短文和题目。比如，在豆包或 Claude 中，可以先给出用途和要求：

请起草八段日常生活题材的中文短文，每段约一百字，不要求专业知识。每段附两道四选一题，一道提取明确的信息，另一道需要结合文中情境判断。给出答案，并指出支持答案的句子。暂时不要把它们称为难度匹配或经过验证的测验。

篇幅要求只是初步约束，不是难度证明。下面是配套材料中的 S01：

注记S01：预约取书

图书馆的预约书柜每天上午九点开放，预约书会保留到通知当天的十八点。读者需要先在手机上确认，再凭借书卡开柜，未确认的预约不能开柜。小林收到了今天取书的通知，计划下午五点到馆；她已经带好借书卡，但还没有在手机上确认。

题一：预约书保留到通知当天几点？

A. 九点　B. 十二点　C. 十七点　D. 十八点

题二：按计划到馆后，小林还需要完成哪一步才能开柜？

A. 换一张借书卡　B. 在手机上确认预约　C. 等到第二天上午　D. 重新选择一本书

答案：题一 D，题二 B。

第一题主要要求记住一个明确时间；第二题需要把取书规则与小林已经完成、尚未完成的步骤联系起来。但这只是编题意图，不能凭它就宣布两题分别测量了两种独立能力。让 AI 回答并解释题目，可以检查答案能否由原文推出，却不能用它答得快不快来估计人的阅读难度。

修改材料时，问法也要比“请优化”更具体。例如，把第二题暂时写成“她怎样才能顺利取书”，不限制回答格式，会产生什么问题？有人会答“带借书卡”，有人答“先确认预约”，也有人把时间、卡和确认都写一遍。每个回答都有一定道理，评分却不容易一致。

你可以请 AI 做这件事：

为这个开放题列出几种合理回答，逐一说明它是否回答了我真正想测的内容。如果我只想检查读者是否识别了尚缺的步骤，怎样改题干更清楚？请保留文章事实，不要靠新增情节解决问题。

改成上面的“还需要完成哪一步”，并给出明确选项后，题目更容易评分。与此同时，你也作了一个取舍：它不再要求参与者自行组织完整回答。AI 可以帮助比较这些改法，题型是否符合研究目的仍需要你判断。

完整的八段短文、十六道题及答案可用于练习。这批初稿还有不少地方需要修改：篇目多为“按规则行动”，某些错误选项很容易排除，也有题目涉及时间计算。可以请 AI 找出这些差异，帮助你准备修订；再通过真实试做了解人的理解过程和题目难度。

检查实验列表：数量一样，还不够

有了八段短文，下一件事是决定谁在哪个条件下读哪段。若所有人都在安静时读 S01—S04，在谈话中读 S05—S08，正确率差异就可能同时包含文章差异。即使每种条件都是四篇，也没有解决这个问题。

既有教学文件 counterbalance.csv 提供两套列表。每位参与者只做其中一套，每段短文只出现一次：

次序 L1 短文 L1 条件 L2 短文 L2 条件
1 S01 quiet S08 quiet
2 S02 noise S07 noise
3 S03 quiet S06 quiet
4 S04 noise S05 noise
5 S05 quiet S04 quiet
6 S06 noise S03 noise
7 S07 quiet S02 quiet
8 S08 noise S01 noise

这两套列表有两个能直接核对的性质：每套都是四次 quiet、四次 noise；每篇短文跨列表会出现在两种条件下。例如，S01 在 L1 中处于 quiet，在 L2 中处于 noise。只有实际分配并完成两套列表后，文章与条件的这种安排才能体现在收集的数据里。

请 AI 检查文件时，可以要求它把判断拆开：

请分别检查每套列表的条件次数、每篇文章在两套列表中的条件、文章是否重复，以及条件与次序的关系。逐项给出依据，不要只回答“已平衡”。

最后一项很重要：两套列表都从 quiet 开始，随后交替，因此 quiet 总在奇数位置，noise 总在偶数位置。反转文章顺序并没有解除这种关系，也没有消除前一条件留下的影响。这是一份确定性的平衡教学表，不是已经控制所有顺序影响的正式方案。

进一步讨论时，可以让 AI 提出“起始条件也变化”和“在约束下随机安排顺序”等备选做法，并说明各自仍留下什么问题。不要直接接受它生成的一张新表：先确定要控制什么，再检查实现。随机分配参与者进入 L1 或 L2、随机安排一个人的试次顺序、让每篇文章跨人出现在不同条件，是三件不同的事。

练习：另一套看似平衡的 L2 有什么问题？

假设有人把 L2 改成逆序读 S08—S01，但仍规定 S01、S03、S05、S07 为 quiet，S02、S04、S06、S08 为 noise。它仍是四次对四次。问题在哪里？先自己判断，再让 AI 检查。

这样改后，每篇文章在两套列表中都属于同一个条件，文章差异没有跨条件分开。修复这一处问题，需要使每篇文章跨列表进入另一条件，而不只是反转阅读次序。原表做到了这一点；它关于奇偶位置和固定交替的限制仍然存在，不能因为修好一处就宣布整个设计无误。

程序可以帮助核对文章编号、次数和条件对应关系。程序检查通过说明文件符合这些要求，不能证明材料适合测量，也不能证明操纵有效。配套案例 B 说明保留了这一区别。

让试做反馈真正改变方案

AI 可以先模拟一遍操作，例如检查“隐藏文章后，下一页是否还能看到返回按钮”“中途暂停后，声音会不会继续播放”。这能帮助排除流程错误。让 AI 扮演被试也可以发现指令中的某些歧义，但它的回答不能代替真实参与者的理解、疲劳或反应时间。

试做记录要具体到“哪个环节发生了什么”，后续才容易修改。下面用几条假设的反馈，示范怎样继续与 AI 协作。

假设收到的反馈 可以让 AI 协助做什么 研究者需要决定什么
参与者解释说，一个题目有两个答案都合理 对照原文列出两种推理，提出不同的题干改法 选哪种改法符合要测的理解，并在新试做中检查
大多数题目不用仔细读就能排除错误选项 找出特别明显的错误选项，比较修改前后的推理要求 是否需要更贴近目标阅读任务的材料，而非只把选项写得更绕
有人直到中途才发现不能回看文章 找出指令和练习中的遗漏，改写说明 重新试做前怎样确认大家理解同一规则
耳机连接或音量设置不一致 帮助整理设备检查和异常记录步骤 怎样统一播放条件，哪些异常需按事先规则处理

可以把匿名、适合分享的反馈交给 AI，要求每条修改都对应一个实际问题，再逐条评估。不要让它顺便把整个实验改得面目全非，也不要为了得到预期方向而不断调材料。正式收集前，把最终任务、材料版本、计分和异常处理确定下来；若之后必须修改，保留修改时间、原因，以及当时是否已查看结果。

这里的试做首先是了解材料与流程能否按预想工作。小规模试做中的条件差异通常还很不稳定，不宜因为恰好出现一个差值，就把它当作正式研究的可靠预期效果。

样本量与分析：让 AI 帮你说清依据，再做计算

这一阶段很容易出现一种令人安心的回答：“建议每组三十人”“重复测量需要更少样本”。但脱离研究问题、材料和分析目标，这类数字无法告诉你研究能看清多大的差异。

可以先让 AI 帮忙整理样本规划需要的信息，而不是催它报一个数：

我准备比较有无背景谈话时的答题正确率。同一人回答多篇文章，同一篇文章也会由多人作答。请解释规划样本时需要哪些信息：我关心多小的差异、预期正确率、人与文章之间的差异、可用资源和可能缺失。把已有依据、暂时假设与尚需查找的依据分开，不要替我虚构先验数据。

样本量可以围绕希望识别的效果、估计精度或资源约束等作出有依据的说明；并不存在适用于所有研究的固定数字。Lakens（2022）的样本量论证文章提供了多种考虑方式。如果资源只能支持一定规模，就进一步检查这个规模能提供什么信息，而不是把限制改写成“足够”的证明。

在本例中，八段文章主要用于说明列表安排，不是对正式研究材料数量的推荐。同一个人答出的十六个答案，也不能简单当成十六个互不相关的参与者。可以先请 AI 用普通语言画出或解释“参与者—文章—题目”的关系，再讨论分析怎样考虑重复观测。正确率接近上限、文章很少或题目彼此提示时，增加人数也未必解决所有问题。

如果进一步用模拟规划研究，应先写清数据如何生成、效果与变异从哪里来、采用什么分析，再实际运行，比较不同人数或材料数量下的结果。AI 可以协助写代码与解释图，但未经运行的输出不能称为功效结果；换一组合理假设，结论也可能变化。关于如何检查代码、模型和输出，见数据分析章。

把讨论收成一份能继续工作的方案

经过这些往返，对话应当留下比最初更明确的研究安排。可以请 AI 根据你已经作出的决定整理一页说明，并明确保留待定项。本例目前可以写成这样：

要回答的问题： 在规定的阅读及作答过程中，加入指定背景谈话，相对不额外播放谈话，是否改变中文短文题目的作答表现？

初步任务： 每人阅读八段不同短文，每段之后回答两道选择题；文章在作答时隐藏。同一个人经历两种声音条件，每段只读一次。用答案正确与否记录表现；如另收主观感受，单独报告。

目前已有： 八段未验证的材料候选，以及两套可演示文章跨条件安排的列表。材料、答案和对应编号可以逐项检查。

正式试做前还要完成： 选定并检查声音材料与播放设置，解决条件顺序和列表分配，说明时限、缺失与异常处理，检查题目难度及任务是否符合目标，并完成所需的参与者保护安排。根据拟用分析、证据与资源论证人数和材料数量。

沿着“正式试做前还要完成”的几项工作继续，就能把这份初步说明逐项补齐。你知道哪些内容已有依据，哪些只是在纸面上成立，哪些必须让人实际试过才知道。AI 帮你加快比较、起草和检查；每一次提问之后，你也更清楚自己正在比较什么，以及这个比较为什么值得做。

将采用的方案、当前材料和待解决的问题放在一起，下一次就能从试做或修改开始。以后若改了题型、条件或播放时段，也要回查测量说明、实验列表和分析计划中哪些内容受影响。这种跨环节更新将在项目连续性章展开。

本章来源与材料

核查日期：2026-10-14。具体核查范围见来源说明。