主题
主观测试的方法学：方法族、观察者与统计
"我觉得这块屏更好"是一句个人印象；"在给定条件下，18 位有效观察者中 15 位偏好 B"才是一条结论。两者之间的差距，全部来自方法学。
本页按三段式走：先分清有哪些方法族（概念）→ 再按"选方法族 → 筛观察者 → 做统计"落地（会用）→ 最后弄清主观分数的几条统计机制（原理）。
一次评估的完整流程（七步、观察顺序、内容库与评分方式）见 PQ 主观评测细则； 主观与客观的分工见 感知度量与客观指标； 结论怎么写才可复核见 判据与验收； 阈值类结果（刚可察觉）见 感知度量与客观指标 第三节。
一、概念：为什么主观结果也需要方法学
主观测试的对象是人的判断，而判断同时受三件事影响：呈现方式、观察者、汇总方式。方法学就是把这三种影响要么固定、要么测量出来。
| 影响来源 | 不控制会怎样 | 方法学怎么处理 |
|---|---|---|
| 呈现方式 | 先看的更"顺眼"、旁边的更"好看"（顺序与相邻效应） | 固定呈现规则、随机化顺序、必要时交换位置复看 |
| 观察者 | 少数人的偏好被当成普遍结论 | 筛选与训练、规定有效人数、多人独立评价 |
| 汇总方式 | 分歧被平均掉，"平均分"掩盖了两极看法 | 报告离散度与分歧条目，而不是只报均值 |
| 尺度定义 | 同一句话（"能接受"）各人理解不同 | 先定义每一档的锚点，再开始评 |
⚠️ 一条底线：没有条件、没有人数、没有尺度定义的"主观结论"，只能算个人印象 —— 它不能进验收、也不能与他人数据比较。
二、概念：方法族 —— 先问"要回答什么问题"，再选方法
"主观测试"不是一个方法，而是一族方法。方法族由"要回答的问题"决定，选错方法族，数据再整齐也答不了题。
| 方法族 | 呈现方式 | 能回答什么 | 典型用途 | 代价 |
|---|---|---|---|---|
| 单刺激（每次只呈现一个） | 逐个呈现被评对象 | 绝对印象（好不好、可接受度） | 摸底、多个候选的初筛 | 受尺度使用习惯影响大，跨人可比性差 |
| 带参照 / 双刺激（成对呈现） | 参照与待评先后或并列呈现 | 与参照的差异、A 与 B 哪个好 | 校准前后、模式对比 | 需要参照，耗时长 |
| 成对比较（两两组合） | 每次只呈现一对 | 相对偏好与排序 | 候选较少、差异细微时 | 组合数随对象增加（n 个对象需 n(n−1)/2 对） |
| 排序 / 分类 | 多个对象一次性排列或分组 | 相对次序、分档 | 大批量快速筛选 | 只给次序，不给差距大小 |
| 阈值类（阶梯逼近等） | 按回答调整刺激量 | 门槛（刚可察觉的点） | 定 JND、定最小可辨差异 | 需要多次逼近，单次测试时长高 |
| 重复呈现（同条件重测） | 同一对象反复出现 | 观察者自身的一致性 | 检验数据可信度 | 增加时长，且会引入学习效应 |
✅ 一句话选法：问"能不能接受"用单刺激 + 定义好的尺度；问"哪个更好"用成对比较； 问"差多少才看得见"用阈值类。不要用排序结果去说"更好多少"。
三、会用（一）：定一个方法族的四步
① 定问题形态：绝对印象 / 相对偏好 / 阈值 —— 决定方法族（见第二节）
② 定呈现与顺序：单刺激还是成对、是否给参照、顺序如何随机、是否交换位置复看
③ 定尺度：分几档、每档的锚点是什么、是否允许"看不出差别"
④ 定人数与筛选口径：按所选方法族的人数门槛，并写清筛选与剔除规则⚠️ 顺序上的一条纪律：先写下来再开始。测完再补"我们是怎么评的"， 通常会把实际做法写成理想做法 —— 这类记录没法复核。
四、会用（二）：观察者 —— 谁来评、几个人
两件事要分开：谁来评（筛选） 与 要几个人（人数）。
筛选要点：
| 项 | 做法 | 为什么 |
|---|---|---|
| 视觉能力 | 检验（含矫正后）视力与色觉，记录是否达标 | 色觉异常会系统性改变色差判断 |
| 是否专业 | 明确区分"有经验的观察者"与"普通观察者" | 两类人对同一现象的敏感度与用词都不同（见原理（三）） |
| 是否训练 | 若用专家，明确是否做过尺度训练与预测试 | 未训练的观察者会混用尺度 |
| 是否参与过同类测试 | 记录 | 学习效应会让第二次判断更"挑剔" |
| 剔除规则 | 先定规则（如未通过筛选、回答明显自相矛盾），再剔除并说明 | 事后挑数据等于改结论 |
人数：
- 人数门槛由所选方法族规定（常见在十几人到二十几人的范围），并应报告筛选后有效的观察者数；
- 早期筛选阶段的探索性观察可以少于门槛，但结论只能写成"提示性"；
- 人数不是越多越好：同一批人做多次重复与更多人各做一次回答的是两个不同的问题（自身一致性 vs 群体共识）。
⚠️ 不要把"内部几个人看一眼"写成"主观评估" —— 它可以是有效的摸底动作， 但必须标注为"非正式观察"，不能与正式方法族的数据混在同一张表里。
五、会用（三）：把评分变成结论 —— 统计口径
| 汇总量 | 适用尺度 | 注意 |
|---|---|---|
| 均值 + 离散度（标准差 / 范围 / 置信区间） | 连续或近似连续尺度 | 只报均值是最常见的漏项（见第八节） |
| 中位数与四分位 | 有序尺度（等级分） | 等级分的间距未必等距，均值未必有意义 |
| 偏好比例（多少比例选 B） | 成对比较 | 要说明是否显著偏离"五五开" |
| 阈值（某比例观察者刚好可察觉的量） | 阈值类 | 必须写"比例"与逼近方式，否则门槛无法复现 |
三条纪律：
① 结论里必须出现"分母"：几人参与、其中几人有效、几条有效判断
② 差异是否真实：先与观察者自身的重复波动比较，再谈"条件带来的差异"
③ 分歧不当噪音：分歧条目单独列出，并记录各自的理由 —— 分歧常落在感知阈值附近，
本身就是最有价值的信息离群观察者怎么处理：
先问"是不是尺度使用不同"：有人整体打低分、有人只用中间几档 —— 这是尺度习惯，不是
判断错误 → 可做尺度归一化（转成排序或标准化后再汇总）
再问"是不是系统性分歧"：同一批对象里他始终与群体相反 → 可能是观察条件不同（位置/视角）
最后才考虑剔除，并把剔除规则与人数一并写进记录六、会用（四）：尺度怎么定
| 决策 | 建议 | 理由 |
|---|---|---|
| 档数与锚点 | 档数宜少（3–5 档），每档用一句话锚定（含"不可接受"档） | 档数过多会让不同人对同一档的理解分叉 |
| 是否给参照 | 有绝对目标时给参照（如标准模式或参考屏） | 无参照时尺度会随当天看到的内容漂移 |
| 连续还是离散 | 需要均值就用连续或近似连续；只需要分档就用离散 | 与第五节统计口径配套 |
| "看不出差别"这一档 | 要留 | 不给这一档，观察者会被迫在无差异时编造差异 |
| 正负对称 | 让尺度在"刚好可接受"处对称展开 | 便于事后换算成门槛（阈值类） |
七、会用（五）：一次主观测试的记录字段
□ 问题与方法族（含方法名称与呈现方式）
□ 尺度定义（档数、每档锚点、是否含参照与"无差异"档）
□ 内容库清单（每类内容的用途）
□ 观察条件（亮度档、色温档、模式、增强项、环境照度、距离与视角）
□ 观察者（人数、筛选口径、经验背景、是否训练）
□ 顺序与随机化、是否交换位置复看
□ 统计口径（汇总量、离散度、显著性判断方式）
□ 分歧条目与离群处理这份字段表与 判据字段集 · 测量方法与流程类 是配套关系： 主观结论要能被另一个人原样重放，靠的就是上面这几项。
原理（一）：为什么主观分数必须带离散度
同一条件下不同观察者的判断本身就在分布：
敏感度（视力、色觉、经验）× 尺度使用习惯 × 适应状态
→ 只报均值 = 把"分布"压缩成一个数，读者无法判断
"这个均值是大家看法一致，还是两极分化"
→ 离散度 + 人数 = 结论强度的唯一来源
→ 反过来：分歧集中出现的条目，往往正是"已到感知阈值"的条目，
它们的价值高于一致意见（一致意见可能只是"都很明显"）原理（二）：为什么不同方法族的数值不可直接比
三个不可跨越的差异：
① 尺度不同：单刺激给的是绝对印象，成对比较给的是相对偏好，两者没有换算关系
② 参照不同：有没有参照、参照是什么，直接改变判断的落点
③ 呈现与顺序不同：相邻对比、先看谁、是否重复，都会改变结果
→ 于是"A 方法得 4.2 分、B 方法得 3.8 分"这种并列没有意义
→ 正确做法：同一份结论里只出现一种方法族的数据，并写清它的尺度与参照原理（三）：为什么"专家"与"普通观察者"会给不同答案，且都对
专家：见过大量样本 → 敏感度更高、尺度更严、能用现象命名，但会"过度关注"特定项
普通人：更接近用户视角 → 对总体观感与异常项的容忍度不同，但尺度不稳、描述模糊
→ 两者回答的不是同一个问题：
专家类结论 → 适合定位与整改（哪一项差、差多少）
普通类结论 → 适合判断"用户会不会在意"
→ 因此方法学要求**先声明观察者类型**，而不是把两类数据混成一份"平均意见"八、常见误区
| 误区 | 说明 |
|---|---|
| "主观测试就是找几个人看看" | 缺方法族、人数与尺度定义，结果无法复核 |
| "多找些人就能解决分歧" | 分歧可能来自尺度使用或观察条件，人数不解决条件问题 |
| "平均分能代表所有人的看法" | 平均会掩盖两极分化，必须同时报离散度与分歧条目 |
| "不同方法族的分可以放一张表比" | 尺度、参照与呈现都不同，不可换算 |
| "给不出差异就是没差异" | 应设"看不出差别"档，并区分"无差异"与"尺度不适" |
| "讨论着评更准" | 先独立记录更重要，讨论会互相暗示（见 PQ 主观评测细则） |
| "专家结论一定更接近用户" | 专家更敏感、更严，回答的是另一个问题 |
| "阈值是一个固定数" | 阈值依赖定义、观察者与条件，必须连着写法一起报 |
📋 判据接口：本页属测量方法与流程类 —— 依此页结论做判定时，除通用条件外还必须附带 判据字段集 · 测量方法与流程类 所列字段（共 7 项）：这次测量的结果能否被另一个人原样重放？ 缺任一项，结论不可复核，只能作降级表述。
关键概念速查
| 术语 | 英文 | 含义 |
|---|---|---|
| 方法族 | Method Family | 由"要回答什么问题"决定的一类主观测试做法 |
| 单刺激 | Single Stimulus | 每次只呈现一个被评对象，给绝对印象 |
| 双刺激 | Double Stimulus | 参照与待评先后或并列呈现，用于比较 |
| 成对比较 | Paired Comparison | 两两组合比较，得到相对偏好 |
| 阈值类方法 | Threshold Method | 按回答调整刺激量，逼近刚可察觉的点 |
| 尺度锚点 | Scale Anchor | 每一评分档对应的明确含义 |
| 有效观察者数 | Effective Observers | 筛选后计入统计的人数（结论的"分母"） |
| 离散度 | Dispersion | 判断的分歧程度，与均值共同决定结论强度 |
| 尺度归一化 | Scale Normalization | 消除各人用尺习惯差异后的汇总方式 |
| 学习效应 | Learning Effect | 重复参与后判断变严或变准带来的偏差 |
相关文档
- PQ 主观评测细则 —— 一次评估的流程、观察顺序与内容库
- PQ 客观评测细则 —— 客观侧怎么做
- 感知度量与客观指标 —— 三类分数的分工与 JND
- 判据与验收 —— 结论怎么写才可复核
- 测量系统分析（MSA）与 Gage R&R —— 人与仪器共同的重复性问题
- 光学与视觉基础 / 人眼视觉基础 —— 阈值与感知的来源
- 显示器测试方法实操 —— 目视验收的清单版
数据来源：本页内容整理自公开标准规范、厂商公开资料与行业通用实践，仅供参考；具体以官方规范原文与厂商官方资料为准。