多模态标注质量保证

多模态标注质量保证是在分组工作项内审核相关图像、视频、音频和文本等数据的标签。审核员在各来源的原生上下文中检查内容，并核对连接这些标注的受支持属性与关系。 质量保证概述

分组工作项依次经过标注、共识评估、质量门控和审核，相关来源始终保持在一起。为质量检查配置通过与失败路径，再批准经审核的工作项或退回不一致的标注。下一次提交沿配置的审核路径处理，并保留工作流历史。 质量保证工作流

共识评估收集同一分组工作项的独立提交，按一致性设置比较对应面板中受支持的标注。审核员结合相关来源检查分歧并完善代表性结果。一致性反映提交之间的相符程度；标签是否符合源数据和规范，仍由审核员判断。 共识标注指南

质量门控将受支持的面板标注与已批准且对标注者隐藏的参考答案比较。已评估的提交按阈值进入通过或失败路径；缺失或不兼容的比较单独归为“未评估”。基准检查标注结构和属性，不会自动确立不同媒体之间的语义对齐。 质量门禁指南

审核员可结合相关图像或视频检查音频区间，核对事件类别、时间和配置的来源标识符。匹配的来源 ID 属性可记录经审核的对应关系。应明确哪个可见对象发出声音，以及存在多个可能来源时应采用哪些判断依据。 审核阶段

分组将相关来源组织为一个工作项。时间对应关系或校准必须来自源数据和任务设置。接受关联标签前，审核员应检查可用的时间戳、标识符和上下文；仅在同一分组视图中展示，并不能证明不同记录描述的是同一时刻。 审核阶段

结合文本指令检查示范媒体，并根据记录核对动作、对象和目标位置标签。明确任务步骤、未完成动作和模糊指令的标注方式，再通过文本片段与配置的属性，为批准或修正分组标注提供统一标准。 审核阶段

必需标注缺失、数据不兼容或必需面板设置改变，都可能使分组基准比较无法评估。应将该结果与通过、失败分开，转交调查或审核。再次比较前，先检查源数据分组与参考答案。 质量门禁指南

通过本体和规范定义各类别、属性及任务所需依据。分别制定视觉边界、音频区间和文本片段的审核标准，并明确共享标识符的规则。在各来源的原生上下文中统一应用这些定义，才能保持一致性。 本体文档