화면에 보이는 소스와 오디오 구간을 함께 살펴봅니다. 이벤트 클래스, 경계, 소스 식별자 또는 지원되는 관계를 확인하여 관련 어노테이션이 의도한 이벤트를 가리키도록 합니다.
기록된 시연 속 객체를 작업 지시문 및 관련 시점과 함께 검토합니다. 객체, 동작, 목적지 레이블이 원본 근거와 프로젝트 정의에 부합하는지 확인합니다.
그룹 항목 안에서 관련 이미지, 영상, 오디오, 텍스트 등의 레이블을 검토하는 과정입니다. 검토자는 각 소스를 고유한 맥락에서 살펴보고, 어노테이션을 연결하는 지원 속성과 관계를 확인합니다. QA 개요
관련 소스를 함께 유지하면서 그룹 항목을 어노테이션, 합의 평가, 품질 게이트, 검토 단계로 전달합니다. 품질 검사에 통과 및 실패 경로를 설정하고, 검토된 항목을 승인하거나 불일치한 어노테이션을 수정 단계로 돌려보냅니다. 다음 제출은 워크플로 이력을 유지한 채 설정된 검토 경로를 따릅니다. QA 워크플로
동일한 그룹 항목의 독립적인 제출 결과를 수집하고, 일치도 설정에 따라 대응하는 패널의 지원 어노테이션을 비교합니다. 검토자는 관련 소스를 보며 불일치를 확인하고 대표 결과를 다듬습니다. 일치도는 제출 간 일관성을 나타내며, 레이블이 원본 근거와 지침에 맞는지는 검토자가 판단합니다. 합의 검토 가이드
지원되는 패널 어노테이션을 작업자에게 숨겨진 승인된 정답과 비교합니다. 평가된 제출은 임계값에 따라 통과 또는 실패로 분류하고, 누락되거나 호환되지 않는 비교는 '평가되지 않음'으로 별도 처리합니다. 벤치마크는 어노테이션 구조와 속성을 확인하며, 서로 다른 미디어의 의미적 정렬을 자동으로 입증하지는 않습니다. 품질 게이트 가이드
관련 이미지나 영상과 오디오 구간을 함께 보며 이벤트 클래스, 시점, 설정된 소스 식별자를 확인합니다. 일치하는 소스 ID 속성으로 검토된 대응 관계를 기록할 수 있습니다. 어떤 객체가 소리를 냈는지, 여러 소스가 가능할 때 어떤 근거로 판단할지 정의하세요. 검토 단계
그룹화는 관련 소스를 하나의 작업 항목으로 구성합니다. 시간 대응 관계나 보정은 원본 데이터와 작업 설정에서 제공되어야 합니다. 검토자는 연결된 레이블을 승인하기 전에 타임스탬프, 식별자, 맥락을 확인해야 합니다. 같은 그룹 화면에 있다는 사실만으로 서로 다른 기록이 같은 순간을 나타낸다고 볼 수는 없습니다. 검토 단계
시연 미디어와 텍스트 지시문을 함께 보고, 동작·객체·목적지 레이블을 기록된 근거와 대조합니다. 작업 단계, 미완료 동작, 모호한 지시문을 어떻게 레이블링할지 정의하세요. 텍스트 구간과 설정된 속성은 그룹 어노테이션을 승인하거나 수정할 일관된 기준이 됩니다. 검토 단계
필수 어노테이션 누락, 데이터 호환성 문제, 필수 패널 설정 변경으로 그룹 벤치마크를 평가할 수 없을 수 있습니다. 이 결과는 통과 및 실패와 구분하여 조사나 검토로 전달합니다. 다시 비교하기 전에 소스 그룹과 정답을 확인하세요. 품질 게이트 가이드
온톨로지와 지침으로 클래스, 속성, 작업에 필요한 근거를 정의합니다. 시각적 경계, 오디오 구간, 텍스트 구간에 각각 검토 기준을 마련하고 공유 식별자 규칙을 명확히 정하세요. 각 소스의 고유한 맥락에 동일한 정의를 적용해야 일관성을 유지할 수 있습니다. 온톨로지 문서
