자연어 처리 어노테이션 품질 보증

텍스트 레이블의 구간 경계, 개체 클래스, 관계 구조, 범주와 속성의 일관성을 검토하는 과정입니다. Unitlab은 어노테이션을 생성한 정확한 원문과 검토 과정을 연결합니다. QA 개요

품질 보증 워크플로는 텍스트 어노테이션, 합의, 품질 게이트, 검토를 연결합니다. 비교 단계의 통과와 실패 경로를 설정한 뒤 검토된 항목을 승인하거나 불완전한 구간, 잘못된 관계, 일관되지 않은 범주를 수정하도록 반려합니다. 수정된 어노테이션은 다시 검토할 수 있으며 시도와 결정은 워크플로 이력에 보관됩니다. QA 워크플로

합의는 같은 텍스트에 대한 독립적인 어노테이션을 수집하고 일치도 설정에 따라 지원되는 구간, 레이블, 관계, 속성을 비교합니다. 검토자는 원문과 함께 서로 다른 해석을 살펴보고 대표 결과를 다듬을 수 있습니다. 일치도는 제출 간 일관성을 측정하며, 그 자체로 언어적 모호성을 해결하거나 정확성을 입증하지는 않습니다. 합의 검토 가이드

품질 게이트는 지원되는 텍스트 어노테이션을 작업자에게 숨겨진 승인된 정답과 비교합니다. 이 기준 정답과 제출을 대조하고 설정한 임계값에 따라 통과 또는 실패를 판단합니다. 비교 데이터가 없으면 미평가를 별도로 처리하고, 각 결과에 필요한 검토 또는 재작업 경로를 정의하세요. 품질 게이트 가이드

검토자는 정확한 원문 문자와 주변 문장을 확인한 뒤 불완전한 이름, 과도하게 긴 구간, 누락된 개체, 잘못된 클래스를 수정합니다. 각 개체 유형에 호칭, 문장부호, 수식어를 포함할지 정의하세요. 이러한 경계 규칙은 유사한 예시에 같은 레이블링 정책을 적용하는 데 도움이 됩니다. 검토 단계

검토자는 각 관계가 올바른 레이블과 방향으로 의도한 출발 개체와 도착 개체를 연결하는지 확인합니다. 판단 근거는 원문과 온톨로지 정의입니다. 지원되는 어노테이션 비교는 끝점을 대응시킨 뒤 관계를 평가하며, 원문의 관계가 모호한 경우에는 검토자가 판단합니다. 검토 단계

의도나 문서 범주를 데이터 항목 속성으로 설정하고 전체 원문과 대조하여 검토합니다. 유사한 범주의 차이를 정의하고 경계 사례를 지침에 포함하세요. 검토자는 일관된 정의를 적용하면서 항목 전체의 범주와 개별 구간에 연결된 개체 레이블을 구분해 관리할 수 있습니다. 검토 단계

필수 속성과 설정된 온톨로지 규칙은 검토자가 확인할 검증 결과를 생성할 수 있습니다. 이를 바탕으로 승인 전에 누락된 값을 채우거나 일관되지 않은 선택을 수정하세요. 검증 결과가 모든 저장을 차단하는 대신 안내로 제공될 수도 있으므로 검토자가 반드시 해결할 항목도 정의해야 합니다. 온톨로지 문서

지원되는 비교는 어노테이션 구조와 저장된 속성 값을 평가합니다. 단일 텍스트 값은 완전 일치 여부로 비교하므로 사람이 의미가 비슷하다고 판단하더라도 표현이 다르면 불일치로 처리될 수 있습니다. 검토자는 프로젝트에서 허용하는 표현과 범주 규칙에 따라 의역, 모호성, 해석이 필요한 사례를 판단해야 합니다. 검토 단계