전체 결과

21사례 · 22항목

arm	회수	미탐	오탐	막연한 질문
순수 Claude	86.4%	0	19	56
PairTrace	90.9%	0	0	18

• 어느 차이도 통계적으로 유의하지 않습니다. 방향 관측이지 크기 판정이 아님
• 오탐 개수는 채점자 민감 — 같은 산출물을 7건 / 18건으로 계수

유형별 회수

유형	순수 Claude	PairTrace	오탐	부호검정
A · 작업 전 합의로 막을 수 있는 유형이기지 못한다	90.0%	90.0%	5 : 0	—
B · 합의로는 못 막는 유형앞선다	81.8%	90.9%	12 : 0	p=0.625

• A = PairTrace가 파는 유형 · 재채점 반영 · 회수 동률
• B의 차이도 유의하지 않음 (p=0.625)

방법

역할 분리

자료 재구성 · 정답지 작성 · 채점을 서로 못 보게 분리. 배정표는 별도 격리.

봉인 순서

정답지 22항목 SHA-256 봉인이 실행보다 앞선 것을 시각으로 기록.

사전 등록

사례 채택 규칙은 본문 열람 전, 유형 층화는 점수 열람 전에 고정.

제외 기준

누수·결로 등 작업 전 합의로 막을 수 없는 하자는 채점 대상에서 제외.

블라인드

사례마다 X/Y 위치를 뒤집어 채점자가 어느 쪽이 우리 것인지 모르게.

자기 신고

검색어 결함 1건은 결과 방향을 아는 상태의 수정이라 편향 위험을 명시하고 두 세트를 보존.

자료: 국토교통부 하자심사·분쟁조정위원회 「2026 공동주택 하자분쟁 사례집」(2026-07-22 발간) · 원본 해시 대조
외부 감사가 아니라 자체 시험이며 역할 분리도 내부에서 나눈 것입니다 · 이전 회차(2022년판 20사례, 351파일)는 별도 보존