AI 응답 직접 평가

01 / CONTEXT

사람이 직접 판단한 응답 평가

사실 확인, 출처 추적, 요약, 비교, 절차 안내, 한국어 표현과 모호한 맥락 등 10개 프롬프트의 응답을 검토했습니다. 정해진 항목으로 평가하되, 점수와 함께 왜 그렇게 판단했는지 기록했습니다.

02 / MY ROLE

질의응답과 최종 평가를 직접 수행하고, 점수·결함 유형·판단 근거·개선 제안을 작성했습니다. 평가 템플릿에는 Codex의 도움을 사용했습니다. Python 스크립트는 사람이 입력한 값을 검증하고 가중 점수를 계산하는 보조 도구였습니다.

03 / METHOD

요청을 잘 따랐어도 출처가 부정확할 수 있고, 자연스럽게 읽혀도 불확실성을 지나치게 단정할 수 있습니다. 평가 항목과 결함 기록을 나누어 이런 차이를 설명했습니다.

04 / JUDGMENT NOTES

2026.06 개인 평가 프로젝트의 기록입니다. 인용 상자는 공개 원문의 직접 발췌이며, 나머지는 요청·기준·당시 판단을 재서술했습니다. 새로 평가하거나 점수를 바꾸지 않았습니다.

E008 한국어 표현 · P008 / R008

1. 요청 / 맥락 · 요약과 직접 발췌: 아버지 생신을 챙기려다 거절당한 이야기를 담은 경상도 사투리 문장을 해석하는 요청이었습니다.
요청 원문 중 평가 대상 문장 · P008 직접 발췌
어제아래 내가 울 아부지 생신 챙길라 캤다.
2. AI 답변 · 직접 발췌: AI가 표준어로 풀이한 문장 · R008
그저께 내가 우리 아버지 생신을 챙기려고 했다.
같은 AI 응답의 추가 설명 · ‘어제아래’의 뜻
그저께 / 며칠 전
3. 적용한 기준 · 재서술: 표현의 의미와 한계를 살피는 사실 정확성, 한국어의 자연스러움과 맥락 적합성을 구분합니다. P008의 기대 행동은 사투리의 의미와 말투를 맥락에 맞게 설명하는 것이었습니다.
4. 당시 판단: 평가표 판정: 그대로 사용 가능. 사실 정확성 3/4, 한국어 맥락 적합성 4/4로 기록했습니다.
5. 판단 이유 · 재서술: 당시 저는 자연스러운 해석을 인정하면서도, ‘어제아래’의 지역·세대별 의미 폭을 고려해 ‘엊그제’ 또는 ‘며칠 전’처럼 더 유보적으로 설명하도록 제안했습니다. 번역문은 ‘그저께’를 택했지만 설명표에는 이미 ‘며칠 전’이 있으므로, 응답 전체가 의미의 폭을 누락했다고 확대하지 않습니다.

E005 출처와 근거 · P005 / R005

1. 요청 / 맥락 · 재서술: NVIDIA와 AMD의 기술·사업·경영진·성장 이야기를 비교하고, 공통점과 차이점을 각각 세 가지씩 분석하는 요청이었습니다.
2. 판단에 필요한 응답 · 직접 발췌와 맥락: R005 · 향후 성장 설명의 일부
OpenAI와 Meta의 6GW 파트너십
이 문장에 연결된 출처 [7]은 제목과 URL에서 AMD–OpenAI 파트너십을 가리킵니다. 같은 응답은 AMD 실적 수치를 포함한 설명에도 NVIDIA 투자자 센터 출처 [1]을 연결했습니다. 이는 응답 원문의 출처 연결을 재서술한 것으로, 기업 현황을 새로 검증한 내용은 아닙니다.
3. 적용한 기준 · 재서술: 사실 정확성의 출처 귀속과 명확성·구조를 구분합니다. 비교 항목이 잘 정리돼 있어도 각 주장에 맞는 근거가 연결됐는지는 따로 확인합니다.
4. 당시 판단: 평가표 판정: 부분 수정 후 사용 가능. 사실 정확성 3/4, 명확성과 구조 4/4로 기록했습니다.
5. 판단 이유 · 재서술: 요청한 비교 범위와 구성은 충족했지만, 계약과 실적의 출처를 함께 처리한 점을 보완 대상으로 봤습니다. 기업별 공식 실적 자료와 OpenAI·Meta 계약 자료를 각각 구분해 연결하도록 제안했습니다.

05 / LIMITS

한 명의 평가자가 10개 프롬프트를 검토한 소규모 개인 프로젝트입니다. 모델의 일반적인 성능 순위나 평가자 간 일치도를 입증하지 않습니다. 2026년 6월의 관찰을 현재 모델의 성능으로 일반화하지 않습니다.