01 / QUESTION
미리 예측한 응답 행동은 실제 관측과 얼마나 맞을까?
고정한 모델·설정·한국어 합성 입력·세션 조건에서, 사전에 확정한 사건 확률과 응답 길이 예측이 실제 관측을 얼마나 설명하는지 살펴보는 개인 프로젝트입니다.
02 / CONTRIBUTION
내 역할과 AI 지원
직접 맡은 일
연구 질문과 범위를 검토하고, 응답 또는 AI가 압축한 요약을 읽고 판단과 이유를 입력했습니다. 과거 문맥의 표현을 현재 평가 대상 응답의 행동으로 옮겨 판정하지 않도록 검토했습니다.
AI의 도움을 받은 부분
평가 도구의 코드, 합성 시험 자료, 시험과 문서 초안에는 AI의 도움을 사용했습니다. 일부 판단에는 AI가 작성한 응답 요약을 사용했으며, 원문을 직접 검토한 판단과 구분해 기록합니다.
03 / METHOD
평가 설계
- 예측과 관측
- 대상 응답을 관측하기 전에 예측을 확정하고, 두 기록을 분리합니다.
- 상호작용 조건
- 매번 새로운 요청을 하는 조건과, 수락된 가시 대화 이력을 전달하는 조건을 구분합니다.
- 측정 계획
- 사건 확률과 응답 길이의 예측·관측 차이를 비교할 계획입니다. 판단 입력은 마쳤지만, 입력된 판단의 타당성 검토와 분석은 완료하지 않았습니다.
04 / TIMELINE
진행 기록
- 설계
프로토콜과 오프라인 도구 준비
연구 조건, 합성 입력, 평가 기준과 실행 기록 방식을 정리했습니다.
- 기술 관측
소규모 API 연동 확인
7회 smoke 요청이 완료·수락됐습니다. 연동·파싱·기록 경로를 확인한 것으로, 가설을 검증한 연구 표본과는 구분합니다.
- 인간 판단
사람의 의미 판단과 검토
12개 합성 연습 사례에 대해 48개 판단과 근거를 제출·검토했습니다.
- 도구 검증
로컬 검증기의 처리 가정 수정
개발 요청 1회가 제공자에서 완료된 뒤 로컬 검증기에서 수락되지 않았습니다. 원인을 진단·수정하고 96개 오프라인 회귀 통과 기록을 남겼습니다.
- 실행 준비
다음 개발 실행 준비
새 실행의 준비 상태를 갱신했습니다. 이 단계에서 새로 수집된 연구 관측은 없습니다.
- 응답 수집
개발용 실제 응답 수집 완료
선행 예측과 평가 대상 응답의 수집·수락을 마쳤습니다. 앞선 진단용 응답과 구분하며, 인간 평가와 가설 해석은 별도 단계입니다.
- 진행 확인
실제 응답에 대한 인간 판단 진행
사람이 실제 응답의 행동을 판단하고 이유를 기록하는 중임을 확인했습니다. 과거 문맥과 현재 응답을 구분하는 검토를 수행하며, 예측 성능 결과는 아직 확정하지 않았습니다.
- 입력 완료
판단 입력 완료와 검토 범위 구분
남은 판단과 이유의 입력을 마쳤습니다. 일부는 AI 압축 요약에 대한 일괄 판단으로, 각 원문을 독립 검토한 기록과 구분합니다. 원문별 타당성 검증이나 예측 성능 분석 완료를 뜻하지 않습니다.
05 / CURRENT FINDINGS
확인한 것과 아직 남은 것
- 예측·관측을 분리하는 프로토콜
- 합성 사례의 인간 판단 기록
- 실행 추적·오류 처리·회귀 검증 도구
- 실제 응답 수집 기록과 인간 판단 입력 기록
실제 응답 수집과 기록 연결을 확인했습니다. 선행 예측과 평가 대상 응답은 별개로 보존하며, 수집 완료를 가설 검증 완료로 해석하지 않습니다.
판단 입력은 완료됐습니다. 일부는 AI가 작성한 압축 요약에 대한 일괄 판단이며, 사례별 전체 원문 검토나 독립 평가를 모두 마친 상태는 아닙니다.
행동 예측 정확도에 대한 연구 결과는 아직 없습니다.
06 / LIMITS & NEXT
해석의 범위와 다음 단계
의식·의도·기만·일반적인 자기이해를 결론 내릴 수 없습니다. 합성 연습 판단만으로 평가 기준의 일반적 타당성을 입증하지 않습니다.
다음에 확인할 일
판단이 원문과 부합하는지 확인하는 검토와 예측·관측 비교 분석이 남아 있습니다.
자료와 변경 이력
원자료·내부 실행 기록은 공개하지 않습니다. 공개 자료를 별도로 정리하고 검토한 뒤 연결할 예정입니다.
· 요약 v2.1
기존 연구 기록에서 확인한 진행 상태입니다. 홈페이지 개편 과정에서 연구 실험을 실행하지 않았습니다.