ReSeorch.AI

AI Systems Evaluation & Analysis

리서치에이아이 · 서경민 대표

한국어 AI를 평가하고,
근거를 기록합니다.

한국어 응답과 오디오/TTS 출력에 평가 기준을 적용하고, 응답 사이의 차이와 모호한 사례를 근거와 함께 기록합니다.

모바일 소프트웨어 QA 경험을 바탕으로 현재 독립계약 AI 평가 업무를 수행하고 있습니다.

VISUAL

문제를 살피는 네 가지 관점

음성 평가와 QA는 업무 경험을 바탕으로, 작업 구조와 한국어 맥락은 독립 프로젝트와 연구를 통해 다룹니다.

01

AI 평가 업무

Voice AI Evaluation

발화가 겹치는 구간을 살펴봅니다

발화가 겹치는 구간을 살펴봅니다
합성 신호로 구성한 설명용 타임라인입니다. 실제 고객 음성은 사용하지 않았습니다.
입력
사용자 발화와 응답 A·B의 시작 시점
판단
사용자의 말이 끝나기 전에 응답이 시작하는지 같은 시간축에서 대조합니다.
관찰
A는 사용자 발화와 겹치고, B는 발화가 끝난 뒤 시작합니다.
작업 과정 살펴보기
02

소프트웨어 QA 업무

Quality Assurance & Evidence

오류를 재현하고 원인을 좁힙니다

오류를 재현하고 원인을 좁힙니다
합성 작업 데이터로 구성한 필터 검사 예시입니다. 고객사 화면이나 로그는 사용하지 않았습니다.
입력
‘검토 완료만’ 필터를 선택한 작업 목록
판단
예상 목록과 표시 목록을 비교하고, 항목을 추가한 뒤에도 필터가 적용되는지 살펴봅니다.
관찰
완료 항목 B만 남아야 하는 조건에서 대기·예외 항목이 함께 표시되는 차이를 확인합니다.
작업 과정 살펴보기
03

독립 프로젝트 · 작업 구조 설계

AI Systems & Orchestration

AI에 맡길 일과 사람이 확인할 일을 나눕니다

AI에 맡길 일과 사람이 확인할 일을 나눕니다
문서 작성 요청을 바탕으로 구성한 작업 흐름 설계 예시입니다. 실제 에이전트를 실행하는 화면은 아닙니다.
입력
안내 문서의 초안과 검토표를 만드는 요청
판단
초안 작성, 사실 대조, 형식 검토를 나누고 결과를 다시 모아 확인합니다.
관찰
수정 경로와 사람의 검토 단계를 포함한 작업 흐름을 정리합니다.
작업 과정 살펴보기
04

독립 연구 · 한국어 맥락

Korean Language & Context

문맥을 대조해 의미를 좁혀갑니다

문맥을 대조해 의미를 좁혀갑니다
설명을 위해 작성한 일상 대화 예시입니다. 실제 연구 문항이나 모델 응답을 사용하지 않았습니다.
입력
‘그거 거기 두면 돼.’라는 문장과 두 가지 앞선 대화
판단
‘그거’와 ‘거기’가 가리키는 대상과 장소를 문맥에 비추어 살펴봅니다.
관찰
자료 파일과 배송 상자처럼, 같은 문장이 문맥에 따라 다른 대상을 가리킬 수 있습니다.
작업 과정 살펴보기
01

평가와 검토의 기록

공개 개인 프로젝트

01 개인 평가 프로젝트

AI 응답 직접 평가

공개 개인 기록 · 2026.06

문제응답의 차이와 판단 근거를 어떻게 기록할 것인가?

AI 응답 직접 평가 설명도: P008 요청 → R008 응답 → E008 당시 판단 → 해석 범위 유보
공개 기록을 바탕으로 정리한 작업 흐름

경상도 사투리를 표준어로 풀이한 AI 답변을 읽고, 표현의 의미와 말투를 직접 평가했습니다.

그저께 / 며칠 전

개인 평가 기록 R008의 추가 설명에서 발췌했습니다. 응답에 제시된 의미 범위를 함께 살펴봅니다.

역할과 과정, 검토 결과
내 역할
질의응답과 최종 평가를 직접 수행하고 점수·판단 이유를 기록했습니다. 템플릿에 AI 지원을 사용했습니다.
과정
P008 요청 → R008 응답 → E008 당시 판단 → 해석 범위 유보
검토 내용
10개 프롬프트의 응답을 8개 기준으로 평가했습니다. 점수와 함께 출처·표현·불확실성에 대한 판단 근거를 기록했습니다.
한계
소규모 개인 프로젝트 기록입니다. 현재 모델의 일반 성능 순위로 확장하지 않습니다.
기록 자세히 보기

02 개인 QA 프로젝트

웹 QA와 회귀 테스트

공개 개인 기록 · 2026.06

문제주요 기능은 어떤 조건에서 기대한 대로 동작하는가?

웹 QA와 회귀 테스트 설명도: 페이지·조건 → 수동·정적 검토 → 기초 브라우저 확인 → 검증 범위 제한
공개 기록을 바탕으로 정리한 작업 흐름
역할과 과정, 검토 결과
내 역할
요구사항·화면·문구를 검토하고, AI 지원 구현과 기초 자동 검사를 구분해 확인했습니다.
과정
페이지·조건 → 수동·정적 검토 → 기초 브라우저 확인 → 검증 범위 제한
검토 내용
개인 홈페이지의 기능과 링크, 화면 표시를 검토하고 Playwright로 주요 영역의 기본 회귀 테스트를 구성했습니다.
한계
수동·정적 검토와 기초 회귀의 범위입니다. 전체 품질 보증이나 고객사 실무 산출물이 아닙니다.
기록 자세히 보기

응답을 읽고 평가한 이유와 웹사이트의 동작을 확인한 과정을 담았습니다. 전체 개인 프로젝트와 진행 상태

KOREAN TEXT

한국어 응답

한국어 응답의 자연스러움, 문맥, 어투와 요청 적합성을 검토합니다.

AUDIO / TTS

오디오/TTS

오디오/TTS 출력에 주어진 평가 기준을 적용해 품질을 검토합니다.

02

실제 업무 경력

업무와 도구 자세히
현재Independent Contractor

AI Evaluator

한국어 응답 · 오디오/TTS

Outlier · Independent Contractor

한국어 응답과 오디오/TTS 출력을 주어진 기준에 따라 검토합니다. 응답 간 품질 차이와 모호한 사례를 판별하고, 비교 결과와 판단 근거를 기록합니다.

2023.04 — 2023.09상용 소프트웨어 QA

Mobile Software QA

모바일 앱 · 통신 부가서비스

테스트이앤씨 · 정규직

통신사 모바일 앱과 관련 서비스의 기능·호환성·회귀 테스트에 참여했습니다. 결함과 재현 절차를 기록하고, 수정된 항목을 다시 확인했습니다.

03

학력

2025.03 — 현재재학

한국방송통신대학교

문화교양학 학사과정

04

개인 개발 프로젝트

입력과 저장, 예외 상태를 살피며 원자료를 보존하는 방법을 검토했습니다.

PERSONAL DEVELOPMENT

Seed Vault

원문을 보존하면서 입력과 저장 흐름을 살펴보았습니다.

개인 프로젝트 검토 기록

실제 서비스의 최신 운영·공개 가능 상태는 확인하지 않았습니다.

프로젝트 소개와 체험
PERSONAL DEVELOPMENT

개인 프리랜서 운영원장

개인 스프레드시트 기반 운영 도구에서 입력 구조, 예외 상태, 원자료 보존과 사용 흐름을 검토했습니다. 구현에는 AI 지원을 사용했습니다.

개인 프로젝트 검토 기록

실제 운영원장과 정산 자동화의 완료 여부는 확인하지 않았습니다.

프로젝트 소개와 체험
05

독립 연구

전체 연구 보기

한국어 맥락과 판단의 일관성을 탐구하는 개인 프로젝트입니다. 프로젝트별 진행 내용과 다음에 확인할 질문을 소개합니다.

01

Nunchi

한국어 대화의 맥락 적합성

소규모 실제 응답 수집으로 연결을 확인하고, 평가 문항의 맥락에 대한 인간 검토를 반영했습니다. 최종 인간 평가와 비교 결과는 아직 확정하지 않았습니다.

소규모 연동 확인 · 문항 검토 반영내용 확인
02

MirrorRun

LLM 행동 예측 평가

실제 응답 수집과 인간 판단 입력을 마쳤습니다. 일부는 AI 압축 요약을 보고 한 일괄 판단으로, 원문별 검증과 예측 성능 분석은 완료하지 않았습니다.

응답 수집·판단 입력 완료 · 검증 미완료내용 확인
03

Goose

AI 응답의 근거와 판단 일관성

가상 사례의 근거와 판단 조건을 검토하기 위한 실행 전 도구를 오프라인으로 검증했습니다. 실제 모델 응답은 아직 수집하지 않았습니다.

실행 도구 오프라인 검증 · 응답 수집 전내용 확인