서비스 평가와 실험 플랫폼을 만들어 왔다

김진영 · 네이버 검색 US 디렉터

Microsoft · Snap

검색 서비스를 측정하는 방법

온라인 A/B 테스트와 오프라인 평가 지표를 만들고, 실험 결과를 해석했다.

Naver Search

분석과 실험을 반복하는 플랫폼

서비스 팀이 변화를 빠르게 검증할 수 있는 분석·실험 환경을 개발해 왔다.

현재의 관심

사용자 AI를 이용한 서비스 평가

AI가 실제 사용 과정의 문제 후보를 먼저 찾고, 사람이 검증할 범위를 넓히는 방법을 연구한다.

오랫동안 다룬 질문은 같다. 서비스의 변화가 사용자에게 어떤 차이를 만드는가?

jykim.github.io ↗

LLM-as-a-judge 다음에는 무엇이 오는가

작년에는 LLM이 LLM의 답변을 평가하는 시스템을 만들었다. 올해는 거의 모든 팀이 같은 방법을 쓰기 시작했다.

답변을 채점하던 평가를 서비스 사용 과정의 평가로 넓혔다

사용자 AI가 서비스를 여러 차례 사용하고, 평가 AI와 검토 AI가 결과를 해석해 개발팀이 다시 실행할 수 있는 문제 기록을 남긴다.

온라인 실험, 사용자 조사, 가상 사용자 실험은 서로 다른 질문에 강하다

에이전틱 평가는 AI가 사용자를 대신해 같은 목표를 반복 수행하는 가상 사용자 실험이다.

온라인 A/B 테스트

실제 이용자에게 두 경험을 보여주고 비교한다.

---

잘 답하는 질문
어떤 변화가 실제 행동 지표를 개선했는가?강점 · 실제 효과를 직접 비교

사용자 조사

사람이 목표를 수행하는 모습을 관찰하고 질문한다.

---

잘 답하는 질문
왜 이해하지 못했고 무엇을 기대했는가?강점 · 동기와 상황을 깊게 이해

가상 사용자 실험

AI 사용자가 같은 목표를 반복 수행한다.

---

잘 답하는 질문
어떤 과정과 조건에서 실패가 반복되는가?강점 · 넓은 범위, 빠른 반복, 재현성

Icons: Lucide · ISC License

가상 사용자 실험은 출시 전 기능과 드문 실패 조건을 반복해서 점검할 수 있다

실제 사용자에게 미치는 효과와 사람의 깊은 맥락은 여전히 A/B 테스트와 사용자 조사가 확인해야 한다.

세 종류의 AI가 서비스 사용, 평가, 검토를 나눠 맡는다

사용자 AI가 서비스를 이용하고, 평가 AI가 그 과정을 판정하며, 검토 AI가 평가 기준의 불일치를 확인한다.

한 번의 서비스 이용을 실행하고 평가한 뒤 다시 검토한다

각 AI는 보는 정보와 책임이 다르다. 문제가 발견되면 결과 사용을 보류하고 필요한 단계만 다시 실행한다.

사용자 역할, 평가 과제, 대상 서비스를 고르면 평가가 시작된다

실제 실험 설정 화면을 외부 공개용으로 다시 구성했다. 시스템명, 과제 목록, 비교 대상과 결과 수치는 표시하지 않는다.

높은 출처 점수만으로는 사용자 목표 달성을 설명할 수 없었다

같은 목표에서 시작한 탐색 사례 하나다. 외부 공개를 위해 세부 버전명, 서비스명과 종합 점수는 숨겼다.

사용자 AI는 첫 답을 받고 멈추지 않았다

목표를 끝내기 위해 모순을 확인하고 근거를 다시 요구했다. 아래 내용은 원문을 줄이고 상품명을 일반화한 공개용 대화다.

두 버전의 차이는 한 번의 답변보다 목표를 끝내는 과정에서 선명해졌다

같은 사용자 목표와 평가 기준을 적용한 공개용 사례다. 절대 점수 대신 대화 과정에서 확인된 차이만 남겼다.

멀티 에이전트 평가를 더 다양한 서비스와 더 긴 사용자 경험으로 확장한다

현재의 멀티턴 대화 평가를 검색·추천의 행동 과정과 여러 이용 세션에 걸친 개인화 평가로 넓힌다.

서비스를 사용하는 AI와 평가하는 AI를 분리한다

사용자 AI, 목표 평가 AI, 검토 AI는 서로 다른 정보와 책임을 가져야 한다.

개별 지표를 따로 측정하고 비교할 때 하나의 종합 점수로 결합한다

종합 점수와 함께 원래 지표와 결합 규칙을 보존해야 결과를 비교하면서도 실패 원인을 설명할 수 있다.

AI가 늘어나면 서로 영향을 주는 과정과 실패 복구 비용이 함께 커진다

시험판은 한 번의 성공을 보여준다. 실제 제품은 입력과 모델이 바뀌어도 실패 지점을 찾고 필요한 단계만 다시 실행해야 한다.

각 에이전트의 책임과 입출력 규칙

전체 흐름만 시험하면 어느 에이전트가 결과를 바꿨는지 찾기 어렵다. 같은 기록을 재사용해 각 에이전트를 따로 확인해야 한다.

Agentic Workflow의 성공은 역할 분리와 독립 평가에서 시작된다

더 많은 에이전트를 연결하는 것보다 각 에이전트의 책임을 나누고 따로 개선할 수 있는 구조가 중요하다.

그냥 ChatGPT에 사용자 역할을 시키면 되지 않을까?

빠른 실험에서는 가능하다. 그러나 어시스턴트로 학습한 습관이 사용자의 행동과 평가 결과에 섞인다.

답변을 잘하는 모델이 사용자를 잘 연기하는 것은 아니다

ChatGPT 같은 어시스턴트는 친절하고 완전한 답변을 하도록 학습된다. 실제 사용자는 정보를 조금씩 말하고, 표현이 불완전하며, 목표를 달성하면 설명 없이 떠나기도 한다.

실제 대화에서 사용자의 다음 말과 대화 종료를 학습한다

Flipping the Dialogue는 실제 사람과 AI의 대화에서 사용자 쪽 발화를 정답으로 바꾸어, 목표와 지금까지의 대화를 보고 다음 사용자 행동을 예측하도록 학습했다.

대화를 뒤집으면 사용자 발화가 학습 정답이 된다

Naous et al., Flipping the Dialogue, Figure 2 ↗

한 명의 평균 사용자를 흉내 내는 단계에서 사람마다 다른 행동을 검증하는 단계로 이동하고 있다

최근 연구는 사용자 역할을 프롬프트에 적는 데서 멈추지 않는다. 실제 대화로 학습하고, 성향을 조절하며, 실제 사람과의 차이를 측정한다.

검색 회사의 사내 로그 없이도 사용자 AI 연구를 시작할 수 있다

세 공개 데이터셋은 실제 대화의 규모, 사용자의 숨은 생각, 개인별 평가 기준이라는 서로 다른 연구 재료를 제공한다.

가상 사용자 평가는 이미 하나의 제품 분야가 되고 있다

Mphora의 VIVID는 다양한 가상 사용자와 공격 상황을 만드는 AI가 실제 도구를 사용해 AI 제품을 출시 전에 시험하는 상용 플랫폼이다.

가상 사용자 패널은 제품 가설을 시험하는 범위와 속도를 바꿀 것이다

실제 사용자를 대체하기보다, 실제 사용자에게 묻기 전에 더 많은 가설을 탐색하고 이후 결과로 다시 보정하는 역할이다.