포트폴리오로 돌아가기
AI 입시 분석 Agent 최적화
Gemini 기반 입시 분석 에이전트의 품질·비용·안정성 최적화
역할
AI Agent 아키텍처 개선 · 평가 설계 · 백엔드 최적화
기간
4주
연도
2026
프로젝트 개요
AI 입시 분석 Agent 최적화는 실제 운영 중인 입시 분석 에이전트를 대상으로 schema chunking, prompt caching, 구조화 출력 검증, Vertex AI 평가 harness를 도입한 프로젝트입니다. LLM 품질을 재현 가능한 테스트와 운영 지표로 관리하도록 개선했습니다.
풀고 싶었던 문제
아트데이터에서 운영 중인 AI 입시 분석 기능이 긴 응답 구조에서 오류를 내고, 같은 긴 내용을 매번 보내 비용이 커지는 문제가 있었어요.
맡은 범위
- 응답 구조를 나눠 병렬로 호출한 뒤 합치는 방식
- 반복되는 긴 문맥에 프롬프트 캐싱 적용
- 구조화 출력 강제와 검증
- 백엔드 통합 테스트 62개와 골드셋 기반 평가
만든 기능과 구성
- 스키마 분할 병렬 호출
- 프롬프트 캐싱
- 구조화 출력 검증
- 골드셋 기반 회귀 테스트
어려웠던 점과 해결 방법
긴 응답 구조 오류
중첩 항목이 많은 응답 구조에서 모델 호출이 실패했어요. 구조를 여러 조각으로 나눠 동시에 요청하고 결과를 합쳐 오류를 없앴어요.
품질을 숫자로 관리
사람이 눈으로 확인하던 품질 검사를 골드셋 평가와 자동 테스트로 바꿔, 코드가 바뀔 때마다 품질 저하를 먼저 잡도록 했어요.
결과
- 해당 응답 구조 오류를 0건으로 줄였어요.
- 파싱 실패율 0%를 골드셋에서 확인했어요.
- Google for Startups AI Agents Challenge(Optimize 트랙)에 제출한 프로젝트예요.
기술 스택
GeminiVertex AI EvaluationClaudeNode.jsExpressPrismaPostgreSQLJest
태그
#AI Agent #Gemini #평가 자동화 #LLMOps
자주 묻는 질문
이미 만든 AI 기능도 개선해 주나요?
네. 이 프로젝트처럼 운영 중인 AI 기능의 오류, 비용, 품질 문제를 찾아 고쳐요. 먼저 실제 요청 기록과 실패 사례를 함께 살펴봐요.
AI 품질은 어떻게 확인하나요?
정답이 있는 예시 묶음(골드셋)을 만들고 자동으로 평가해요. 코드를 바꿀 때마다 같은 평가를 돌려 품질이 떨어지지 않았는지 확인해요.
다른 포트폴리오