Evaluating Agents in Production: Traces, LLM-as-Judge, and Prompt Management at Wonder
주간 식단을 계획하는 Wonder의 사례로 로그 디버깅을 트레이스·LLM 심사·프롬프트 관리와 코딩 에이전트 수정으로 연결한 경험을 소개한다. 자동화된 피드백과 종단간 수정은 해당 팀이 설명한 경험이다.
핵심 내용
- 자동화된 피드백과 종단간 수정은 해당 팀이 설명한 경험이다.
따라 하기 순서
- 사용자별 응답을 트레이스와 평가자로 살펴본다.
- 프롬프트 피드백 루프를 자동화한다.
- 버그 티켓과 LangSmith 정보를 코딩 에이전트에 전달해 수정한다.
나오는 도구
- LangSmith
- LangSmith MCP Server
- LLM-as-judge
- 채널
- LangChain
- 분류
- 개발 자동화 · 운영 평가·식단 서비스
- 언어
- 영어
- 영상일
- 2026.09.29