Build an Online LLM-as-a-Judge with the LangSmith CLI and a Coding Agent
들어오는 대화 스레드에서 사용자 불만을 탐지하는 LLM 심사자를 CLI로 만들고 표시된 사례를 검토하며 샘플링으로 평가 비용을 조절한다. 설명은 수천 건의 일일 트레이스를 모두 사람이 읽기 어려운 문제에서 출발한다.
핵심 내용
- 설명은 수천 건의 일일 트레이스를 모두 사람이 읽기 어려운 문제에서 출발한다.
따라 하기 순서
- 최신 스킬과 코딩 에이전트로 온라인 평가자를 생성한다.
- 표시된 스레드를 UI에서 검토한다.
- 샘플링 비율을 바꾸어 비용을 조절한다.
나오는 도구
- LangSmith CLI
- LangSmith skills
- 채널
- LangChain
- 분류
- 개발 자동화 · 온라인 LLM 평가
- 언어
- 영어
- 영상일
- 2026.09.10