Catch Agent Regressions Before You Ship: Evals for Managed Deep Agents
Managed Deep Agents에 도구·스킬을 추가할 때 기존 동작이 깨지지 않도록 Harbor의 격리 평가와 pytest·야간 CI를 구성하는 과정이다. 데모는 가상 문서 집합의 연구 에이전트와 단순 pytest 검사를 사용한다.
핵심 내용
- 데모는 가상 문서 집합의 연구 에이전트와 단순 pytest 검사를 사용한다.
따라 하기 순서
- 환경·작업·검사로 평가를 나누고 CLI로 뼈대를 만든다.
- 생성된 평가와 task.md를 검토한다.
- 실행 기록을 확인하고 야간 CI로 반복한다.
나오는 도구
- Managed Deep Agents
- Harbor
- pytest
- Claude Code
- LangSmith
- 채널
- LangChain
- 분류
- 개발 자동화 · 에이전트 회귀 테스트
- 언어
- 영어
- 영상일
- 2026.09.11