Turn Flagged Traces Into a Dataset in 3 Minutes with the LangSmith CLI
운영에서 오류 의심으로 표시된 스레드를 가져와 코딩 에이전트로 실패 유형을 분류하고 유형별 평가 데이터셋으로 만드는 과정이다. 설명은 만든 자료를 평가와 후속 학습 예제로 재사용할 수 있다고 소개한다.
핵심 내용
- 설명은 만든 자료를 평가와 후속 학습 예제로 재사용할 수 있다고 소개한다.
따라 하기 순서
- 최근 오류 표시 스레드 50개를 가져온다.
- 오류 유형을 정의하고 각 실패를 분류한다.
- 유형별 split을 가진 스레드 데이터셋을 만든다.
나오는 도구
- LangSmith CLI
- LangSmith skills
- 채널
- LangChain
- 분류
- 개발 자동화 · 실패 트레이스·데이터셋
- 언어
- 영어
- 영상일
- 2026.09.09