기본 제공 시그널를 사용해 모니터링

지연 시간, 토큰 수, 비용과 같은 표준 시스템 메트릭만으로는 에이전트 동작을 완전히 캡처할 수 없습니다. 개별 트레이스를 살펴보면 깊이 있는 인사이트를 얻을 수 있지만, 실제 환경에서 생성되는 수백만 건의 트레이스에는 확장하기 어렵습니다. 시그널는 프로덕션 환경의 에이전트에 대해 자동화된 동작 점수화를 제공하여 이 문제를 해결하는 고수준 모니터링 솔루션입니다:

• 자동화된 점수화: 유입되는 모든 프로덕션 트레이스는 일반적인 품질 문제와 오류를 기준으로 자동 처리되고 점수화됩니다.
• 인프라: 처리는 수백만 건의 트레이스를 확장 가능하게 다룰 수 있도록 CoreWeave 컴퓨트와 CoreWeave GPU로 구동됩니다.

프로덕션 환경에서 시그널를 사용하면 다음과 같은 이점이 있습니다:

• 동작 인사이트 확보. 시스템 메트릭을 넘어, 에이전트가 환각을 일으키는지, 대화 패턴을 제대로 따르지 못하는지, 또는 근거로 삼는 증거와의 연결을 잃고 있는지를 파악할 수 있습니다.
• 연구 루프 가속화. 시그널가 생성한 점수와 실패 분석을 사용해 약점을 파악하고, 이를 모델 개선, 데이터 annotation, 또는 강화 학습 연구에 활용할 수 있습니다.

​

사용 가능한 시그널

W&B Weave는 기본 제공 시그널이 포함된 모니터를 제공합니다. 기본 제공 시그널은 별도의 맞춤형 설정 없이 기본적으로 프로덕션 트레이스에서 일반적인 품질 문제와 오류를 평가할 수 있는 사전 설정 Scorer입니다. 각 기본 제공 시그널은 벤치마크된 LLM 프롬프트를 사용해 트레이스를 분류하고, 감지된 문제를 나타내는 쉼표로 구분된 tags로 결과를 저장합니다. 시그널은 Serverless Inference 모델을 사용해 트레이스를 평가하므로 외부 API 키가 필요하지 않습니다. W&B Weave는 두 그룹으로 구성된 사전 설정 시그널 13개를 제공합니다.

​

품질 신호

품질 신호는 성공한 최상위 수준 트레이스에서 출력 품질 및 안전성 문제를 평가합니다.

​

오류 시그널

오류 시그널은 실패한 트레이스를 근본 원인별로 분류해, 인프라 및 애플리케이션 문제를 파악하고 해결하는 데 도움을 줍니다.

​

시그널 작동 방식

각 시그널은 트레이스를 분류하기 위해 LLM-as-a-judge 접근 방식을 사용합니다.

• 트레이스 선택: 품질 시그널은 성공한 루트 레벨 트레이스를 평가합니다. 오류 시그널은 실패한 트레이스를 평가합니다. Weave는 하위 span과 중간 Call을 점수화하지 않습니다.
• 프롬프트 구성: Weave는 트레이스 메타데이터, 입력, 출력, 예외 세부 정보(있는 경우), 오퍼레이션의 소스 코드를 포함하는 프롬프트를 구성합니다. Weave는 시그널의 분류기 프롬프트에 감지할 특정 문제에 대한 지침을 추가합니다.
• LLM 점수화: 각 시그널에 대해 Serverless Inference 모델이 이진 분류(해당 문제가 트레이스에 존재하는지 여부)를 수행합니다. 감지된 문제는 쉼표로 구분된 string 태그로 반환됩니다(예: "Low-quality, User-frustration, Forgetful").

같은 그룹(품질 또는 오류)의 여러 시그널이 활성화되면 Weave는 시그널을 하나의 LLM Call로 일괄 처리합니다. 모델은 모든 활성 분류기를 한 번에 평가하고 각각에 대한 결과를 반환합니다.

​

Monitors 페이지에서 시그널 추가

시그널을 추가하면 자동 점수화가 켜져 Weave가 해당 시그널의 기준에 따라 새 프로덕션 트레이스를 평가합니다. 시그널을 활성화하려면 다음 단계를 따르세요.

1. wandb.ai로 이동한 다음 Weave 프로젝트를 여세요.
2. Weave 프로젝트 사이드바에서 Monitors를 선택하세요.
3. Monitors가 활성화되지 않은 프로젝트에 시그널을 추가하려면 해당 Card를 클릭해 체크박스를 활성화한 다음 Setup monitors를 클릭하세요.
4. 기존 Monitor에 시그널을 추가하려면 Monitors 페이지 오른쪽 상단에서 Browse signals를 선택하세요. 그러면 Add signals 드로어가 열리며, 여기에는 사용 가능한 시그널이 범주(예: Quality classifiers 및 Error classifiers)별로 그룹화되어 각각 체크박스와 함께 나열됩니다. 개별 시그널을 선택하거나, 그룹에 대해 Enable all을 사용하거나, Create custom signal을 선택할 수 있습니다. 그런 다음 드로어 하단에서 Add signals를 선택하세요.

시그널을 추가하면 Weave가 들어오는 트레이스를 자동으로 점수화합니다.

​

활성 시그널 관리

시그널이 실행되기 시작한 후에는 어떤 시그널이 활성 상태인지 검토하거나 더 이상 필요하지 않은 시그널을 끌 수 있습니다. 활성 시그널을 확인하거나 제거하려면 다음 단계를 따르세요.

1. Monitors 페이지에서 Manage signals () 버튼을 선택하세요. 그러면 현재 활성 상태인 모든 시그널이 범주별로 그룹화되어 표시되는 드로어가 열립니다.
2. 시그널 위에 마우스를 올린 다음 Remove signal () 버튼을 선택해 해당 시그널을 비활성화하세요.

시그널을 제거하면 새 트레이스에 대한 점수화가 중지됩니다. Weave는 해당 시그널의 기존 점수를 유지합니다.

​

기본 제공 시그널 사용

시그널이 활성화되어 트레이스를 점수화하기 시작하면 Weave의 여러 위치에서 결과를 검토할 수 있습니다. Weave가 문제를 감지할 때 알림을 설정할 수도 있습니다. 다음 섹션에서는 시그널 결과를 어디에서 확인할 수 있는지와 그 결과에 어떻게 대응할 수 있는지 설명합니다.

​

Traces 페이지에서 태그가 지정된 Call 트레이스 보기

개별 함수를 @weave.op decorator를 사용하는 Ops로 트레이싱하는 경우, Weave는 signal 결과를 Call object의 feedback으로 저장합니다. 이러한 결과는 Traces 페이지에서 쿼리할 수 있습니다. Traces 페이지의 Signals column을 사용하면 특정 동작이 있는 트레이스를 확인할 수 있습니다. Signals column은 기준이 충족되면 tags를 표시합니다. 이 tags에 마우스를 올리면 score의 confidence와 추론을 확인할 수 있습니다. 트레이스 table 툴바를 사용하면 특정 signal이 트리거된 트레이스만 표시하도록 트레이스 table을 필터링할 수 있습니다. signal이 생성한 classifier Call을 선택하고 Trace Details view를 검토하면 Traces 페이지에서 추가 signal 세부 정보를 확인할 수 있습니다. Call Output 아래에서 추론은 classifier_meta를 확인하세요. 예를 들어, 다음 스크린샷은 Low-quality 일치와 confidence(0.9), 그리고 이 평가에 대한 이유가 포함된 Quality-classifiers signal을 보여줍니다.

​

프로젝트 대시보드에서 신호 보기

프로젝트 수준에서도 신호를 검토할 수 있습니다.

1. 프로젝트 사이드바에서 Project를 선택하세요.
2. Project 대시보드 상단에서 Weave 탭을 선택하세요.
3. Weave 대시보드 패널에서 Monitor Scores를 찾으세요.

Monitor Scores 프로젝트 패널에서는 프로젝트에서 발생한 신호를 시간 경과에 따른 그래프로 확인할 수 있습니다.

​

시그널 알림

UI에서 시그널을 검토하는 것 외에도, Weave는 시그널이 트리거될 때 알림을 보낼 수 있습니다. 에이전트의 성능이 특정 임곗값 아래로 떨어질 때 Slack과 같은 도구를 통해 팀에 알림을 보내는 자동 트리거를 설정할 수 있습니다. 시그널이 트리거될 때 알림을 받으려면 자동화를 설정하세요.

---

기본 제공 시그널만으로는 부족한 특정 모니터링이 필요하면 맞춤형 모니터 설정을 참조하세요.