summary 메트릭 로깅

트레이닝 중 시간에 따라 변하는 값 외에도 모델이나 전처리 단계를 요약하는 값을 추적해야 하는 경우가 많습니다. 이 정보는 run의 summary 속성에 저장합니다. run의 summary 속성은 NumPy 배열, PyTorch 텐서 또는 TensorFlow 텐서를 처리할 수 있습니다. W&B는 NumPy 배열, PyTorch 텐서 및 TensorFlow 텐서를 바이너리 파일로 유지합니다. wandb.Run.log()로 마지막으로 로깅한 값은 자동으로 run의 summary 딕셔너리에 설정됩니다. summary 메트릭 딕셔너리를 수정하면 이전 값은 손실됩니다. 활성 run 중 또는 run이 완료된 후에 summary 메트릭을 로깅할 수 있습니다.

run 중
run 후

다음 코드 스니펫은 W&B에 맞춤형 summary 메트릭을 제공하는 방법을 보여 줍니다.

import wandb
import random

# run이 기록되는 프로젝트
project = "summary-demo"
entity = "<your-entity>" # W&B entity 이름으로 바꾸세요

# 하이퍼파라미터 딕셔너리
config = {
    'epochs' : 10,
    'lr' : 0.01
}

with wandb.init(entity=entity, project=project, config=config) as run:
    offset = random.random() / 5
    print(f"lr: {config['lr']}")

    # 트레이닝 run 시뮬레이션
    for epoch in range(2, config['epochs']):
        acc = 1 - 2**-config['epochs'] - random.random() / config['epochs'] - offset
        loss = 2**-config['epochs'] + random.random() / config['epochs'] + offset
        print(f"epoch={config['epochs']}, accuracy={acc}, loss={loss}")
        run.log({"accuracy": acc, "loss": loss})

        if epoch % 5 == 0:
            run.summary["best_accuracy"] = acc
            run.summary["best_loss"] = loss

트레이닝이 완료된 후 기존 W&B Run의 summary 속성을 업데이트할 수 있습니다. summary 속성을 업데이트하려면 W&B Public API를 사용하세요.

api = wandb.Api()
run = api.run("entity/project/run_id")
run.summary["tensor"] = np.random.random(1000)
run.summary.update()

다음 이미지는 위 코드 스니펫을 복사하여 실행했을 때 summary 메트릭이 어떻게 표시될 수 있는지 보여 줍니다.

summary 메트릭 사용자 지정

맞춤형 summary 메트릭은 트레이닝 중 최적의 step에서 모델 성능을 run.summary에 기록하는 데 유용합니다. 예를 들어, 최종 값 대신 최대 정확도나 최소 손실 값을 기록하고 싶을 수 있습니다. 기본적으로 summary는 이력의 최종 값을 사용합니다. summary 메트릭을 사용자 지정하려면 define_metric에 summary 인수를 전달하세요. 이 인수에는 다음 값을 사용할 수 있습니다:

"min"
"max"
"mean"
"best"
"last"
"none"

"best"는 선택 인수인 objective도 "minimize" 또는 "maximize"로 설정한 경우에만 사용할 수 있습니다. 다음 예제는 summary에 손실과 정확도의 최솟값 및 최댓값을 추가합니다:

import wandb
import random

random.seed(1)

with wandb.init() as run:
    # loss의 최솟값 및 최댓값 summary
    run.define_metric("loss", summary="min")
    run.define_metric("loss", summary="max")

    # accuracy의 최솟값 및 최댓값 summary
    run.define_metric("acc", summary="min")
    run.define_metric("acc", summary="max")

    for i in range(10):
        log_dict = {
            "loss": random.uniform(0, 1 / (i + 1)),
            "acc": random.uniform(1 / (i + 1), 1),
        }
        run.log(log_dict)

summary 메트릭 보기

활성 run 중이거나 기존 run 또는 로컬 파일 시스템에서 W&B App을 통해 run summary에 액세스할 수 있습니다.

Run 개요
Run 테이블
run 중
기존 run
로컬 파일 시스템

W&B App으로 이동합니다.
프로젝트 사이드바에서 Workspace 탭을 선택합니다.
summary 값을 로깅한 run을 클릭합니다. 기본적으로 개요 탭이 표시된 run 페이지가 열립니다.
Summary 섹션에서 summary 값을 확인합니다.

다음 이미지는 위 코드 스니펫을 복사해 실행했을 때 개요 탭에 표시될 수 있는 summary 메트릭의 예시를 보여 줍니다.

활성 run 중에 run의 summary 값에 액세스하려면 wandb.Run.summary를 사용합니다. 이 속성은 키-값 쌍으로 구성된 딕셔너리를 반환합니다.다음 예시는 run summary에 액세스하는 방법을 보여 줍니다. "<my-project>"를 W&B 프로젝트 이름으로 바꾸세요.

import wandb

with wandb.init(project="<my-project>", config=config) as run:
  run.log({"accuracy": 0.9, "loss": 0.1})

  print(run.summary)  # summary 딕셔너리를 출력합니다

W&B Public API를 사용하여 wandb.Api.Run.summary 속성으로 summary 메트릭에 액세스합니다.다음 코드 예시는 W&B Public API와 pandas를 사용해 특정 run에 로깅된 summary 값을 조회하는 방법을 보여 줍니다.

import wandb
import pandas

entity = "<your-entity>"
project = "<your-project>"
run_name = "<your-run-name>" # summary 값이 있는 run의 이름

all_runs = []

for run in api.runs(f"{entity}/{project_name}"):
    print("Fetching details for run: ", run.id, run.name)
    run_data = {
              "id": run.id,
              "name": run.name,
              "url": run.url,
              "state": run.state,
              "tags": run.tags,
              "config": run.config,
              "created_at": run.created_at,
              "system_metrics": run.system_metrics,
              "summary": run.summary,
              "project": run.project,
              "entity": run.entity,
              "user": run.user,
              "path": run.path,
              "notes": run.notes,
              "read_only": run.read_only,
              "history_keys": run.history_keys,
              "metadata": run.metadata,
          }
    all_runs.append(run_data)
  
# DataFrame으로 변환  
df = pd.DataFrame(all_runs)

# 열 이름(run)을 기준으로 행을 가져와 딕셔너리로 변환
df[df['name']==run_name].summary.reset_index(drop=True).to_dict()

프로젝트의 여러 run에 대한 summary 메트릭에 액세스하려면 api.runs()에서 반환된 run을 반복합니다.

import wandb

api = wandb.Api()
runs = api.runs("<entity>/<project>")

for run in runs:
    print(f"Run name: {run.name}")
    print(f"Run ID: {run.id}")
    print(f"Run summary: {dict(run.summary)}")
    print("----------")

다음 JSON 객체는 run summary의 예시를 보여 줍니다.

Run name: clean-oath-11
Run ID: mt2dasoz
Run summary: {'_runtime': 3, '_step': 1000, '_timestamp': 1778541534.834642, '_wandb.runtime': 3, 'train/epoch_ndx': 1000, 'train/train_loss': 0.25498124957084656}

Run name: zesty-snowball-7
Run ID: qne08r7u
Run summary: {'_runtime': 3, '_step': 1000, '_timestamp': 1776714833.636171, '_wandb.runtime': 3, 'train/epoch_ndx': 1000, 'train/train_loss': 0.24914199113845825}

W&B는 run 디렉터리의 wandb-summary.json 파일에 run summary 값을 저장합니다. 로컬에서 summary 값을 확인하려면 wandb-summary.json 파일을 엽니다.기본적으로 W&B는 다음 위치에 run 디렉터리를 저장합니다: ./wandb/run-<timestamp>-<run_id>.

가이드

인테그레이션

레퍼런스

summary 메트릭 사용자 지정

summary 메트릭 보기

​summary 메트릭 사용자 지정

​summary 메트릭 보기

summary 메트릭 사용자 지정

summary 메트릭 보기