아티팩트 저장소 및 메모리 할당 관리 - Weights & Biases Documentation

기본적으로 W&B는 미국에 위치한 비공개 Google Cloud Storage 버킷에 아티팩트 파일을 저장합니다. 모든 파일은 저장 시와 전송 시 모두 암호화됩니다. 민감한 파일의 경우 Private Hosting을 설정하거나 참조 아티팩트를 사용하는 것을 권장합니다. 트레이닝 중에 W&B는 로그, 아티팩트, 설정 파일을 다음 로컬 디렉터리에 저장합니다:

파일	기본 위치	기본 위치를 변경하려면 다음을 설정:
로그	`./wandb`	`wandb.init()`의 `dir` 또는 `WANDB_DIR` 환경 변수
아티팩트	`~/.cache/wandb`	`WANDB_CACHE_DIR` 환경 변수
설정	`~/.config/wandb`	`WANDB_CONFIG_DIR` 환경 변수
업로드용 스테이징 아티팩트	`~/.cache/wandb-data/`	`WANDB_DATA_DIR` 환경 변수
다운로드된 아티팩트	`./artifacts`	`WANDB_ARTIFACT_DIR` 환경 변수

환경 변수를 사용해 W&B를 설정하는 전체 가이드는 environment variables reference를 참조하세요.

wandb가 초기화되는 머신에 따라 이러한 기본 폴더가 파일 시스템의 쓰기 가능한 위치에 없을 수 있습니다. 이 경우 오류가 발생할 수 있습니다.

로컬 아티팩트 캐시 정리

W&B는 공통 파일을 공유하는 여러 버전에서 다운로드 속도를 높이기 위해 아티팩트 파일을 캐시합니다. 시간이 지나면 이 캐시 디렉터리의 크기가 커질 수 있습니다. 캐시를 정리하고 최근에 사용되지 않은 파일을 제거하려면 wandb artifact cache cleanup command를 실행하세요. 다음 코드 스니펫은 캐시 크기를 1GB로 제한하는 방법을 보여줍니다. 코드 스니펫을 터미널에 복사하여 붙여넣으세요:

$ wandb artifact cache cleanup 1GB