エアギャップ Kubernetes へのデプロイ

​

はじめに

• セキュアな政府施設
• 厳格なネットワーク分離が求められる金融機関
• コンプライアンス要件のある医療機関
• 産業用制御システム (ICS) 環境
• 機密ネットワークを持つ研究施設

​

前提条件

​

バージョン要件

​

SSL/TLS 要件

​

ハードウェア要件

​

MySQL データベース

• AWS RDS Aurora MySQL
• Google Cloud SQL for MySQL
• Azure Database for MySQL

​

Redis

• Amazon ElastiCache
• Google Cloud Memorystore
• Azure Cache for Redis
• クラウドまたはオンプレミスのインフラストラクチャーでセルフホストする Redis

​

オブジェクトストレージ

• Amazon S3: スケーラビリティ、データ可用性、セキュリティ、パフォーマンスを備えたオブジェクトストレージサービスです。
• Google Cloud Storage: 非構造化データを大規模に保存するためのマネージドサービスです。
• Azure Blob Storage: 非構造化データを大規模に保存するためのクラウドベースのオブジェクトストレージです。
• CoreWeave AI Object Storage: AI ワークロード向けに最適化された S3互換オブジェクトストレージです。
• MinIO Enterprise (AIStor)、NetApp StorageGRID、その他のエンタープライズソリューションなどのエンタープライズ S3互換ストレージ。

​

エアギャップ環境固有の要件

• 内部コンテナーRegistry: 必要なすべての W&B コンテナーイメージを含むプライベートなコンテナーRegistry (Harbor、JFrog Artifactory、Nexus など) へのアクセス
• 内部 Helm リポジトリ: W&B Helm チャートを含むプライベートな Helm チャートリポジトリへのアクセス
• イメージ転送機能: インターネットに接続されたシステムからエアギャップ環境のRegistryにコンテナーイメージを転送するための手段
• ライセンスファイル: 有効な W&B Enterprise ライセンス。ライセンスを取得するには (たとえば、インターネットに接続されたマシンから取得する場合) 、要件ページの License セクションを参照するか、W&B の担当アカウントチームにお問い合わせください。

​

エアギャップ 環境を準備する

​

Step 1: 内部コンテナーRegistryを設定する

​

主要なW&Bコンポーネントのコンテナー

• docker.io/wandb/controller: W&B Kubernetes Operator。
• docker.io/wandb/local: W&Bアプリケーションサーバー。
• docker.io/wandb/console: W&B管理コンソール。
• docker.io/wandb/megabinary: W&Bマイクロサービス (API、executor、glue、parquet)。

​

依存コンテナー

• docker.io/bitnamilegacy/redis: テストおよび開発時のローカル Redis デプロイに必要です。本番 Redis の要件については、前提条件の Redis セクション を参照してください。
• docker.io/otel/opentelemetry-collector-contrib: メトリクスとログを収集するための OpenTelemetry エージェント。
• quay.io/prometheus/prometheus: メトリクス収集用の Prometheus。
• quay.io/prometheus-operator/prometheus-config-reloader: Prometheus の依存イメージ。

​

完全なイメージ一覧を取得する

1. インターネットに接続されたシステムで、W&B Helm charts リポジトリ から W&B Helm チャートをダウンロードします。
   # helm-charts リポジトリをクローンする
   git clone https://github.com/wandb/helm-charts.git
   cd helm-charts
   
2. values.yaml ファイルを確認し、すべてのコンテナーイメージとそのバージョンを特定します。
   # operator チャートからイメージ参照を抽出する
   helm show values charts/operator | grep -E "repository:|tag:" | grep -v "^#"
   
   # platform チャートからイメージ参照を抽出する
   helm show values charts/operator-wandb | grep -E "repository:|tag:" | grep -v "^#"
   
   または、次のコマンドを使用してリポジトリ名のみを抽出できます (バージョンタグは除く) 。
   helm show values charts/operator-wandb \
     | awk -F': *' '/^[[:space:]]*repository:/{print $2}' \
     | grep -v "^#" \
     | sort -u
   
   リポジトリの一覧は、次のようになります。
   wandb/controller
   wandb/local
   wandb/console
   wandb/megabinary
   wandb/weave-python
   wandb/weave-trace
   otel/opentelemetry-collector-contrib
   prometheus/prometheus
   prometheus-operator/prometheus-config-reloader
   bitnamilegacy/redis
   
   各イメージの具体的なバージョンタグを取得するには、上記の最初のコマンド (grep -E "repository:|tag:") を使用します。このコマンドでは、リポジトリ名と対応するバージョンタグの両方が表示されます。

​

イメージをエアギャップ環境の Registry に転送する

1. インターネットに接続されたシステムで、必要なイメージをすべて pull して保存します。
   以下の例にあるバージョン番号は、前の手順で Helm チャート を確認して特定した実際のバージョンに置き換えてください。ここに示しているバージョンはあくまで例であり、時間の経過とともに古くなります。
   シェル変数を使用して、バージョンを一貫して管理します。
   # バージョン変数を設定します（Helm chart のバージョンに合わせて更新してください）
   CONTROLLER_VERSION="1.13.3"
   APP_VERSION="0.59.2"
   CONSOLE_VERSION="2.12.2"
   
   # イメージを pull します
   docker pull wandb/controller:${CONTROLLER_VERSION}
   docker pull wandb/local:${APP_VERSION}
   docker pull wandb/console:${CONSOLE_VERSION}
   docker pull wandb/megabinary:${APP_VERSION}
   # ...必要な他のすべてのイメージも、それぞれのバージョンで pull します
   
   # イメージを .tar ファイルに保存します
   docker save wandb/controller:${CONTROLLER_VERSION} -o wandb-controller-${CONTROLLER_VERSION}.tar
   docker save wandb/local:${APP_VERSION} -o wandb-local-${APP_VERSION}.tar
   docker save wandb/console:${CONSOLE_VERSION} -o wandb-console-${CONSOLE_VERSION}.tar
   docker save wandb/megabinary:${APP_VERSION} -o wandb-megabinary-${APP_VERSION}.tar
   # ...他のすべてのイメージも保存します
   
2. .tar ファイルを、USB ドライブや安全なファイル転送など、承認済みの方法でエアギャップ環境に転送します。
3. エアギャップ環境で、イメージをロードし、内部 Registry に push します。
   # 上で使用したものと同じバージョン変数を設定します
   CONTROLLER_VERSION="1.13.3"
   APP_VERSION="0.59.2"
   CONSOLE_VERSION="2.12.2"
   INTERNAL_REGISTRY="registry.yourdomain.com"
   
   # イメージをロードします
   docker load -i wandb-controller-${CONTROLLER_VERSION}.tar
   docker load -i wandb-local-${APP_VERSION}.tar
   docker load -i wandb-console-${CONSOLE_VERSION}.tar
   docker load -i wandb-megabinary-${APP_VERSION}.tar
   # ...他のすべてのイメージもロードします
   
   # 内部 Registry 向けにタグ付けします
   docker tag wandb/controller:${CONTROLLER_VERSION} ${INTERNAL_REGISTRY}/wandb/controller:${CONTROLLER_VERSION}
   docker tag wandb/local:${APP_VERSION} ${INTERNAL_REGISTRY}/wandb/local:${APP_VERSION}
   docker tag wandb/console:${CONSOLE_VERSION} ${INTERNAL_REGISTRY}/wandb/console:${CONSOLE_VERSION}
   docker tag wandb/megabinary:${APP_VERSION} ${INTERNAL_REGISTRY}/wandb/megabinary:${APP_VERSION}
   # ...他のすべてのイメージにもタグ付けします
   
   # 内部 Registry に push します
   docker push ${INTERNAL_REGISTRY}/wandb/controller:${CONTROLLER_VERSION}
   docker push ${INTERNAL_REGISTRY}/wandb/local:${APP_VERSION}
   docker push ${INTERNAL_REGISTRY}/wandb/console:${CONSOLE_VERSION}
   docker push ${INTERNAL_REGISTRY}/wandb/megabinary:${APP_VERSION}
   # ...他のすべてのイメージも push します
   

​

Step 2: 内部 Helm チャートリポジトリを設定する

• W&B Operator chart
• W&B Platform chart

1. インターネットに接続されたシステムで、チャートをダウンロードします。
   # W&B Helm リポジトリを追加
   helm repo add wandb https://wandb.github.io/helm-charts
   helm repo update
   
   # チャートをダウンロード
   helm pull wandb/operator --version 1.13.3
   helm pull wandb/operator-wandb --version 0.18.0
   
2. .tgz のチャートファイルを エアギャップ 環境に転送し、リポジトリの手順に従って内部 Helm リポジトリにアップロードします。 operator チャートは W&B Kubernetes Operator (Controller Manager) をデプロイします。operator-wandb チャートは、Custom Resource (CR) で設定した値を使用して W&B Platform をデプロイします。

​

Step 3: Helm リポジトリへのアクセスを設定する

1. エアギャップ環境で、Helm が内部リポジトリを使用するように設定します。
   helm repo add local-repo https://charts.yourdomain.com
   helm repo update
   
2. チャートが利用可能であることを確認します。
   helm search repo local-repo/operator
   helm search repo local-repo/operator-wandb
   

​

エアギャップ環境に W&B をデプロイする

​

Step 4: Kubernetes Operator をインストールする

1. 次の内容で values.yaml ファイルを作成します。
   image:
     repository: registry.yourdomain.com/wandb/controller
     tag: 1.13.3
   
   airgapped: true
   
   repository と tag は、Step 1 で内部Registryに転送した実際のバージョンに置き換えてください。ここに示したバージョン (1.13.3) はあくまで例であり、時間の経過とともに古くなります。
2. operator と Custom Resource Definition (CRD) をインストールします。
   helm upgrade --install operator local-repo/operator \
     --namespace wandb \
     --create-namespace \
     --values values.yaml
   
3. operator が実行中であることを確認します。
   kubectl get pods -n wandb
   
   Running 状態の operator pod が表示されるはずです。

​

Step 5: MySQL データベースを設定する

CREATE USER 'wandb_local'@'%' IDENTIFIED BY '[PASSWORD]';
CREATE DATABASE wandb_local CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
GRANT ALL ON wandb_local.* TO 'wandb_local'@'%' WITH GRANT OPTION;

​

ステップ 6: W&B Custom Resource を設定する

apiVersion: apps.wandb.com/v1
kind: WeightsAndBiases
metadata:
  labels:
    app.kubernetes.io/instance: wandb
    app.kubernetes.io/name: weightsandbiases
  name: wandb
  namespace: wandb

spec:
  chart:
    url: https://charts.yourdomain.com
    name: operator-wandb
    version: 0.18.0

  values:
    global:
      host: https://wandb.yourdomain.com
      license: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
      
      bucket:
        accessKey: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
        secretKey: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
        name: s3.yourdomain.com:9000
        path: wandb
        provider: s3
        region: us-east-1
      
      mysql:
        database: wandb
        host: mysql.yourdomain.com
        password: [YOUR-MYSQL-PASSWORD]
        port: 3306
        user: wandb
      
      redis:
        host: redis.yourdomain.com
        port: 6379
        password: [YOUR-REDIS-PASSWORD]
      
      api:
        enabled: true
      
      glue:
        enabled: true
      
      executor:
        enabled: true
      
      extraEnv:
        ENABLE_REGISTRY_UI: 'true'

    # すべてのコンポーネントイメージを内部レジストリを使用するよう設定する
    app:
      image:
        repository: registry.yourdomain.com/wandb/local
        tag: 0.59.2

    console:
      image:
        repository: registry.yourdomain.com/wandb/console
        tag: 2.12.2

    api:
      image:
        repository: registry.yourdomain.com/wandb/megabinary
        tag: 0.59.2

    executor:
      image:
        repository: registry.yourdomain.com/wandb/megabinary
        tag: 0.59.2

    glue:
      image:
        repository: registry.yourdomain.com/wandb/megabinary
        tag: 0.59.2

    parquet:
      image:
        repository: registry.yourdomain.com/wandb/megabinary
        tag: 0.59.2

    weave:
      image:
        repository: registry.yourdomain.com/wandb/weave-python
        tag: 0.59.2

    otel:
      image:
        repository: registry.yourdomain.com/otel/opentelemetry-collector-contrib
        tag: 0.97.0

    prometheus:
      server:
        image:
          repository: registry.yourdomain.com/prometheus/prometheus
          tag: v2.47.0
      configmapReload:
        prometheus:
          image:
            repository: registry.yourdomain.com/prometheus-operator/prometheus-config-reloader
            tag: v0.67.0

    ingress:
      annotations:
        nginx.ingress.kubernetes.io/proxy-body-size: "0"
      class: nginx

• settingsMigrationJob
• weave-trace
• filestream
• flat-runs-table

​

ステップ 7: W&B Platform をデプロイする

1. プラットフォームをデプロイするには、W&B Custom Resource を適用します。
   kubectl apply -f wandb.yaml
   
2. デプロイの進行状況を監視します。
   # 作成中の pod を監視
   kubectl get pods -n wandb --watch
   
   # デプロイのステータスを確認
   kubectl get weightsandbiases -n wandb
   
   # operator のログを表示
   kubectl logs -n wandb deployment/wandb-operator-controller-manager
   
   operator が必要なコンポーネントをすべて作成するため、デプロイの完了までに数分かかる場合があります。

​

OpenShift の設定

​

OpenShift のセキュリティコンテキスト制約

​

オプション1: restricted SCCを使用する (推奨)

spec:
  values:
    # すべての pod にセキュリティコンテキストを設定する
    app:
      podSecurityContext:
        fsGroup: 1000
        runAsUser: 1000
        runAsNonRoot: true
      securityContext:
        allowPrivilegeEscalation: false
        capabilities:
          drop:
            - ALL
        runAsNonRoot: true
        seccompProfile:
          type: RuntimeDefault

    console:
      podSecurityContext:
        fsGroup: 1000
        runAsUser: 1000
        runAsNonRoot: true
      securityContext:
        allowPrivilegeEscalation: false
        capabilities:
          drop:
            - ALL
        runAsNonRoot: true
        seccompProfile:
          type: RuntimeDefault

    # 他のコンポーネントにも同様に繰り返す: api, executor, glue, parquet, weave

​

オプション 2: カスタム SCC を作成する (必要な場合)

apiVersion: security.openshift.io/v1
kind: SecurityContextConstraints
metadata:
  name: wandb-scc
allowHostDirVolumePlugin: false
allowHostIPC: false
allowHostNetwork: false
allowHostPID: false
allowHostPorts: false
allowPrivilegeEscalation: false
allowPrivilegedContainer: false
allowedCapabilities: []
defaultAddCapabilities: []
fsGroup:
  type: MustRunAs
  ranges:
    - min: 1000
      max: 65535
readOnlyRootFilesystem: false
requiredDropCapabilities:
  - ALL
runAsUser:
  type: MustRunAsRange
  uidRangeMin: 1000
  uidRangeMax: 65535
seLinuxContext:
  type: MustRunAs
supplementalGroups:
  type: RunAsAny
volumes:
  - configMap
  - downwardAPI
  - emptyDir
  - persistentVolumeClaim
  - projected
  - secret

1. SCC を適用します。
   oc apply -f wandb-scc.yaml
   
2. SCC を W&B のサービスアカウントに関連付けます。
   oc adm policy add-scc-to-user wandb-scc -z wandb-app -n wandb
   oc adm policy add-scc-to-user wandb-scc -z wandb-console -n wandb
   

​

OpenShift Routes

spec:
  values:
    ingress:
      enabled: false
    
    route:
      enabled: true
      host: wandb.apps.openshift.yourdomain.com
      tls:
        enabled: true
        termination: edge
        insecureEdgeTerminationPolicy: Redirect

​

OpenShift のイメージプル設定

1. イメージプルシークレットを作成します。
   kubectl create secret docker-registry wandb-registry-secret \
     --docker-server=registry.yourdomain.com \
     --docker-username=[USERNAME] \
     --docker-password=[PASSWORD] \
     --namespace=wandb
   
2. Custom Resource でこのシークレットを参照します。
   spec:
     values:
       imagePullSecrets:
         - name: wandb-registry-secret
   

​

OpenShift の完全な例

apiVersion: apps.wandb.com/v1
kind: WeightsAndBiases
metadata:
  name: wandb
  namespace: wandb

spec:
  chart:
    url: https://charts.yourdomain.com
    name: operator-wandb
    version: 0.18.0

  values:
    global:
      host: https://wandb.apps.openshift.yourdomain.com
      license: [YOUR-LICENSE]
      
      bucket:
        accessKey: [YOUR-ACCESS-KEY]
        secretKey: [YOUR-SECRET-KEY]
        name: s3.yourdomain.com:9000
        path: wandb
        provider: s3
        region: us-east-1
      
      mysql:
        database: wandb
        host: mysql.yourdomain.com
        password: [YOUR-MYSQL-PASSWORD]
        port: 3306
        user: wandb
      
      redis:
        host: redis.yourdomain.com
        port: 6379
        password: [YOUR-REDIS-PASSWORD]

    # OpenShift固有: IngressではなくRoutesを使用する
    ingress:
      enabled: false
    
    route:
      enabled: true
      host: wandb.apps.openshift.yourdomain.com
      tls:
        enabled: true
        termination: edge

    # 内部レジストリ用のイメージプルシークレット
    imagePullSecrets:
      - name: wandb-registry-secret

    # OpenShift制限付きSCC用のセキュリティコンテキスト
    app:
      image:
        repository: registry.yourdomain.com/wandb/local
        tag: 0.59.2
      podSecurityContext:
        fsGroup: 1000
        runAsUser: 1000
        runAsNonRoot: true
      securityContext:
        allowPrivilegeEscalation: false
        capabilities:
          drop:
            - ALL
        runAsNonRoot: true
        seccompProfile:
          type: RuntimeDefault

    console:
      image:
        repository: registry.yourdomain.com/wandb/console
        tag: 2.12.2
      podSecurityContext:
        fsGroup: 1000
        runAsUser: 1000
        runAsNonRoot: true
      securityContext:
        allowPrivilegeEscalation: false
        capabilities:
          drop:
            - ALL
        runAsNonRoot: true
        seccompProfile:
          type: RuntimeDefault

    # api、executor、glue、parquet、weaveにも同様のセキュリティコンテキストを設定する
    # （簡略化のため省略）

​

インストールを確認する

1. W&B CLI をインストールします:
   pip install wandb
   
2. W&B にログインします:
   wandb login --host=https://YOUR_DNS_DOMAIN
   
   例えば:
   wandb login --host=https://wandb.company-name.com
   
3. インストールを確認する:
   wandb verify
   

Default host selected:  https://wandb.company-name.com
Find detailed logs for this test at: /var/folders/pn/b3g3gnc11_sbsykqkm3tx5rh0000gp/T/tmpdtdjbxua/wandb
Checking if logged in...................................................✅
Checking signed URL upload..............................................✅
Checking ability to send large payloads through proxy...................✅
Checking requests to base url...........................................✅
Checking requests made over signed URLs.................................✅
Checking CORs configuration of the bucket...............................✅
Checking wandb package version is up to date............................✅
Checking logged metrics, saving and downloading a file..................✅
Checking artifact save and download workflows...........................✅

​

エアギャップ 環境での追加検証

1. イメージプル: すべての Pod が内部レジストリからイメージを正常にプルできていることを確認します。
   kubectl get pods -n wandb -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.phase}{"\t"}{.status.containerStatuses[*].image}{"\n"}{end}'
   
   すべてのイメージが内部レジストリを参照しており、すべての Pod が Running 状態である必要があります。
2. 外部接続: W&B が外部への接続を試みていないことを確認します (エアギャップ モードでは試行しないはずです) 。
   kubectl logs -n wandb deployment/wandb-app --tail=100 | grep -i "connection"
   
3. ライセンス検証: W&B コンソールにアクセスし、ライセンスが有効になっていることを確認します。

​

トラブルシューティング

​

イメージプルエラー

• イメージが内部Registryに存在することを確認してください。
• イメージプルシークレットが正しく設定されていることを確認してください。
• Kubernetes ノードからRegistryへのネットワーク接続を確認してください。
• Registryの認証情報を確認してください。

kubectl run test-pull --image=registry.yourdomain.com/wandb/local:0.59.2 --namespace=wandb
kubectl logs test-pull -n wandb
kubectl delete pod test-pull -n wandb

​

OpenShift の SCC エラー

# 使用されている SCC を確認する
oc get pod [POD-NAME] -n wandb -o yaml | grep scc

# サービスアカウントの権限を確認する
oc describe scc wandb-scc
oc get rolebinding -n wandb

​

Helm チャートが見つからない

• Custom Resource 内のチャートリポジトリ URL を確認します。
• operator の pod から内部 Helm リポジトリにアクセスできることを確認します。
• リポジトリ内にチャートが存在することを確認します:
  helm search repo local-repo/operator-wandb
  

​

よくある質問

​

別の ingress class を使用できますか？

spec:
  values:
    ingress:
      class: your-ingress-class

​

複数の証明書を含む証明書バンドルはどうすればよいですか

spec:
  values:
    customCACerts:
      cert1.crt: |
        -----BEGIN CERTIFICATE-----
        ...
        -----END CERTIFICATE-----
      cert2.crt: |
        -----BEGIN CERTIFICATE-----
        ...
        -----END CERTIFICATE-----

​

どうすれば自動更新を防止できますか

• operator のインストール時に airgapped: true を設定します (これにより自動更新のチェックが無効になります)。
• Custom Resource の spec.chart.version を手動で更新して、version の更新を管理します。
• 必要に応じて、W&B System Console から自動更新を無効にします。

​

このデプロイはパブリックリポジトリに接続しなくても動作しますか？

​

エアギャップ環境で W&B を更新するにはどうすればよいですか？

1. インターネットに接続されたシステムで新しいコンテナーイメージを取得します。
2. イメージをエアギャップ環境のRegistryに転送します。
3. 新しい Helm チャートを内部リポジトリにアップロードします。
4. Custom Resource の spec.chart.version とイメージタグを更新します。
5. 更新した Custom Resource を適用します。 operator は W&B コンポーネントのローリングアップデートを実行します。

​

次のステップ

• ユーザー認証を設定する: SSO またはその他の認証方式を設定します
• 監視を設定する: W&B インスタンスとインフラストラクチャーの監視を設定します
• 更新を計画する: Server upgrade process を確認し、更新の実施頻度を定めます
• バックアップを設定する: MySQL データベースのバックアップ手順を確立します
• プロセスを文書化する: ご利用の エアギャップ 環境向けの更新手順の runbook を作成します

​

サポートを受ける

• インフラストラクチャーに関するガイダンスは、リファレンスアーキテクチャを参照してください。
• 設定の詳細は、Operator ガイドを確認してください。
• W&B サポートまたは担当の W&B サポートエンジニアに連絡してください。
• OpenShift 固有の問題については、Red Hat OpenShift のドキュメントを参照してください。