学術論文
以下の論文では、Sweeps で使用されるハイパーパラメーター最適化手法を支えるアルゴリズムの背景を説明しています。 Li, Lisha, ほか. “Hyperband: A novel bandit-based approach to hyperparameter optimization.” The Journal of Machine Learning Research 18.1 (2017): 6765-6816.Sweeps の実験
以下のW&B Reportsでは、Sweepsを使ったハイパーパラメーター最適化を探るプロジェクトを紹介しています。- Drought Watch Benchmark Progress
- 説明: ベースラインを構築し、Drought Watchベンチマークへの提出内容を検討します。
- Tuning Safety Penalties in Reinforcement Learning
- 説明: パターン作成、パターン除去、navigationの3つの異なるタスクについて、異なる副作用ペナルティでトレーニングしたagentを検証します。
- Meaning and Noise in Hyperparameter Search with W&B Stacey Svetlichnaya
- 説明: シグナルとパレイドリア (実在しないパターンの見間違い) をどのように見分けるのでしょうか。この記事では、W&Bで何が可能かを示し、さらなる探究のきっかけを提供します。
- Who is Them? Text Disambiguation with Transformers
- 説明: Hugging Faceを使って、自然言語理解のためのモデルを探ります。
- DeepChem: Molecular Solubility
- 説明: ランダムフォレストとディープネットを使って、分子構造から化学特性を予測します。
- Intro to MLOps: Hyperparameter Tuning
- 説明: ハイパーパラメーター最適化が重要な理由を探り、機械学習モデルのハイパーパラメーター調整を自動化する3つのアルゴリズムを検証します。
ハウツーガイド
以下のハウツーガイドでは、W&B を使って実際の課題を解決する方法を紹介します。- XGBoost を使った Sweeps
- 説明: XGBoost を使用したハイパーパラメーター調整に Sweeps を使う方法。