🧪 Beyond AI SANDBOX
Beyond AIで運営する高性能GPU「SANDBOX」を用いた2024年の取り組みまとめ (2024年12月22日)
概要
**Beyond AI SANDBOX(以下SANDBOX)**は、NVIDIAのDGXインフラストラクチャを用いた、Beyond AI研究者向けの高パフォーマンスなGPU計算環境です。
💡 お知らせ 移設およびメンテナンス期間が終了し、現在は通常通り運用を再開しております。
本ドキュメントでは、SANDBOX環境へ 安全に接続し、GPU計算を実行するまでの基本的な流れを説明します。
利用全体像(接続・実行フロー)
SANDBOX環境では、セキュリティ確保および計算資源の安全な運用の観点から、GPUサーバー(sv-gpu01等)からの外部インターネット接続は制限(遮断)されています。
そのため、外部ネットワーク(ローカルPC等)から接続する際は、以下のように 段階的にサーバーを経由して計算を実行します。
利用手順(概要)
1. 踏み台サーバーに接 続
外部からアクセス可能な踏み台サーバー(sv-step1)にSSHでログインします。
必要なライブラリやモデルデータ等のダウンロードが必要な場合は、インターネット接続が可能なこのサーバー上、またはローカルPC上で事前に行います。
2. ログインノードにログイン
踏み台サーバーを中継し、GPUログインノード(sv-gpu01)へログインします。
ログインノード内は、ソースコードの編集、データ転送の確認、Slurm によるジョブ管理を行うユーザーの作業起点となります。
3. Slurm でGPUノードを確保して実行
ログインノードから直接重い計算処理を実行することは禁止されています。必ず Slurm(スケジューラー) を通じて計算用ノードを確保し、GPU処理を実行してください。
❓ よくある質問(Q&A)
ユーザーの皆様から多く寄せられる質問と解決策をまとめています。
Q. GPUサーバー(sv-gpu01等)からインターネットに接続できません。プロキシ(3128番ポート)への疎通も「No route to host」になります。
A. 本Sandbox環境では、セキュリティ確保および計算資源の安全な運用の観点から、GPUサーバーから外部インターネット(プロキシ経由含む)への直接の接続は原則として制限(遮断)しております。 そのため、疎通エラーが発生するのはシステム上の意図した挙動となります。
パッケージのインストールやモデルデータ等のダウンロードが必要な場合は、以下のいずれかの方法でご対応ください。
- 踏み台サーバー経由でのファイル転送: インターネット接続が可能な踏み台サーバー(
sv-step1)やローカル環境へ一度ファイルをダウンロードし、scp等のコマンドを用いてGPUサーバー内(/home/配下など)へ転送の上、オフラインでインストール等を実施してください。 - 個別相談: 研究・業務の要件上、どうしても直接の通信が必要で上記代替案での対応が難しい場合は、個別に対応を検討いたしますので管理者までご相談ください。
Q. スケジューラー(Slurm)でのジョブの実行状況やノードのステータスを確認するにはどうすればよいですか?
A. ログインノードにて、以下のコマンドを実行することで確認可能です。
- ジョブの実行状況・キューの確認:
squeue - ノード全体の稼働ステータス確認:
sinfo
📖 利用マニュアル(参考・旧環境向け)
以下のマニュアルは旧環境向けに作成された古い内容となっております。現在の環境とは一部異なる部分があるため、あくまで参考程度にご参照ください。