Beyond AI Sandbox利用マニュアル

1. はじめに

Beyond AI推進機構では、AIモデル構築のスピードUP、研究推進を効率化を目的に各研究プロジェクト共通のサーバー環境を提供しています。

2021年4月1日に実施された説明会の動画および利用規約の確認の上ご利用ください。

● 説明会動画

※再生用のパスワードは運営に別途お問い合わせください。

https://us02web.zoom.us/rec/share/5funDf0RC9zYKbzfg6Xex9lXf4EGzjcB_1EO6dT_ RBx8QZkJW3v9YslGGW1kmp0B.DKbRYExIQjscnihr

● 利用規約

https://drive.google.com/file/d/1uMb9G2GgwRcT1lovTDPWndJ1hDuf2Kmg/view?usp =sharing

1.1 アカウント申請

1. 研究リーダーの承認の後、申請フォームにて申請を行ってください。

申請フォーム

https://docs.google.com/forms/d/e/1FAIpQLSdIOL7fZA2DWCLip1nsKoMzKJGpqf6-T kz5kGSICBUTz9SUcA/viewform

2. 以下の承認フローが完了次第アカウント作成処理が開始されます。

3. アカウントの作成が完了すると以下のようなメールが届きますので指示に従いGPUサーバのパスワード変更まで進めてください。

セキュリティの都合上、GPUサーバーはインターネットから隔離されています。踏み台サーバーへまずログインを行った後、GPUサーバへログインを行います。踏み台サーバーまでのログイン方法はアカウント申請時に作成した公開鍵を使い、こちらを参考に実施ください。

https://www.issp.u-tokyo.ac.jp/supercom/for-users/ssh_publickey

踏み台サーバ経由でGPUサーバへログイン後、メール記載されたルールに従いパスワードを変更してください。

※パスワード変更はyppasswdコマンドになりますのでご注意ください。

件名：Beyond AI Sandbox ユーザー登録完了のご連絡

本文：

1.2 初期設定

● プロキシ・トンネル設定

パスワード変更が完了したら、以下のファイルを参照にシェルスクリプト(Bashの場合. bashrcなど）にインターネットへ繋げるためのプロキシ設定を実施ください。トンネル設定は必要の応じて実施ください。同封資料：[GPUサーバー利用マニュアル](SSH_step.pdf)

2. 利用について

※本章の設定はすべてオプションとなります。必要に応じて設定し利用ください。

Python環境構築とプログラム実行のながれについては以下の資料を参照ください。同封資料：[Python環境構築と実行の流れ](python20210325.pdf)

anaconda以外のpython環境を使う場合はこちらも参考にしてください

● pyenv導入はこちら

https://github.com/pyenv/pyenv#readme

● python version3.3より軽量な仮想環境モジュールがサポートされています。 https://docs.python.org/ja/3/library/venv.html

2.1 Jupyterlab設定

踏み台サーバー設定マニュアルに記載されているとおり、ポートフォワーディングの設定をおこなうとローカル環境でサーバー上に起動しているjupyterlabへアクセスが可能です。同封資料：[GPUサーバー利用マニュアル](SSH_step.pdf)

2.2 Slurmについて

2.2.1 Slurmとは

Slurm Workload Manager（旧称：Simple Linux Utility for Resource Management、SLURM）またはSlurmは、LinuxおよびUnix系のカーネルのためのフリーでオープンソースなジョブスケジューラーである。

Wikipedia https://ja.wikipedia.org/wiki/Slurm_Workload_Manager より

2.2.2 公式ドキュメンテーション

https://slurm.schedmd.com/documentation.html

2.2.3 計算実行方法

[Slurmを用いた計算実行方法](Slurm20210325.pdf)

こちらの資料に補足する形で本資料では説明を記載します。

Slurmコマンドマニュアルやドキュメントページなどの参考情報は上記資料の最終ページに記載があるのでそちらを参照ください。

● インストールバージョン

20.11.4

2.3 VS Codeでのリモート開発について

初期設定のトンネル設定まで完了後実施してください。

ローカル環境にインストールしたVS Codeの画面左「Extension」画面より「Remote Development」を検索し拡張機能をインストールします。

実際のリモート環境への接続、VS Codeでの使い方はこちらを参考ください。 https://code.visualstudio.com/docs/remote/ssh-tutorial

2.4 JupyterHub利用について

当環境では、JupyterHubの利用が可能です。

2.4.1 Jupyter Hubにういて

JupyterHub is the best way to serve Jupyter notebook for multiple users. It can be used in a class of students, a corporate data science group or scientific research group. It is a multi-user Hub that spawns, manages, and proxies multiple instances of the single-user Jupyter notebook server.

https://jupyterhub.readthedocs.io/en/stable/

2.4.2 ログイン

https://jupyter.beyondai.jp/

こちらへアクセスし、あらかじめ取得したユーザーIDとパスワードを入力します。