Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

英版の追加他 #1297

Merged
merged 33 commits into from
Nov 28, 2024
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
33 commits
Select commit Hold shift + click to select a range
0c7a08d
Update notice.yml
lodairh Nov 26, 2024
4a7bd63
Merge branch 'utelecon:master' into master
lodairh Nov 26, 2024
a858911
Create index.mdx
lodairh Nov 27, 2024
9f5d950
Create tmp
lodairh Nov 27, 2024
09a8e81
Add files via upload
lodairh Nov 27, 2024
5299e93
Delete src/pages/research_computing/utokyo_azure/ai/img/tmp
lodairh Nov 27, 2024
4a9be0c
Create azureai.mdx
lodairh Nov 27, 2024
d30f179
Create openai.mdx
lodairh Nov 27, 2024
da9184e
Create python.mdx
lodairh Nov 27, 2024
d12e78d
Create quota.mdx
lodairh Nov 27, 2024
2c11da8
Update index.mdx
lodairh Nov 27, 2024
9dca5a9
Merge pull request #31 from UTokyo-Azure/sasakiedit
lodairh Nov 27, 2024
0409de0
Delete src/pages/research_computing/utokyo_azure/openai directory
lodairh Nov 27, 2024
7da8605
Create aml.mdx
lodairh Nov 27, 2024
3643283
Create en/research_computing/index.mdx
lodairh Nov 27, 2024
e514d7f
Create en/research_computing/utokyo_azure/index.mdx
lodairh Nov 27, 2024
c706a44
Merge branch 'utelecon:master' into sasakiedit
lodairh Nov 27, 2024
1f45a73
Update index.mdx
lodairh Nov 27, 2024
463e42b
Delete src/pages/research_computing/utokyo_azure/ai/aml.mdx
lodairh Nov 27, 2024
86f16f5
Update index.mdx
lodairh Nov 27, 2024
a7b0ea1
Merge pull request #32 from UTokyo-Azure/sasakiedit
lodairh Nov 27, 2024
a6f3c70
Create aiaml.mdx
lodairh Nov 27, 2024
5af01de
Rename src/pages/research_computing/utokyo_azure/aiaml.mdx to src/pag…
lodairh Nov 27, 2024
ae73706
Add files via upload
lodairh Nov 27, 2024
7103f37
Update index.mdx
lodairh Nov 27, 2024
5d50eb0
Update aml.mdx
lodairh Nov 27, 2024
223350c
Merge pull request #33 from UTokyo-Azure/sasakiedit
lodairh Nov 27, 2024
9d831e9
Update index.mdx
lodairh Nov 28, 2024
d44debb
Merge branch 'utelecon:master' into master
lodairh Nov 28, 2024
d4712ee
Update index.mdx
lodairh Nov 28, 2024
9660707
Update index.mdx
lodairh Nov 28, 2024
9b8be06
Merge pull request #34 from UTokyo-Azure/sasakiedit
lodairh Nov 28, 2024
b5d4efd
Update index.mdx
lodairh Nov 28, 2024
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion src/data/notice.yml
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@
-
date: 2024-11-26
content:
ja: "12/1から[UTokyo Azure](/research_computing/utokyo_azure/) のサービスを開始します"
ja: "12/2から[UTokyo Azure](/research_computing/utokyo_azure/) のサービスを開始します"
en: "We are going to launch [UTokyo Azure](/research_computing/utokyo_azure/), starting from December 1."
-
date: 2024-11-15
Expand Down
14 changes: 14 additions & 0 deletions src/pages/en/research_computing/index.mdx
Original file line number Diff line number Diff line change
@@ -0,0 +1,14 @@
---
title: "High-performance computing and data utilization platform"
breadcrumb:
title: "High-performance computing and data utilization platform"
---

The University of Tokyo provides high-performance computing and data utilization infrastructure that can be used by faculty and students on campus for research and learning.

## [mdx(a platform for building data-empowered society)](https://mdx.jp/)
Collaboration between multiple fields and sectors is required to be able to utilize data and apply it to benefit society at large. As a major step toward that end, the mission of mdx is to enable academia (universities and national research institutions), industry, and government to collaborate rapidly, closely and efficiently by sharing knowledge of data and information sciences, knowledge and culture in specific fields, data and software, and a computational infrastructure that runs the necessary software
## [Wisteria/BDEC-01(Integrated Supercomputer System for Simulation, Data and Learning)](https://www.cc.u-tokyo.ac.jp/en/supercomputer/wisteria/service/)
With the purpose of contributing to academic research, education, and society, the computers operated by the Information Technology Center are used jointly by university faculty members, graduate students, undergraduate students and researchers affiliated with various universities and research institutes, as well as for high-performance computing exercises by graduate and undergraduate students.
## [UTokyo Azure](utokyo_azure)
The University of Tokyo has signed a strategic memorandum of understanding (MOU) to cooperate with Microsoft Corporation. This service is an on-campus Microsoft Azure service provided by Information Technology Center under this MOU with funding from Microsoft.
44 changes: 44 additions & 0 deletions src/pages/en/research_computing/utokyo_azure/index.mdx
Original file line number Diff line number Diff line change
@@ -0,0 +1,44 @@
---
Title: "UTokyo Azure"
breadcrumb:
title: "UTokyo Azure"
---

## About UTokyo Azure

In August 2023, the University of Tokyo and Microsoft entered into a basic agreement regarding future collaboration [(News release)](https://www.u-tokyo.ac.jp/focus/en/articles/z1701_00013.html), and based on this agreement, Microsoft will provide the University of Tokyo with credits for using Microsoft's cloud service Azure. A donation (gift) was made.

UTokyo Azure is the name of the service that allows the University of Tokyo members to widely use Microsoft Azure cloud services using gift credits. For Microsoft Azure

- Virtual machine service for running Linux and Windows and more environments
- A service that operates multiple Linux servers as a cluster (high-performance computing environment)

In addition,

- Browser-based computing environment such as Jupyter Notebook
- Services that use Openai AI systems via a browser, and services that use it in API

Also provided. In addition, as a type of computer, a wide variety of CPUs, GPUs can be selected, and can be used in various uses and fields.

## Policy / Goal

Operation is performed by the Information Technology Center, the Information System Department, and the Information System Headquarters. The basic policies and goals for providing are as follows.

- By lowering the threshold for starting to use the service and shortening the time lag, we hope that many people, including first-time users, will use it, and we will eliminate the cost and time required to procure computers that would otherwise be necessary, and our university's services. Contributing to the acceleration of research.
- Select the services that can be used on the operation side, and make the services available in Azure widely available without narrowly limiting them.
- In principle, all services provided by Microsoft Azure will be available as is (the operations department will not intervene in individual users' environments).
- However, services that are deemed difficult to provide due to contractual or operational reasons may not be provided.
- Services that can easily become expensive or large-capacity may be prohibited by default.
- There is a plan for operators to prepare a standard environment of a certain scale to support users who want to use standard use cases without the hassle of setting up an environment.
- Since gift credits are limited, the amount of gift credits consumed across the university will be controlled and can be used free of charge within that range. If usage exceeds the set target amount, users may be charged according to the excess amount. For details, please refer to the terms of use and fee regulations.

## Try using it
- You can immediately log in to the [Azure Portal](https://portal.azure.com/) using your UTokyo Account. You can check in advance what services are available to you without consuming credits.
- To actually start using UTokyo Azure, you will need to open a "subscription" for this service that is linked to your account. To do this, first apply on the [UTokyo Azure:New Application](https://azure.itc.u-tokyo.ac.jp/) Page.

## Contact as
Support request:Microsoft Azure staff
- [Create support request ticket](https://portal.azure.com/#view/Microsoft_Azure_Support/HelpAndSupportBlade/~/overview)

UTokyo Azure Support
- [email protected]
136 changes: 136 additions & 0 deletions src/pages/research_computing/utokyo_azure/ai/aml.mdx
Original file line number Diff line number Diff line change
@@ -0,0 +1,136 @@
---
title: "Azure Machine Learning : UTokyo Azure 利用例"
breadcrumb:
title: "Azure Machine Learning"
---

## 概要
{:#about}

Azure Machine Learning なら Jupyter notebook のようなインタフェースで GPU を使った Python プログラミング等ができます.
このページは Azure Machine Learning を本サービスで利用する場合の初期手続き例です.

## 1.サービスを選択する
{:#select_service}

<div class="box">
- まだサブスクリプションをお持ちでない場合は,事前に以下サイトよりサブスクリプションを申請してください.
- [UTokyo Azure新規利用申請ページ](http://azure.itc.u-tokyo.ac.jp/) ※学内アクセス限定.UTokyo Account 所持者のみログイン可
</div>

- [Azure portal](https://portal.azure.com/)に[UTokyo Account](/utokyo_account/)でログインし、リソースの欄に申請したサブスクリプションがあることを確認してください.(新規申請された場合は表示されるようになるまで時間がかかります)

- Azureサービスの一覧の中から`Azure Machine Learning`を選択します.
- 一覧に無い場合、一覧の右にある`その他のサービス`を選択、左側にあるリストから`AI + Machine Learning`を選択すると, 右側に表示されるメイン画面の`Azure AI + Machine Learning platforms`の中にあります.

![](img/01_aml1.png){:.medium.center.border}

- Azure Machine Learning のメインページが表示されたら,画面左上にある`+作成`をクリックします.
- `新しいワークスペース`と`新しいレジストリ`の選択肢が表示されますが,ここでは`新しいワークスペース`として進めます.

## 2.Azure Machine Learning のワークスペースを構成する
{:#amlproject}

<div class="box">
**補足**:説明のない項目は,基本的に初期設定のままで構成することを前提としています.
</div>

### 基本パート
{:#base}

#### リソースの詳細

- **サブスクリプション**:事前に申請したサブスクリプションがすでに設定されていますので、通常はそのままで問題ありません.設定が無い場合はサブスクリプションが作成完了しているかどうか確認ください.
- **[リソースグループ](https://learn.microsoft.com/ja-jp/azure/azure-resource-manager/management/manage-resource-groups-portal)**:ここでは新規に`aml_resource_group`というリソースグループ名で作成し,以下に作成される各リソースをまとめます.まとめられたリソースは,権限の継承や削除などを一括で対応することが可能となります.

#### ワークスペースの詳細

- **名前**:リソースのポータルでの名称を設定します.ここでは`testworkspace`としています.
- それ以外の必須項目は自動入力されるので,ここではそのまま進めます.

![](img/02_aml2.png){:.medium.center.border}

### ネットワーク、暗号化、ID、タグの各パート
{:#etcpart}

ここでは初期設定のまま進めます.

- 最後に`確認及び作成`をクリックします.

### 確認及び作成パート
{:#execute}

ポータルによる検証が成功したら,画面左下の`作成`ボタンをクリックし,しばらくしてデプロイが正常に完了しましたら,`リソースに移動`をクリックしてください.

![](img/03_aml3.png){:.medium.center.border}

AI ハブ のトップページに遷移するので,`スタジオの起動`をクリックしてください.

![](img/04_aml4.png){:.medium.center.border}


ここからは **Machine Learning Studio** の環境で進めます.

## 3.テスト用のマシンを作成する

一度ワークススペースを作成すれば他のユーザと共有が可能となり,共有ユーザーは画面の Users の下に他のユーザのフォルダが表示されます.ただし Notebook を利用するには各自が実行用の仮想マシンをワークスペース内に作らなければなりません.
そこでプログラムを実行するマシンを用意します.

- トップページ画面左側のリストから,`Notebook`をクリックします.

![](img/05_aml5.png){:.medium.center.border}

- `コンピューティングの作成`をクリックしてください.

![](img/06_aml6.png){:.medium.center.border}

### コンピューティング インスタンスの作成

#### 必須の設定

- **コンピューティング名**:適当な名前を命名ください.注意点として,マシンが置かれるリージョン内でユニークである必要があるので,すでにある名前とエラーになった場合は別の名前をお試しください.
- その他の項目は初期選択のままで進めます.

![](img/07_aml7.png){:.medium.center.border}

#### スケジュール設定、セキュリティ、アプリケーション、タグ

- この構成では初期値のまま進めます.

#### 作成

- `確認と作成`をクリックしてください.レビュー(確認画面)になりますので,そのまま`作成`をクリックしてください.
- 画面上部に作成中である旨表示され,それが消えたら作成完了です.
- 左の一覧から`コンピューティング`を選択すると,作成したマシンのステータスが表示されます.

![](img/08_aml8.png){:.medium.center.border}


## 4.ファイルを作成する

Python 等のコードを書くためのファイルを作成します.

- `Notebook`の画面で`+ファイル`から`新しいファイルの作成`をクリックしてください.

![](img/09_aml9.png){:.medium.center.border}


- ファイル名を入力して`作成`をクリックしてください.

![](img/10_aml10.png){:.medium.center.border}


- 以下の図のような感じでファイルが作成されます.ここに,Notebook ライクで Python のコードを入力することができます.

![](img/11_aml11.png){:.medium.center.border}


## 4.一時休止

**仮想マシンはそのままにすると無料保証枠を消費していく**ので.終了時には仮想マシンを止めておきます.

- ファイル編集画面の上部に、`コンピューティングの停止`ボタンがあるのでクリックする.

![](img/12_aml12.png){:.medium.center.border}

- 確認のウィンドウが表示されるので,`確認`をクリックして停止する.
Original file line number Diff line number Diff line change
@@ -1,5 +1,7 @@
---
title: "Azure AI Studio : UTokyo Azure 利用例"
breadcrumb:
title: "Azure AI Studio"
---

## 概要
Expand Down Expand Up @@ -131,6 +133,6 @@ AI ハブ のトップページに遷移するので,`Azure AI Studioの起動
- OpenAI が提供する ChatGPT アプリケーションとは異なり,Azure の OpenAI サービスはトークンによって課金されるため,トークンの消費方法に注意してください.
</div>

### [デプロイしたモデルのクォータを管理する](/research_computing/utokyo_azure/openai/quota)
### [デプロイしたモデルのクォータを管理する](/research_computing/utokyo_azure/ai/quota)

### [デプロイしたモデルを Python API から利用する](/research_computing/utokyo_azure/openai/python)
### [デプロイしたモデルを Python API から利用する](/research_computing/utokyo_azure/ai/python)
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
15 changes: 15 additions & 0 deletions src/pages/research_computing/utokyo_azure/ai/index.mdx
Original file line number Diff line number Diff line change
@@ -0,0 +1,15 @@
---
title: "AI サービス"
breadcrumb:
title: "AI サービス"
---

### [Azure Machine Learning](/research_computing/utokyo_azure/ai/aml)

### [Azure OpenAI Studio](/research_computing/utokyo_azure/ai/openai)

### [Azure AI Studio](/research_computing/utokyo_azure/ai/azureai)

### [デプロイしたモデルのクォータを管理する](/research_computing/utokyo_azure/ai/quota)

### [デプロイしたモデルを Python API から利用する](/research_computing/utokyo_azure/ai/python)
Original file line number Diff line number Diff line change
@@ -1,5 +1,7 @@
---
title: "Azure OpenAI Studio : UTokyo Azure 利用例"
breadcrumb:
title: "Azure OpenAI Studio"
---

## 概要
Expand Down Expand Up @@ -116,6 +118,6 @@ Azure OpenAI Studio のトップページに遷移するので,`Go to Azure Op
- OpenAI が提供する ChatGPT アプリケーションとは異なり,Azure の OpenAI サービスはトークンによって課金されるため,トークンの消費方法に注意してください.
</div>

### [デプロイしたモデルのクォータを管理する](/research_computing/utokyo_azure/openai/quota)
### [デプロイしたモデルのクォータを管理する](/research_computing/utokyo_azure/ai/quota)

### [デプロイしたモデルを Python API から利用する](/research_computing/utokyo_azure/openai/python)
### [デプロイしたモデルを Python API から利用する](/research_computing/utokyo_azure/ai/python)
Original file line number Diff line number Diff line change
@@ -1,3 +1,7 @@
---
breadcrumb:
title: "デプロイしたモデルを Python API で利用する"
---

## デプロイしたモデルを Python API で利用する

Expand Down
Original file line number Diff line number Diff line change
@@ -1,3 +1,7 @@
---
breadcrumb:
title: "クォータの管理"
---

## クォータの管理

Expand Down
10 changes: 5 additions & 5 deletions src/pages/research_computing/utokyo_azure/index.mdx
Original file line number Diff line number Diff line change
Expand Up @@ -30,8 +30,8 @@ UTokyo Azure は,このギフトクレジットによる Microsoft Azure の
- 原則的には,Microsoft Azureで提供されているサービスがすべてそのまま使えるようにする(個々の利用者の環境に運用側が立ち入ることはしない).
- ただし,運用上提供が困難と判断されるサービスについては提供不可とする場合がある.
- 容易に高額なり容量になるサービスについてはデフォルトで利用禁止とする場合がある.
- 運用側である規模の標準環境を用意し,標準的なユースケースを環境構築の手間なく利用したいという利用者をサポートする(検討中)
- ギフトクレジットは有限であることから,大学全体でのギフトクレジットの消費量を制御(目標値を設定)しその範囲で無料利用可能とする.設置した目標値を上回って利用された分についてはその利用量に応じた課金を利用者に対して行う.詳細は利用規定および利用料金規定を参照.
- 運用側である規模の標準環境を用意し,標準的なユースケースを環境構築の手間なく利用したいという利用者をサポートする計画がある
- ギフトクレジットは有限であることから,大学全体でのギフトクレジットの消費量を制御(目標値を設定)しその範囲で無料利用可能とする.設置した目標値を上回って利用された分についてはその超過した量に応じた課金を利用者に対して行う場合がある.詳細は利用規定および利用料金規定を参照.

## 使ってみる
- [Azure Portal](https://portal.azure.com/)には [UTokyo Account](/utokyo_account/) で直ちにログインできます.どのようなサービスが使えるかなどは申請前に事前に確認することが出来ます.
Expand All @@ -51,16 +51,16 @@ UTokyo Azure は,このギフトクレジットによる Microsoft Azure の

### AI サービス

#### Azure Machine Learning
#### [Azure Machine Learning](/research_computing/utokyo_azure/ai/aml)

- GPT などの既存モデル(生成AI)を Azure 経由で Web ブラウザや Python プログラムから利用することができます.ChatGPT のような利用も可能です.

#### [Azure OpenAI Studio](/research_computing/utokyo_azure/openai/openai)
#### [Azure OpenAI Studio](/research_computing/utokyo_azure/ai/openai)

- ChatGPT のようなブラウザ上でAIとチャットをするサービスや、それをプログラムから呼び出すAPIを利用可能です.
- 以下のAzure AI Studioと似ていますが、OpenAI 社が提供する GPT シリーズのモデルを使いたい場合、こちらが簡単です.

#### [Azure AI Studio](/research_computing/utokyo_azure/openai/azureai)
#### [Azure AI Studio](/research_computing/utokyo_azure/ai/azureai)

- Azure OpenAI Studio と似ていますが、OpenAI社によるものだけでなく LLama や Mistral など様々なモデルが選択可能です
- GPT以外のモデルを使いたい場合はこちらを使ってください.
Expand Down