Skip to content

Commit

Permalink
stage: notebook/create.md
Browse files Browse the repository at this point in the history
  • Loading branch information
ofey404 committed Nov 16, 2023
1 parent f69f097 commit a78b12d
Show file tree
Hide file tree
Showing 11 changed files with 67 additions and 3 deletions.
3 changes: 1 addition & 2 deletions docs/docs/basics/datasets.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@

## 简介

在Colossal-AI云平台,用户可以统一管理他们训练需要用到的各类数据集,并将这些数据集加载到训练任务重用于训练模型。接下来,我们将会引导您创建您的数据集,您可以跳转到[任务管理](../training/jobs.md)文档查看如何将数据集加载到训练任务中。
在 Colossal-AI 云平台,用户可以统一管理他们训练需要用到的各类数据集,并将这些数据集加载到训练任务重用于训练模型。接下来,我们将会引导您创建您的数据集,您可以跳转到[任务管理](../training/jobs.md)文档查看如何将数据集加载到训练任务中。

## 创建数据集

Expand Down Expand Up @@ -40,4 +40,3 @@
用户也可以将自己的数据集公开,只需要点击自己的数据集,然后在右上角选择编辑数据集。在编辑页面,用户可以把可见性设置为公开,这样其他用户也可以直接使用数据集进行训练。Colossal-AI平台官方会逐步放置一些常用数据集在平台上供用户使用。

![dataset uploaded](images/datasets/public_dataset.png)

Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
25 changes: 25 additions & 0 deletions docs/docs/basics/notebook.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,25 @@
# 交互式开发

## 简介

Colossal-AI 云平台提供了交互式开发功能,用户能够在集群中申请算力,启动 Pod,使用 Jupyter Notebook 进行开发。

主要功能有:

1. 支持基于浏览器的开发环境,目前已经适配 Jupyter Notebook,后续会支持 VSCode、ssh 连接。
2. 提供开箱即用的 Colossal-AI 开发环境,可训练微调 Llama 等流行模型。
3. 支持多机多卡的开发环境,超越单机卡数的限制。

## 界面导览

点击主界面上的**控制台-开发**按钮,进入交互式开发面板。

主界面列出了启动的 Notebook,可以在这里创建、删除、连接交互式开发环境。

![开发环境列表](./images/notebook/notebook-overview.zh.png)

进入开发环境详情,可以查看开发环境的详细信息,包括目前状态、连接方式、挂载的代码与数据等。

![开发环境细节](./images/notebook/notebook-detail.zh.png)

更详细的操作指南,可以参考[创建交互式开发环境](../notebook/create.md)
2 changes: 1 addition & 1 deletion docs/docs/cli/create-project.md
Original file line number Diff line number Diff line change
Expand Up @@ -22,7 +22,7 @@ cap project init my-project
- requirements.txt
```

## 配置任务文件
## 配置项目框架

`train.sh`,`train.py`,`HyperParameters.json` 为平台启动任务所必需的文件,下面依次介绍它们的功能。

Expand Down
34 changes: 34 additions & 0 deletions docs/docs/notebook/create.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,34 @@
# 创建开发环境

点击主界面上的**控制台-开发**按钮,进入交互式开发面板。

如下图,点击右上角**创建新的Notebook**按钮,进入创建开发环境面板。

![创建按钮](./images/create-notebook-button.zh.png)

## 填写环境信息

在创建面板,我们需要填写相关的信息,包括:

1. 挂载的数据集、项目和模型,挂载的数据可以在开发环境中作为文件使用。
2. 副本数,设置为 1 即为单机开发环境,大于 1 则是多机开发环境,多机之间通过内网域名可以互联。
3. 显卡类型和每个副本的 GPU 数量。
4. 后续会开放镜像选择和镜像仓库功能。

![创建面板](./images/create-notebook-detail.zh.png)

## 连接开发环境

填写完成后,开发环境将会自动创建。如下图,在详情页面,点击**副本详情-启动**,连接开发环境。

![启动连接](./images/notebook-detail.zh.png)

浏览器将会跳转到对应的 Jupyter notebook。

![jupyter notebook](./images/notebook-jupyter.png)

## 释放开发环境

使用完毕之后,可以回到主界面,点击**删除**,释放开发环境。

![创建按钮](./images/create-notebook-button.zh.png)
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/docs/notebook/images/notebook-detail.zh.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/docs/notebook/images/notebook-jupyter.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
6 changes: 6 additions & 0 deletions docs/sidebars.js
Original file line number Diff line number Diff line change
Expand Up @@ -24,6 +24,7 @@ const sidebars = {
"basics/model",
"basics/projects",
"basics/templates",
"basics/notebook",
],
},
{
Expand All @@ -36,6 +37,11 @@ const sidebars = {
label: "推理API",
items: ["inference/inference"],
},
{
type: "category",
label: "交互式开发",
items: [ "notebook/create" ]
},
{
type: "category",
label: "命令行工具",
Expand Down

0 comments on commit a78b12d

Please sign in to comment.