From e44321031691dfa6c1447f97b7ccbb0de40a6298 Mon Sep 17 00:00:00 2001 From: MengqingCao Date: Mon, 24 Jun 2024 08:36:49 +0000 Subject: [PATCH] add option card to llmf --- _static/llamafactory_actions.js | 49 ++++++++ sources/llamafactory/install.rst | 188 ++++++++++++++++++------------- 2 files changed, 157 insertions(+), 80 deletions(-) create mode 100644 _static/llamafactory_actions.js diff --git a/_static/llamafactory_actions.js b/_static/llamafactory_actions.js new file mode 100644 index 0000000..472ba05 --- /dev/null +++ b/_static/llamafactory_actions.js @@ -0,0 +1,49 @@ +$(document).ready(function () { + $.reset_selection = function (elem) { + elem.parent().children().each(function () { + $(this).removeClass("selected"); + }); + } + + $.get_options = function () { + var options = {}; + $('#col-values').children().each(function () { + var elem = $(this).find(".selected").each(function () { + var id = $(this).attr("id").split("-"); + var category = id[0]; + var value = id[1]; + options[category] = value; + }); + }); + return options; + } + + $.update_table = function () { + var options = $.get_options(); + } + + $("#col-values").on("click", ".values-element", function () { + id = $(this).attr("id"); + fields = id.split("-"); + + $.reset_selection($(this)); + $(this).addClass("selected"); + $.update_table(); + $.gen_content(); + }); + + + $.gen_content = function () { + var options = $.get_options(); + if (options['install_type'] == "docker") { + $('#install-llmf-pip-section').hide(); + $('#install-llmf-docker-section').show(); + } else if (options['install_type'] == "pip") { + $('#install-llmf-docker-section').hide(); + $('#install-llmf-pip-section').show(); + } + } + + $.update_table(); + $.gen_content(); +}); diff --git a/sources/llamafactory/install.rst b/sources/llamafactory/install.rst index 75a270a..6eb6b77 100644 --- a/sources/llamafactory/install.rst +++ b/sources/llamafactory/install.rst @@ -1,88 +1,80 @@ 安装指南 ============== -本教程面向使用 LLAMA-Factory & 昇腾的开发者，帮助完成昇腾环境下 LLaMA-Factory 的安装。此处提供 :ref:`install` 和 :ref:`docker` 两种安装方式。 +本教程面向使用 LLAMA-Factory & 昇腾的开发者，帮助完成昇腾环境下 LLaMA-Factory 的安装。此处提供 docker 和 pip 两种安装方式: + +.. raw:: html + + +
+
+
+
+
安装方式
+
Docker
+
pip
+
+
+
+
+ + +.. raw:: html + +
+

使用 pip

+
+

备注

+

请确保已经根据快速安装昇腾环境指引安装了对应的CANN-toolkit版本以及相应的固件和驱动，并应用了CANN-toolkit环境变量。

+
+
+

警告

+

LLAMA-Factory 支持的 CANN 最低版本为 8.0.rc1。安装 CANN 时，请同时安装 Kernel 算子包。

+
+

Python 环境创建

+
+

创建并激活 Python 环境：

+
+ 
conda create -n  python=3.10
+ 
conda activate
+
+
+

LLaMA-Factory 安装

+
+

使用以下指令安装带有 torch-npu 的 LLaMA-Factory：

+
+ 
pip install -e .[torch_npu,metrics]
+
+
+
+ +
+
+

使用 Docker

+
+

备注

+

请确保已经根据快速安装昇腾环境指引安装了对应的的固件和驱动。

+
+
+

提示

+

默认镜像为cosdt/cann:8.0.rc1-910b-ubuntu22.04。更多选择见cosdt/cann。

+
+
+

进入存放 Dockerfile 及 docker-compose.yaml 的 docker-npu 目录：

+
+ 
cd docker/docker-npu
+
+
+
+

使用以下指令构建及启动 docker 容器：

+
+ 
docker build -f ./Dockerfile --build-arg INSTALL_DEEPSPEED=false --build-arg PIP_INDEX=https://pypi.org/simple -t llamafactory:latest
+
+
+
+
-.. _install: -直接安装 ------------- - -昇腾环境安装 -~~~~~~~~~~~~~~~ - -请根据已有昇腾产品型号及CPU架构等按照 :doc:`快速安装昇腾环境指引 <../ascend/quick_install>` 进行昇腾环境安装，或使用已安装好昇腾环境及 LLaMA-Factory 的 docker 镜像： - -- TODO - -.. warning:: - LLAMA-Factory 支持的 CANN 最低版本为 8.0.rc1。 - - 安装 CANN 时，请同时安装 Kernel 算子包。 - -Python 环境创建 -~~~~~~~~~~~~~~~ - -.. note:: - 如果你已经选择使用上述 docker 镜像，可忽略此步骤，直接开始使用 LLaMA-Factory。 - -.. code-block:: shell - :linenos: - - # 创建 python 3.10 的虚拟环境 - conda create -n python=3.10 - # 激活虚拟环境 - conda activate - - -LLaMA-Factory 安装 -~~~~~~~~~~~~~~~~~~~~~~~~ - -使用以下指令安装带有 torch-npu 的 LLaMA-Factory： - -.. code-block:: shell - :linenos: - - pip install -e .[torch_npu,metrics] - -.. _docker: - -使用 Docker ------------- - -进入 docker-npu 目录： - -.. code-block:: shell - - cd docker/docker-npu - -该目录下为 Dockerfile 及 docker compose 配置文件： - -Dockerfile: - -.. literalinclude:: ./Dockerfile - :language: docker - :linenos: - -docker-compose.yaml: - -.. literalinclude:: ./docker-compose.yaml - :language: yaml - :linenos: - -.. note:: - - 默认镜像为 `cosdt/cann:8.0.rc1-910b-ubuntu22.04 `_。 - 更多选择见 `cosdt/cann `_. - -使用以下指令构建及启动 docker 容器： - -.. code-block:: shell - - docker build -f ./Dockerfile \ - --build-arg INSTALL_DEEPSPEED=false \ - --build-arg PIP_INDEX=https://pypi.org/simple \ - -t llamafactory:latest 安装校验 ---------------------- @@ -107,6 +99,42 @@ LLaMA-Factory 卸载 ---------------------- .. code-block:: shell + :linenos: pip uninstall llamafactory +附录 +------------- + +.. warning:: + + 使用 pip 安装请忽略本附录文件。 + +Dockerfile 及 docker compose 配置文件： + +Dockerfile: + +.. literalinclude:: ./Dockerfile + :language: docker + :linenos: + +docker-compose.yaml: + +.. literalinclude:: ./docker-compose.yaml + :language: yaml + :linenos: + + +可通过修改或添加 docker-compose.yaml 文件中 devices 来改变指定 NPU 卡或指定多卡 NPU。如下所示为指定 0~3 四卡： + +.. code-block:: yaml + :linenos: + + devices: + - /dev/davinci0 + - /dev/davinci1 + - /dev/davinci2 + - /dev/davinci3 + - /dev/davinci_manager + - /dev/devmm_svm + - /dev/hisi_hdc