README.md

Python例程

目录

• 1. 环境准备
  • 1.1 x86/arm PCIe平台
  • 1.2 SoC平台
• 2. 推理测试
  • 2.1 参数说明
  • 2.2 测试图片

python目录下提供了一系列Python例程，具体情况如下：

序号	Python例程	说明
1	chatglm2.py	使用SAIL推理

1. 环境准备

1.1 x86/arm PCIe平台

如果您在x86/arm平台安装了PCIe加速卡（如SC系列加速卡），并使用它测试本例程，您需要安装libsophon、sophon-opencv、sophon-ffmpeg和sophon-sail，具体请参考x86-pcie平台的开发和运行环境搭建或arm-pcie平台的开发和运行环境搭建。

此外您还需要安装其他第三方库：

pip3 install -r requirements.txt

1.2 SoC平台

如果您使用SoC平台（如SE、SM系列边缘设备），并使用它测试本例程，刷机后在/opt/sophon/下已经预装了相应的libsophon、sophon-opencv和sophon-ffmpeg运行库包。您还需要交叉编译安装sophon-sail，具体可参考交叉编译安装sophon-sail。

此外您还需要安装其他第三方库：

pip3 install -r requirements.txt

2. 推理测试

python例程不需要编译，可以直接运行，PCIe平台和SoC平台的测试参数和运行方式是相同的。

2.1 参数说明

usage: chatglm2.py [--bmodel BMODEL] [--token TOKEN] [--dev_id DEV_ID]
--bmodel: 用于推理的bmodel路径；
--token: tokenizer路径；
--dev_id: 用于推理的tpu设备id；
--help: 输出帮助信息

2.2 使用方式

python3 python/chatglm2.py --bmodel models/BM1684X/chatglm2-6b_f16.bmodel --token models/BM1684X/tokenizer.model --dev_id 0 

在读入模型后会显示"Question:"，然后输入就可以了。模型的回答会出现在"Answer"中。结束对话请输入"exit"。