使用官方SDK实现的将标准Anthropic Claude请求转发至VertexAI Claude的代理服务器应用,使用Fastapi。 支持Claude 3.5 sonnet, Claude 3 Opus/Sonnet/Haiku on Vertex AI
这个项目在本地架设Fastapi服务器,将发送至此服务器的标准Anthropic请求处理模型名后使用官方Anthropic SDK将请求转发至Vertex AI Claude。
1.一个已启用结算账号或存在可用额度的GCP账号,且已启用Vertex AI API。(本步骤不提供教程)
2.一个GCP VertexAI服务账号。
3.一台可访问对应地区GCP资源的主机。
4.Docker&Docker Compose或Python运行环境。(基于你的安装方式及系统)
点击展开
为避免不必要的安全性问题,本应用强烈建议使用服务账号限制应用和服务器对GCP的访问。
1.点击GCP左上角Google图标,点击左上角导航栏,导航至IAM管理-服务账号
3.随意填写名字和ID,创建,搜索并为其选择Vertex AI User角色,完成创建。
6.浏览器将会自动下载一个密钥文件,你不需要编辑它,只需要妥善保存。
请像保护密码一样妥善保管此文件!!
一旦遗失,无法重新下载,泄露将产生严重安全问题。
For Windows:
下载整个项目的压缩包或gitclone此项目地址到本地,并解压文件。
- 导航至解压的文件夹。
- 使用文本编辑器编辑.env文件: 将端口,监听地址修改为你需要的服务器监听地址(默认127.0.0.1:5000)。 并依照需求设置密码(为空即不认证,慎选)、访问地区、切换key的对话轮数等参数。 访问区域填写为为你有权访问、且Claude on Vertex正常服务的地区,留空不填和示例已填入参数均为us-east5,根据需求自行修改。 切换key的对话轮数即字面意思。
- 将前面下载的json文件命名为gcp-key0.json,放入项目根目录中,如有多个密钥则依次命名为gcp-key1.json、gcp-key2.json……以此类推。
从Docker部署启动(不推荐,本项目传到我这已经是三改项目了,docker配置文件过于古老,需要docker部署建议循着fork树找原项目去)
本方法的优点:
- 跨平台兼容性强
- 环境隔离
- 避免管理依赖,操作便捷
本方法的缺点:
- 需要docker环境
- docker框架与镜像总占用空间偏大。
不包括docker框架,本应用镜像文件约占47.2MB(于Ubuntu22.04上本地构建)。
-
根据你的平台安装对应docker和docker compose
-
导航至文件夹
-
启动应用 运行
docker compose up -d
启动应用。
这一指令会在后台将服务运行于你前面设置的地址和端口(默认127.0.0.1:5000) 以酒馆为例,若你的服务与酒馆运行于同一主机,选择Claude聊天补全,并在代理服务器填入http://127.0.0.1:5000/v1
并将密码设置为你配置中的密码并测试连接。根据不同前端面板和应用需求设置各异,请自行调整。
安装完成,开始使用。
修改配置后,使用
docker compose down
docker compose up -d
重新加载配置。
- (可选)删除目录下main与main.exe文件进一步节省空间。
注:照做这步后将无法使用二进制文件启动。确保你知道你在做什么,否则请无视。
直接运行可执行文件(初次启动会下载嵌入式python等依赖)
- 导航至文件目录。
- window用户双击start.bat(linux用户自行寻思寻思)
- 等依赖装完就完事了,网络尽量保持通畅 (注:linux用户怎么跑起来请自行寻思寻思)