Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

增加自定义模型名称功能 #34

Open
libukai opened this issue Aug 21, 2024 · 7 comments
Open

增加自定义模型名称功能 #34

libukai opened this issue Aug 21, 2024 · 7 comments

Comments

@libukai
Copy link

libukai commented Aug 21, 2024

部分中转服务使用了非标准化的模型名称,希望能够通过自定义模型名称来实现支持
例如 OpenRouter 中 gpt-4o-mini 的名称为 openai/gpt-4o-mini

CleanShot 2024-08-21 at 22 36 14@2x

@flyun
Copy link
Owner

flyun commented Aug 22, 2024

配置自定义模型名称

  1. 在[全局AI参数]中[AI模型]选择中选择[自定义模型]。或者在聊天窗口,点击头像,选择[AI模型]切换[自定义模型](只针对当前聊天窗口的配置)
  2. 点击[自定义模型]并输入自定义模型的名称后使用。

OpenRouter之前已经做了适配,如果还有问题,可以打开[OpenAI 切换旧协议]进行尝试。

欢迎反馈

@libukai
Copy link
Author

libukai commented Aug 23, 2024

测试了一下, API Server 配置为 https://openrouter.ai/api/ 的情况下

  1. 选择默认的 OpenAI 系列模型可以成功调用
  2. 选择 Gemini/Claude 系列模型无法成功调用
  3. 在自定义模型中使用 google/gemini-flash-1.5 类型的模型名可以成功调用

因此,建议考虑一下,将Gemini/Claude 模型的适配也做一下

@flyun
Copy link
Owner

flyun commented Aug 23, 2024

感谢测试反馈。

这里解释一下:

  • 默认OpenAI 系列模型以及自定义模型调用OpenAI协议。
  • 默认Gemini系列模型调用Gemini协议。
  • 默认Claude系列模型调用Claude协议。
    每个协议对应API服务器设置中的API Key以及API Server配置。

因为切换到Gemini系列模型就会调用配置的Gemini API Server与Gemini API Key。猜测OpenRouter做了模型名称的适配,所以默认OpenAI 系列模型也可以用,之前需要自定义模型改成openai/gpt-4o-mini这样的模型名称才可以。

之前这里只是简单实现下,不够人性化。之后会重新设计,可以同时配置不同的兼容OpenAi协议服务商,选择配置好的模型,就会切换到具体的服务商。配置好API Server后,添加模型会自动列出已有模型,点选进行添加。完成后,就可以在聊天窗口的模型列表选择已经添加过的模型。

@libukai
Copy link
Author

libukai commented Aug 23, 2024

嗯,这样设计的灵活性和条理性就好多了,期待早日上线

@libukai
Copy link
Author

libukai commented Sep 8, 2024

1.1.12 版增加配置自定义 API Server的新方式,适配Perplexity、Github等模型提供商

这个没看懂?好像配置页面没有变化?

@libukai
Copy link
Author

libukai commented Sep 8, 2024

是否可以增加多个自定义 API 服务商?

@flyun
Copy link
Owner

flyun commented Sep 8, 2024

之前不能兼容 https://api.perplexity.ai/chat/completions这样采用OpenAI协议的非标准的请求接口地址。
标准的请求接口地址是这样的https://api.openai.com/v1/chat/completions

在1.1.12版本中对于perplexity,配置自定义 API Server输入https://api.perplexity.ai/chat/completions就可以正常使用。

配置多个自定义API 服务商,下一版会增加。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants