You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
reacted with thumbs up emoji reacted with thumbs down emoji reacted with laugh emoji reacted with hooray emoji reacted with confused emoji reacted with heart emoji reacted with rocket emoji reacted with eyes emoji
-
我正在使用配置文件进行评估任务,配置文件中的
models
/judge_models
变量除了使用已经配置好的对象,我想使用本地部署的 LLM-API ,我改如何配置eval_subjective.py
样例中提供了一个openai
的 api 请求示例,#1575 (reply in thread) 这个讨论中有个Qwen
的 api 请求示例。在 #1590 (comment) 这个 issue 中讨论到对于
Qwen
的 api 我可以参考上述讨论中的示例,但是仍然有不解。不解
abbr
type
path
的含义和如何自定义,其中type
应该是这个配置实例化的类名,abbr
/path
该如何定义1、比如我的本地接口是
http://10.10.10.10:8000/v1/chat/completions
,模型是Qwen2.5-72B-Instruct-GPTQ-Int4
,那我应该在path
变量上设置url,abbr
上设置 模型名嘛,2、那对于非
Qwen
系列的模型,只需要相应的改动type
嘛3、配置中还存在
key
属性,本地 api 没有相关的设置,可以不填?4、对于1、中
path
的内容更多的是模型文件路径,是否可以是url,是url的话具体的调用代码可否指点一下位置另外,关于
vllm
加速时,我的卡貌似不支持默认配置,提示让我配置--dtype=half
,这个参数该如何配置Beta Was this translation helpful? Give feedback.
All reactions