请问可以将LLM的运行和使用分离吗？

[yanhuixie]

• [ x] I checked to make sure that this is not a duplicate issue

简而言之，能否考虑支持外部的LLM服务？
比如可以使用ollama运行shibing624/chinese-text-correction-7b，这个经验证是没问题的。
然后在pycorrector调用ollama的HTTP接口使用模型的服务。

[shibing624]

ollama的http接口已经搭好了，不需要用pycorrector调用，用requests请求就可以，或者curl请求就行了。

[yanhuixie]

ollama的http接口已经搭好了，不需要用pycorrector调用，用requests请求就可以，或者curl请求就行了。

那倒也是，只是pycorrector做了很多预处理和后处理，直接调用ollama的话，这些“福利”就享受不到了。😂

[shibing624]

request请求后，再调用pycorrector的预处理和后处理函数，pycorrector是个开源库包，内部函数是暴漏的。