We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
利用triton作为推理引擎,支持动态batch等。 利用tornado作为web服务,作为预处理和后处理。 使用k8s部署服务。