💡 [REQUEST] - CPU 的 qwen-cpp 如何封装为一个 http 服务？

[micronetboy]

起始日期 | Start Date

No response

实现PR | Implementation PR

CPU 的 qwen-cpp 如何封装为一个 http 服务？

相关Issues | Reference Issues

无

摘要 | Summary

无

基本示例 | Basic Example

无

缺陷 | Drawbacks

无

未解决问题 | Unresolved questions

No response

[jklj077]

如果是要HTTP的API服务的话，qwen-cpp有python binding，openai_api.py的model更换下也许可以。
如果是要HTTP的Web服务的话，web_demo.py应该也是要替换模型创建的部分。

对C实现的模型有需求，建议关注llama.cpp，现在也支持Qwen了，那个的生态也更丰富些。

[sheiy]

@jklj077 麻烦问下。怎么让openai_api.py支持并发请求？

[jklj077]

@sheiy 本repo中的openai_pai.py支持不了并发哈。如果有并发的需要，建议使用FastChat+vLLM，也可以提供OpenAI API类似的接口。

[sheiy]

@jklj077 多谢