-
Notifications
You must be signed in to change notification settings - Fork 59.3k
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
[Feature] 加入自定义模型功能 #1179
Comments
https://github.com/AprilNEA/ChatGPT-Admin-Web 在 |
…t-side only mode and local models
refactor: ChatGPTNextWeb#1000 ChatGPTNextWeb#1179 api layer for client-side only mode and local models
現在可以了嗎 |
可以通过实现openai接口的响应体,只需要简单修改OPENAI_API_BASE,就可以在该项目中使用chatglm、moss等开源模型,参考api-for-open-llm |
可以在设置增加bingai选项吗 注意到由其他用这套源码的有这个功能 |
https://github.com/josStorer/RWKV-Runner 已经提供了 chatgpt 兼容接口,修改 BASE_URL 即可使用自部署的 rwkv 模型。 |
目前在前端开放了接口地址自定义,实测可以与下列项目无缝集成:
可以直接在本项目演示网页或者在 Release 页面下载客户端,然后自行部署或者安装上述项目中的任何一个,然后按照对应项目的说明修改设置页的接口地址,即可开始使用自部署模型,相关文档随着客户端功能完善,会陆续补充到文档中。 |
…t-side only mode and local models
ChatGLM2接入后无法流式回复,所有结果出来之后全部回复的,请问是哪里需要配置吗 |
After ChatGLM2 is connected, it cannot reply in a streaming manner. After all the results come out, all replies will be replied. Where does it need to be configured? |
Check your script to make sure you are using this? https://github.com/THUDM/ChatGLM2-6B/blob/main/openai_api.py |
你想要什么功能或者有什么建议?
加入自定义模型功能。
有没有可以参考的同类竞品?
是否可以参考 https://github.com/josStorer/chatGPTBox 加入自定义的模型,比如模型chatGLM-6B, chatRWKV, chatYuan。
其他信息
不开源的国内第三方chatgpt吃相太难看,开源的要么平台独占,要么功能不全,希望开发者可以加入自定义模型功能,增加项目的可二次开发性。同时,我也非常支持插件功能的开发,插件功能在极大程度上可以少修改项目源码而增加新功能,便于项目的二次拓展。
The text was updated successfully, but these errors were encountered: