本项目通过加载llama模型,使用混合精度、手写SMID等优化大模型推理过程,实现故事续写和聊天机器人功能,由于chat中文本的safetensor文件过大不能放于仓库,本项目需要将models中的chat模型更改成以下网站中的chat文件夹即可运行:https://github.com/LearningInfiniTensor/learning-lm-rs/releases/tag/v0.0.0, 运行即可进入egui为框架的人机交互界面,用户可以选择不同的模式并保存或者删除自己的对话。
-
Notifications
You must be signed in to change notification settings - Fork 0
Redemption-ZTX/LLama-AI-chatbot
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
No description, website, or topics provided.
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published