Skip to content

Redemption-ZTX/LLama-AI-chatbot

Repository files navigation

大模型推理系统

本项目通过加载llama模型,使用混合精度、手写SMID等优化大模型推理过程,实现故事续写和聊天机器人功能,由于chat中文本的safetensor文件过大不能放于仓库,本项目需要将models中的chat模型更改成以下网站中的chat文件夹即可运行:https://github.com/LearningInfiniTensor/learning-lm-rs/releases/tag/v0.0.0, 运行即可进入egui为框架的人机交互界面,用户可以选择不同的模式并保存或者删除自己的对话。

image

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages