Replies: 1 comment
-
FastDeploy部署很漂亮 秒部署不折腾不浪费时间![]() |
Beta Was this translation helpful? Give feedback.
0 replies
# for free
to join this conversation on GitHub.
Already have an account?
# to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
-
🎉 令人兴奋的好消息:FastDeploy2.0强势上线!🔥
🥳 只需一行代码,即可完成跨硬件部署体验,提供类vLLM的接口使用方式,且服务API兼容OpenAI协议!
😻 对于ERNIE 4.5模型的部署,它提供了工业级的多机PD分离解决方案,并支持多级负载均衡、低比特量化推理、上下文缓存和投机解码等多种加速技术。
😎 在Tech report 的基础上,进一步优化了OTPS 使其高达21K!
💰依托本次升级,我们发起了基于FastDeploy 2.0的模型部署实测活动,并配备丰富奖励!即刻体验该高效大模型部署工具包吧!🔥
🎯 基础题:文心4.5系列开源模型部署实测
🧑💻 任务描述 基于飞桨FastDeploy2.0,将文心4.5系列开源模型中的任一模型部署为API服务,并通过API调用验证部署结果。
📕 官方文档 10分钟高效部署
💰 完成标准
第1步:部署完成后,API服务正常启动并且能够响应对话请求
第2步:完成下方投票
第3步:通过该问卷提交,注意将您所有的作业文件(py文件、日志、截图、blog地址等)上传至问卷最后一题(问卷地址:https://www.wjx.top/vm/meSsp3L.aspx# )
截止时间 2025年8月22日
🎯 自选题:量化技术
🧑💻 量化任务1描述 给定长度为64的向量,计算L=4,N=3,S=2下平均每个权重所需要的bit,是否有冗余位?冗余位是多少?如果用uint8存储,压缩后的向量长度是多少?
💰 完成标准 在问卷中提交习题序号和对应答案,本题奖品为定制骨瓷杯。
🧑💻 量化任务2描述 实现一版卷积编码解码的python实现:给定随机的一个数,通过移位和解码的方式,实现前文所述的L=4,N=3,S=2的解码。比如:给定一个数字217,解码后得到13,6,9三个数字
💰 完成标准 在问卷中提交习题序号和对应答案,本题奖品为50-200元奖金。
🧑💻 量化任务3描述 实现一版Triton/cutlass Kernel,实现L=4,N=3,S=2/ L=6,N=4,S=3的解码。比如给定一个压缩后的权重,通过Kernel后可以实现可以还原会未压缩的大小
💰 完成标准 在问卷中提交习题序号和对应答案,本题奖品为50-200元奖金。
截止时间 2025年8月22日
🎯 自选题:多硬件部署
🧑💻 任务描述 基于飞桨FastDeploy2.0,在任一本地算力上完成任一开源大模型部署,并成功运行3个推理任务。
📕 官方文档 DOC
💰 完成标准 在问卷中提交日志、本地算力型号、部署成功截图、推理任务截图等(推理任务:发送Query请求,能返回正确结果。需要包含请求代码截图以及返回内容截图)(问卷地址:https://www.wjx.top/vm/meSsp3L.aspx# )
截止时间 2025年8月22日
🎯 自选题:场景应用
🧑💻 任务描述 基于飞桨FastDeploy2.0,将任一开源大模型应用在工业、医疗、交通等你所在行业的应用场景
💰 完成标准 在问卷中提交简要技术方案及应用样例,形式:PDF/PPT/github/网站博客等(问卷地址:https://www.wjx.top/vm/meSsp3L.aspx# )
截止时间 2025年8月22日
🎯 自选题:技术分享
🧑💻 任务描述 结合您实际上手FastDeploy2.0的体验,在Github、知乎、Huggingface等任一技术网站发布你的学习及开发体验blog
💰 完成标准 在问卷中提交blog地址,内容可包含体验感受/使用tips/二次开发经验/场景应用实例等内容。(问卷地址:https://www.wjx.top/vm/meSsp3L.aspx# )
截止时间 2025年8月22日
💰** 奖励规则:**完成【基础题】+任一【自选题】,即可获得【FastDeploy2.0专属骨瓷杯】+【50-1000元奖金】
😻 其它你可能关心的问题
算力要求:要基于本地算力还是云平台算力完成?——我们没有限制,希望你在各种平台上运行顺利,如有问题,欢迎反馈。
IP限制:不在国内,怎么加入交流群、怎么领取奖励?——你可以加入官方Discord地址 奖品方面,我们将为您发放星巴克代金券等实用的替换奖品。
💡获取帮助
你可以通过以下方式获取更多帮助,或与开发者们共同讨论并获得研发人员的技术支持

更多FD文档 技术文档
向我们提issue New issues
FastDeploy2.0官方答疑群
其它:如果以上任务都无法满足您技术探索的需求,欢迎联系我们(在下方评论、在FD讨论板块提出你的想法、联系群主等),秀出你的代码、需求、blog等内容,如需技术、奖金、算力支持,我们会尽全力为你提供!
19 votes ·
Beta Was this translation helpful? Give feedback.
All reactions