塔岸网

国产GPU鼎力支持!摩尔线程快速部署DeepSeek

热度:1℃ 发布时间:2025-02-06 05:37:05

快科技2月4日消息,DeepSeek V3、R1系列开源AI大模型在多语言理解、复杂推理任务中展现了卓越性能,不仅推动了AI技术的普及与发展,更是对开源社区的极大贡献。

目前,各家科技巨头都已纷纷开始支持、部署DeepSeek,国产硬件也在加速支持。

作为国产全功能GPU创新企业,摩尔线程快速实现了对DeepSeek蒸馏模型推理服务的高效部署,可让更多开发者基于摩尔线程全功能GPU,进行AI应用创新。

一键体验地址:

https://playground.mthreads.com

国产GPU鼎力支持!摩尔线程快速部署DeepSeek

此外,用户也可以基于摩尔线程MTT S80、MTT S4000显卡,进行DeepSeek-R1蒸馏模型的推理部署。

其实早在1月28日,就已经有B站UP主在摩尔线程MTT S80上手动完成实践:

https://www.bilibili.com/video/BV18YfQYEEs2

国产GPU鼎力支持!摩尔线程快速部署DeepSeek

通过DeepSeek提供的蒸馏模型,能够将大规模模型的能力迁移至更小、更高效的版本,在国产GPU上实现高性能推理。

摩尔线程基于自研全功能GPU,通过开源与自研双引擎方案,快速实现了对DeepSeek蒸馏模型的推理服务部署。

开源框架适配:

基于Ollama开源框架,摩尔线程完成DeepSeek-R1-Distill-Qwen-7B蒸馏模型的部署,并在多种中文任务中展现了优异的性能,验证摩尔线程自研全功能GPU的通用性与CUDA兼容性。

自研引擎加速:

通过摩尔线程自主研发的高性能推理引擎,结合软硬件协同优化技术,通过定制化的算子加速和内存管理,显著提升了模型的计算效率和资源利用率。

这一引擎不仅支持DeepSeek蒸馏模型的高效运行,还为未来更多大规模模型的部署提供了技术保障。 

最后,摩尔线程即将开放自主设计的夸娥(KUAE)GPU智算集群,全面支持DeepSeek V3、R1模型,以及新一代蒸馏模型的分布式部署。

夸娥集群集成先进推理技术与分布式计算框架,将确保大规模模型的高效稳定运行,助力开发者快速实现业务落地。

国产GPU鼎力支持!摩尔线程快速部署DeepSeek

(window.slotbydup = window.slotbydup || []).push({ id: "u6501951", container: "_brvvnx0iwme", async: true });
  • 科技资讯推荐
更多+
当前视点!国轩高科百亿高端正极材料项目投产

当前视点!国轩高科百亿高端正极材料项目投产

(相关资料图)11月8日上午,国轩高科子公司合肥国轩科宏新能源科技有限公司(下称“国轩科宏”)正极材料投产仪式在合肥庐江高新区举行,这也是庐江的首个百亿项目。该项目位于合肥市庐江县国轩材料基地,主要产品为国轩高科自主研发的单体电芯能量密度≥210Wh/kg的高性能磷酸铁锂正极材料,应用于高端新能源汽...

11-15

当前热点-10月销量榜出炉!排名发生剧变,这个品牌近乎腰斩

当前热点-10月销量榜出炉!排名发生剧变,这个品牌近乎腰斩

(资料图片仅供参考)进入11月,电哥依旧为大伙儿整理了10月销量榜单,看看这一期的排名和你预想中有多少差别吧:有意思是:又有新人加入了榜单,有的品牌表现极为稳定,当然也少不了波动非常剧烈的选手。Tips:排名统计时间截止到11月3日,未公布品牌尚未纳入榜单另外,电哥也附上9月榜单(截止10月2日统计...

11-15

快报:我国汽车行业发展环境持续向好 10月份汽车销量同比增长6.9%

快报:我国汽车行业发展环境持续向好 10月份汽车销量同比增长6.9%

(相关资料图)来源:人民网原创稿人民网北京11月10日电(记者王连香)今日,中国汽车工业协会发布10月汽车工业产销情况,数据显示,10月,汽车产销延续平稳发展态势。当月产销分别达到259.9万辆和250.5万辆,环比下降2.7%和4%,同比增长11.1%和6.9%。由于车辆购置税减征政策的持续发...

11-15

世界今头条!量子世界中的平行宇宙到底是什么样子的?

世界今头条!量子世界中的平行宇宙到底是什么样子的?

(资料图)平行世界是否真实存在?另外一个世界的你自己是不是已经过上了非常幸福的生活,已经走上了人生的巅峰,而处在这个世界的你正在受尽社会的毒打。这种平行宇宙的理论到底是怎么来的呢?为什么科学家又会定义平行宇宙的存在呢?我们今天一起来了解一下量子世界中的平行宇宙到底是什么样子的?我们大家都知道在量子世...

11-15

上市公司拟投建超22万吨电池专用外壳材料项目

上市公司拟投建超22万吨电池专用外壳材料项目

(资料图)11月8日晚,甬金股份(603995)公告,拟设立全资子公司“浙江镨赛新材料科技有限公司”,投资建设“年产22.5万吨柱状电池专用外壳材料项目”,计划总投资额约14亿元。该项目分两期建设,其中一期工程建设期12个月,建成年加工7.5万吨柱状电池外壳专用材料生产线,二期工程建设期18个月,建...

11-15

网友评论
评论
发 布

更多科技资讯