国产大模子推理引擎“赤兔”开源

日期:2025-03-19 09:13 浏览:

本报讯(记者赵广破)3月14日,清华年夜学高机能盘算研讨所教学翟季冬团队与清华系科创企业清程极智结合买球平台官方网站发布,开源年夜模子推理引擎“赤兔Chitu”。据先容,该引擎初次实当初非英伟达Hopper架构图形处置器(GPU)及各种国产芯片上原生运转FP8精度模子,为国产人工智能(AI)芯片的普遍利用跟生态建立打扫了阻碍。以后,FP8精度模子临时依附英伟达H系列高端GPU,这使得海内企业在安排年夜模子时遭到AI芯片的限度。为攻破这一窘境,清华年夜学与清程极智结合开源的赤兔推理引擎经由过程底层技巧改革,初次实现了非H卡装备对原生FP8精度模子的高效安排,解脱对特定硬件的依附,极年夜下降了企业安排AI模子的门槛跟本钱。翟季冬先容说十大滚球体育平台,赤兔凝固了团队多年并行盘算与编译优化技巧的积聚,目的是弥合进步模子与多样化硬件之间的差距,让国产算力真正“跑起来”。“赤兔的定位是成为衔接多元算力与年夜模子利用的桥梁。”清程极智CEO汤雄超表现,“咱们的引擎不只支撑英伟达全系列GP188BET亚洲体育平台U,还针对国产芯片深度优化,将来将连续开源适配版本。”据悉,在首期开源版本中,赤兔引擎安排DeepSeek-R1-671B满血版时比拟局部外洋开源框架,在GPU应用量增加50%的情形下推理速率仍有3.15倍提速。另据懂得,清程极智还推出了基于赤兔的“推理一体机”,供给开箱即用安排计划及专业运维效劳,进一步简化企业AI落地流程。

0
首页
电话
短信
联系