advantage

Advantage

优势特点

全新编程模型,开放编程接口

通用高性能编程接口库

执行和存储模型简化数据切分和数据流操作

自适应图优化策略及算子泛化

进行算子融合等高层图优化,并提供动态性支持

全新profiling工具

准确定位系统的软、硬件性能瓶颈,提高性能分析的效率

系统级设备虚拟化

虚拟化实现计算、存储、网络的解耦

资源可灵活切分,实现最大化利用率从而降低成本

高加速比分布式训练能力

云燧集群通信库添加了RDMA peer-direct 特性,节约了网卡成本且支持多租户隔离

在拓扑算法上进行了升级以更好地支持资源弹性分配

Architecture

Architecture

软件编程平台

Platform

Platform

训练推理引擎

训练加速引擎

基于算子泛化技术及图优化策略,支持主流深度学习框架下的各类模型训练;利用Horovod分布式训练框架与GCU-LARE互联技术相互配合,为超大规模集群高效运行提供解决方案。

开放升级的编程模型和可扩展的算子接口,为客户提供了自定义的开发能力。

推理加速引擎

自研AI推理框架TopsInference,提供了更轻量通用的推理图优化能力。支持众多推理模型,并在高吞吐量和低延迟上做了大量优化工作,能满足各种推理场景的需求。

可以提供Python、C++的API接口,大量内建的算子融合策略,模型量化和混精支持,以及多模型调度。

了解更多