Advantage
领先的FP32、FP16、INT8等算力
全数据精度支持
张量、向量、标量计算全支持
支持C++和Python编程接口
提供推理引擎性能优化
支持TensorFlow、PyTorch、ONNX等主流框架与模型格式
支持虚拟化,提升资源利用率
多用户,多任务,安全隔离
独家动态节能技术,节能减排
负载性能加速
支持RAS,ECC
Performance
Specification
单精度 / 浮点
半精度 / 浮点
整型 / 定点
32TFLOPS / FP32算力
128TFLOPS / TF32算力
128TFLOPS / FP16算力
128TFLOPS / BF16算力
256TOPS / INT8算力
PCIe 4.0 × 16
16GB HBM2E / 容量
819GB/s / 内存带宽
150w / 最大功耗
被动散热 / 散热设计
PCIe全高3/4长、单槽位
Server