1.5 昇腾异构计算架构

扫码观看视频

昇腾异构计算架构（Compute Architecture for Neural Networks，CANN）是专门为满足高性能深度神经网络计算需求所设计并优化的一套架构。在硬件层面，昇腾 AI 处理器所包含的达·芬奇架构实现对计算资源的定制化设计，在功能实现上进行深度适配，为深度神经网络计算性能的提升提供了强大的硬件基础。在软件层面，CANN所包含的软件栈则提供了管理网络模型、计算流及数据流的功能，支持深度神经网络在异构处理器上的执行。

昇腾异构计算架构如图1-22所示。CANN作为昇腾AI处理器的异构计算架构，支持业界多种主流的AI框架，包括MindSpore、TensorFlow、PyTorch、Jittor等。Ascend C算子开发语言开放全量底层API，帮助开发者完成高性能自定义算子开发；同时开放高层API，降低开发难度，帮助开发者快速实现复杂的自定义算子开发。图引擎（Graph Engine，GE）包括图优化、图编译、图执行等，便于开发者使用，优化了整网性能。华为集合通信库（Huawei Collective Communication Library，HCCL）可供开发者直接调用，以改善网络拥塞，提升了网络资源利用率和运维效率。算子加速库（Ascend Operator Library，AOL）提供对外开放的基础算子和大模型融合算子API，供开发者直接调用，优化了大模型性能。运行时将硬件资源（计算、通信、内存管理等资源）的API对外开放，满足开发者对模型开发、系统优化、第三方AI框架对接等不同场景诉求。

图1-22　昇腾异构计算架构