darkdark857的博客

原创 华为昇腾ai ascend c算子 学习笔记

npu执行ai应用时，npu上进行加速，此时其可相当于devices设备，host侧提供数据，host内存相当于cpu内存、global memary。Spmd模型 需要处理的数据拆分并发布在多个计算核心（ai core）上运行多个ai core 共享的相同的指令代码 block_idx不同。计算单元 AI核心中的执行单元包括Cube、Vector和Scalar，它们是不同类型数据的计算单元。网络中每一个算子根据算子类型进行算子实现的匹配，相同类型的算子的实现逻辑相同。不同流水任务之间存在数据依赖。