计算图(数据流图):AI系统化问题 - 计算图的提出
计算图和自动微分
单算子切分、图的切分和调度

前端->统一表示->优化层->运行时态->底层库

语言

计算网络模型中间表示
计算图

自动微分
计算图优化

内存管理、计算图调度和执行

内核代码优化与编译
多硬件支持

Q1:如何对神经网络进行建华、合并、变换？
Q2:如何规划基本计算单元在加速器上高速执行？
Q3:如何进行内存预分配和管理？
Q4:基本处理单元派发到特定后端执行？

基本数据结构：Tensor张量
高维数组，对标量，向量，矩阵的推广
žTensor形状（Shape）： [3, 2, 5]
ž元素基本数据类型（Data Type）：int, float, string, etc.

优点：
1.在上层用户表示，将数据表示为Tensor数组，在底层物理运算时用统一的数据结构对物理地址进行映射。
方便对内存进行切片、切分操作。即后端自动推断并完成元素逻辑存储空间向物理存储空间的映射
2.基本运算类型作为整体数据进行批量操作，适合单指令对数据(SIMD)并行加速。

基本运算单元：Operator算子
由最基本的代数算子组成
根据深度学习结构组成复杂算子
N个输入Tensor，M个输出Tensor

DAG数据流图：计算图