CS217 1_Intro Hardware Accelerators for Machine Learning

课程ppt下载：
链接：https://pan.baidu.com/s/1GboyGVsYFvyjYhIJ36ZeDg
提取码：1017
有学习参考知乎严忻恺同学部分笔记内容
https://zhuanlan.zhihu.com/p/357160615

Goal

Design of hardware architectures for accelerating Machine Learning (ML)
课程目的设计加速ML的硬件结构

门课重点有以下几个方面:
1.从计算角度理解机器学习和深度学习
2.传统机器学习核心模块
3.线性代数核心特征
4.如何估计性能、并行度和局部性
5.DNN推理加速器
6.DNN训练加速器和挑战
7.压缩训练
8.机器学习基准

Introduction

训练与推理

我们也可以将传统方法称为软件1.0，机器学习的方法称为软件2.0.因为软件1.0需要编程人员编写代码，同时有相关领域的专长，比如分解问题、设计算法、组成软件系统等等，而软件2.0则只需要编程人员输入训练数据，神经网络模型的权值会自动优化。

更多的数据导致了更大的模型，模型层数越来越多，越来越深，也就可以称为深度神经网络（DNN）

更多的数据导致了更大的模型，模型层数越来越多，越来越深，也就可以称为深度神经网络。

机器学习硬件加速器的发展也从CPU、GPU、FPGA到TPU的诞生，那么今后需要什么硬件架构来加速机器学习。

设计一个硬件加速器有很多关键的问题

首先是我们如何才能使机器学习加速100倍以上？这里的100倍指的是性能功耗比，并且能够适配新的机器学习应用，还有机器学习模型的好用性问题。

第二是我们如何平衡性能和可编程性，是偏向ASIC一样的高能效比还是偏向处理器一样的灵活性。

第三是我们需要一个全栈协同设计。所谓全栈就是从顶到底，包含机器学习算法、编程框架、编译器和硬件。

并行计算、低精度、数据同步、Cache一致性、稀疏化处理

Story

Dennard定律

Dennard定律
Dennard发现，晶体管的尺寸在每一代技术中都缩小了30% (0.7倍)，因此它们的面积减少了50%。这意味着电路减少了30% (0.7倍)的延迟，因此增加了约40% (1.4倍)的工作频率。最后，为了保持电场恒定，电压降低了30%，能量降低了65%，功率降低了50%。因此，在每一代技术中，晶体管密度增加一倍，电路速度提高40%，功耗(晶体管数量增加一倍)保持不变。

功耗 Power Dissipation == CV2f

和电压的平方成正比，和频率成正比，和电容成正比，电容又和线长度、晶体管大小和交换延迟相关

但是自2005-2007年前后，Dennard缩放比例定律似乎已经失效。截至2016年，集成电路中的晶体管数量仍在跟随“摩尔定律”增加，但由此带来的性能改善却更为缓慢。我们从ppt中也可以看到缩放比例a已经消失不见了，这是因为同样的面积能够容纳的晶体管增多S2倍，系统频率也增加S倍，但是因为供电电压降低了S^2，电容也减少了S倍，所以**总功耗是不变（Power Dissipation）**的。

Dark Silicon

现在处理器设计中的十分普遍的现象——dark silicon，也叫“暗硅”。某一时刻只能有很少的一部分门电路能够工作，其余的大部分处于不工作的状态，这部分不工作的门电路，就叫做“暗硅”。课程中很形象的给出了暗硅四骑士用于描述特性。

The Four Horsemen of Dark Silicon

The Four Horsemen – Shrink

第一个是小骑士，代表了缩小芯片面积。因为已经基本无效了所以很小。。。这限制了性能，也减少了收益，面积过小还会带来散热的问题。

The Four Horsemen – DIM

第二个是瘦弱骑士，代表着芯片上为了满足功耗要求而降频或者不频繁使用的通用逻辑部分，因为效果很少，所以很瘦弱。。。

The Four Horsemen – Deus ex machina(解围的人)

代表了半导体/CMOS工艺进步的好处。

The Four Horsemen – Specialization

最后一个是狂野骑士，代表着定制化，即高效加速器带来数量级的能效提升。


异构计算是定制化计算的一个重要发展方向，尤其是异构多核系统，可以在片上加速从而提高能效。