自制建议计算机(c语言实现)只支持+-*/附带原码

学习matlab(十七)——信号处理

  返回  

模型压缩之量化入门笔记||量化基本公式的理解||量化过程可视化||LSQ公式理解

2021/8/20 21:18:25 浏览:

公式介绍

  本人初入模型量化的坑,对量化的一些过程还不是很理解,于是做了一些可视化的小实验,来帮助更好地理解公式。
  下面的公式来自于论文《LEARNED STEP SIZE QUANTIZATION》(ICLR, 2020) 和《LSQ+: Improving low-bit quantization through learnable offsets and better initialization》(CVPR,2020):
在这里插入图片描述
  上面的公式算是比较经典的量化公式了,中规中矩的公式。
  公式 (1) 采用的即是均匀量化方法, c l i p ( a , n , p ) clip(a,n,p) clip(a,n,p) 会将数据 a “钳制”到 [n,p] 范围内, r o u n d ( a ) round(a) round(a)即对数据a进行四舍五入操作。 z z z 称作量化零点,可以理解为一个位移量。 s s s 称作量化尺度 (scale),可以理解为一个缩放因子。“ x − z s \frac{x-z}{s} sxz” 就是在做变换 (规范化,利于离散化)。公式 (1) 称作量化过程,得到的 x ˉ \bar{x} xˉ 称作量化结果。需要注意的是 x ˉ \bar{x} xˉ 此时为整数形式。
  公式 (2) 很明显就是在做一个缩放、位移操作,称为反量化过程,得到的 x ^ \hat{x} x^ 称作“反量化结果”。需要注意的是 x ^ \hat{x} x^ 此时为小数形式。
  公式 (1) (2) 统一起来即完成了一个离散化过程,将原来的数据离散到有限的值内。若是在硬件部署模型的话,只需要储存整数形式的 x ˉ \bar{x} xˉ 、FP32的 s s s 、INT16的 z z z 即可,而前向推理时再通过公式 (2)恢复出高精度值。

  需要注意的是,本文指的3-bit量化是有 2 3 = 8 2^3=8 23=8 个量化电平 (Quantization level) ,即有8个有限的离散表征点:-4、-3、-2、-1、0、1、2、3,并不是对称的。实际模型量化由于考虑到算子溢出问题,会是对称的,这里不做赘述。

量化零点 z z z 在离散化过程中的作用


在这里插入图片描述

图 (1). 初始化一个以0为中心的高斯分布集,3-bit量化下 z 增大




在这里插入图片描述

图 (2). 初始化一个以-2为中心的高斯分布集,2-bit量化下 z 增大




在这里插入图片描述

图 (3). 初始化一个以0为中心的高斯分布集,2-bit量化下 z 增大




在这里插入图片描述

图 (4). 初始化一个以0为中心的高斯分布集,3-bit量化下 z 减小




在这里插入图片描述

图 (5). 初始化一个以-2为中心的高斯分布集,2-bit量化下 z 减小




  可以发现,量化零点使得分布偏移。其实我们最想要的情况是如图 (3) (5)那样的变化过程,使原数据的大部分都能被充分量化,换句话说就是尽量让clip所钳制的值更合理些。

  1. Z增大(或者为正数)时,量化后的分布会左移。而反量化后的分布会右移动,移回原数据分布所在的中心。
  2. Z减小(或者为负数)时,量化后的分布会右移。而反量化后的分布会左移动,移回原数据分布所在的中心。


量化尺度 s s s 在离散化过程中的作用



在这里插入图片描述

图 (6). 初始化一个以0为中心的高斯分布集,3-bit量化下 s 增大




在这里插入图片描述

图 (7). 初始化一个以-2为中心的高斯分布集,2-bit量化下 s 增大




在这里插入图片描述

图 (8). 初始化一个以0为中心的高斯分布集,3-bit量化下 s 减小




在这里插入图片描述

图 (9). 初始化一个以-2为中心的高斯分布集,2-bit量化下 s 减小




  可以发现,s确实起到缩放作用。量化前通过s变换成新形态,反量化时再通过s变换回来。

  1. 当s增大(或者大于1)时,数据向中心的量化电平富集,反量化后最小刻度增大。
  2. 当s减小(或者小于1)时,数据向靠近边缘的量化电平富集,反量化后最小刻度减小。


量化尺度 s s s 和量化零点 z z z 联合作用



在这里插入图片描述

图 (10). 初始化一个以0为中心的高斯分布集,2-bit量化下 s 、z均增大



  可以看到图 (10) 最后达到了一个比较良好的效果,即在保证大部分数据充分量化情况下,也合理地丢掉了小部分的离群点。这样的量化是我们一般想达到的效果。

联系我们

如果您对我们的服务有兴趣,请及时和我们联系!

服务热线:18288888888
座机:18288888888
传真:
邮箱:888888@qq.com
地址:郑州市文化路红专路93号