高性能AI数据压缩的硬件IP

  技术介绍:

1.  项目概况(研究背景+项目概述)

本技术针对神经网络的中间层结果和权重,实现了高效的无损/有损的压缩/解压缩技术,开发实现了相应的硬件IP,可用于集成在相关AI计算芯片中,显著降低AI处理器的片上缓存需求与片外的访存带宽需求。相关技术被授权给2家产值过百亿的行业领军企业,专利授权费超过100万。

2.  关键技术(技术优势和特点)

l  针对权重的on-chip解压缩,实现了接近huffman压缩率的无损解压缩(总压缩率仅比huffman3%),Throughput 满足单 core 大于8pixel/cycle;逻辑开销单核小于25K gates;(DC综合结果);工作频率满足1GHz (前仿,tsmc28)。

l  针对神经网络的中间层结果的on-chip压缩/解压缩,实现了接近Huffman压缩率的无损压缩/解压缩硬件编码技术(总压缩率仅比Huffman5%,Throughput 满足单 core 大于8pixel/cycle;解压与压缩模块的逻辑门开销的单核小于50K gates;(DC综合结果);工作频率满足1GHz (前仿,tsmc28)。

l  针对神经网络的中间层结果的on-chip压缩/解压缩,实现了有损的压缩/解压缩硬件编码技术,需复用处理器中的MAC计算单位,针对已发表的原版(github上)的Yolo-V3,VGG16,Resnet等常用网络实现了3x-5x的压缩率,网络的预测精度下降不超过1%,且可对网络进行finetune进一步降低。整个压缩,解压缩单元小于100K gates;(DC综合结果);工作频率满足0.95GHz (前仿,tsmc28)。

3.  应用领域和市场前景

本项目的硬件IP,可用于集成在相关AI计算芯片中,显著降低AI处理器的片上缓存需求与片外的访存带宽需求实现了端到端的AI处理器系统,可显著降低由于传输延时带来的芯片计算性能的不足和功耗的增加

4.  合作模式:技术转让,授权,许可

5.  联系我们:hejing@nju.edu.cn


.1 中间层有损压缩下的压缩率及其网络预测精度的降低(网络未经过finetune