博客

一、嵌入式AI概述

大部分神经网络计算都在卷积层，基本上99%都在卷积层，

二、模型加速

2-1.权值量化

tengine量化后的准确率之下降了1.5%。

2-2.网络剪枝

2-3.知识蒸馏

大网络是一个老师，小网络是一个学生

让小网络逐渐学习到大网络的能力

三、边缘侧的训练方法

传统的机器学习训练方法是把数据在服务器上训练好，然后使用

联邦学习是用户不把数据上传，而是把模型下发到对应的用户那里

用户训练以后用户会把训练好的模型上传到服务器，服务器再把训练的模型进行合成，再不断的更新，当训练的次数越来越多的时候，模型也会获得更强的能力。