AI模型优化

将连续的无限的事物转换为离散的、可量化的事物

使用数量表达,比如使用数字表达环境温度,可能是25度(整数形式),25.3度(浮点数形式),25.312346942(高精度浮点数形式)。

在深度学习领域的量化是指将神经网络里的权重和激活值从高精度浮点数(如flaot32)转换为低精度数据类型(如int8或float16)的过程,这是一种模型压缩和优化技术,旨在减少模型的计算资源需求,同时尽量保持模型的性能。

知识蒸馏

知识蒸馏是一种模型压缩,通过转移学习技术来实现。特点是减少模型中参数的数量。

类似文章

发表回复