为什么卷积神经网络(CNN)相比于全连接网络(FC)往往有更好的泛化性能,尤其在图像分类任务上?通常用更好的归纳偏置(inductive bias)来解释,然而在数学上并不严格,因为足够宽的全连接网络始终可以模拟卷积网络。
在机器学习中,经常会对学习的问题做一些假设,这些假设就称为归纳偏置(inductive bias)。拆开来看,
归纳(Induction)是自然科学中常用的两大方法之一(归纳与演绎,induction and deduction),指的是从一些例子中寻找共性、泛化,形成一个比较通用的规则的过程;
偏置(bias)是指我们对模型的偏好。
因此,归纳偏置可以理解为,从现实生活中观察到的现象中归纳出一定的规则(heuristics),然后对模型做一定的约束,从而可以起到“模型选择”的作用,即从假设空间中选择出更符合现实规则的模型。其实,贝叶斯学习中的“先验(Prior)”这个叫法,可能比“归纳偏置”更直观一些。
归纳偏置在机器学习中几乎无处不可见。老生常谈的“奥卡姆剃刀”原理,即希望学习到的模型复杂度更低,就是一种归纳偏置。另外,还可以看见一些更强的一些假设:KNN中假设特征空间中相邻的样本倾向于属于同一类;SVM中假设好的分类器应该最大化类别边界距离;等等。
在深度学习方面也是一样。以神经网络为例,各式各样的网络结构/组件/机制往往就来源于归纳偏置。在卷积神经网络(CNN)中,我们假设特征具有局部性(Locality)的特性,即当我们把相邻的一些特征放在一起,会更容易得到“解”;在循环神经网络(RNN)中,我们假设每一时刻的计算依赖于历史计算结果;还有注意力机制,也是基于从人的直觉、生活经验归纳得到的规则。
参考链接:
/question/264264203/answer/492568154
参考论文:
/abs/.08515