为什么卷积神经网络（CNN）相比于全连接网络（FC）往往有更好的泛化性能，尤其在图像分类任务上？通常用更好的归纳偏置（inductive bias）来解释，然而在数学上并不严格，因为足够宽的全连接网络始终可以模拟卷积网络。
在机器学习中，经常会对学习的问题做一些假设，这些假设就称为归纳偏置（inductive bias）。拆开来看，
归纳（Induction）是自然科学中常用的两大方法之一（归纳与演绎，induction and deduction），指的是从一些例子中寻找共性、泛化，形成一个比较通用的规则的过程；
偏置（bias）是指我们对模型的偏好。
因此，归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的规则(heuristics)，然后对模型做一定的约束，从而可以起到“模型选择”的作用，即从假设空间中选择出更符合现实规则的模型。其实，贝叶斯学习中的“先验(Prior)”这个叫法，可能比“归纳偏置”更直观一些。
归纳偏置在机器学习中几乎无处不可见。老生常谈的“奥卡姆剃刀”原理，即希望学习到的模型复杂度更低，就是一种归纳偏置。另外，还可以看见一些更强的一些假设：KNN中假设特征空间中相邻的样本倾向于属于同一类；SVM中假设好的分类器应该最大化类别边界距离；等等。
在深度学习方面也是一样。以神经网络为例，各式各样的网络结构/组件/机制往往就来源于归纳偏置。在卷积神经网络（CNN）中，我们假设特征具有局部性(Locality)的特性，即当我们把相邻的一些特征放在一起，会更容易得到“解”；在循环神经网络（RNN）中，我们假设每一时刻的计算依赖于历史计算结果；还有注意力机制，也是基于从人的直觉、生活经验归纳得到的规则。
参考链接：
/question/264264203/answer/492568154
参考论文：
/abs/.08515
