归纳偏置 (Inductive Bias)

一、概念

Inductive Bias一般翻译为归纳偏置/归纳偏差（归纳偏置应该更容易理解些），是一个关于机器学习算法的目标函数的假设.其实说的是模型的指导规则。

归纳是自然科学中常用的两大方法（归纳与演绎，induction and deduction)之一,指的是从一些例子中寻找共性、泛化，形成一个比较通用的规则的过程；

“bias”“偏置”是指我们对模型的偏好。

因此归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用，即从假设空间中选择出更符合现实规则的模型。

二、举例

深度神经网络 就偏好性地认为，层次化处理信息有更好效果；

卷积神经网络 认为信息具有空间局部性 (Locality)，可用滑动卷积共享权重的方式降低参数空间；

循环神经网络 则将时序信息考虑进来，强调顺序重要性；

图网络 则认为中心节点与邻居节点的相似性会更好引导信息流动。

三、意义

归纳偏置的意义或作用是使得学习器具有了泛化的能力。

对于上图中的 6 个离散实心点，可由很多不同的曲线拟合之。但训练的模型必然存在一定的 “偏好” 或者说 “倾向”，才能学习出模型自己认为正确的拟合规则。

显然，加了一定正则的偏置的实线 A 比虚线 B 更为简单而通用 (模型复杂度受到惩罚而更低，恰当拟合数据点，泛化性能更好)。

参考文章：

浅谈 归纳偏置 (Inductive Bias)

归纳偏差

归纳偏差与选择性偏差（概念作用以及举例说明）

归纳偏置/归纳偏差/inductive bias