一、概念
Inductive Bias一般翻译为归纳偏置/归纳偏差(归纳偏置应该更容易理解些),是一个关于机器学习算法的目标函数的假设.其实说的是模型的指导规则。
归纳是自然科学中常用的两大方法(归纳与演绎,induction and deduction)之一,指的是从一些例子中寻找共性、泛化,形成一个比较通用的规则的过程;
“bias”“偏置”是指我们对模型的偏好。 因此
二、举例
深度神经网络 就偏好性地认为,层次化处理信息有更好效果;
卷积神经网络 认为信息具有空间局部性 (Locality),可用滑动卷积共享权重的方式降低参数空间;
循环神经网络 则将时序信息考虑进来,强调顺序重要性;
图网络 则认为中心节点与邻居节点的相似性会更好引导信息流动。
三、意义
归纳偏置的意义或作用是使得学习器具有了泛化的能力。
对于上图中的 6 个离散实心点,可由很多不同的曲线拟合之。但训练的模型必然存在一定的 “偏好” 或者说 “倾向”,才能学习出模型自己认为正确的拟合规则。
显然,加了一定正则的偏置的实线 A 比虚线 B 更为简单而通用 (模型复杂度受到惩罚而更低,恰当拟合数据点,泛化性能更好)。
参考文章:
浅谈 归纳偏置 (Inductive Bias)
归纳偏差
归纳偏差与选择性偏差(概念作用以及举例说明)
归纳偏置/归纳偏差/inductive bias