UFLDL - Unsupervised Feature Learning and Deep Learning(无监督特征学习与深度学习)
CNN - Convolutional Neural Network (卷积神经网络)
FCN - Fully Convolutional Networks (全卷积网络)
RNN-Recurrent Neural Network(循环神经网络)
DNN - (深度神经网络)
Feedforward Neural Network 前馈神经网络(参照Mitchell的《机器学习》的翻译)
全联通网络 Full Connected Networks
稀疏编码 Sparse Autoencoder
前向输送 Feedforward
反向传播 Backpropagation
部分联通网络 Locally Connected Networks
连接区域 Contiguous Groups
视觉皮层 Visual Cortex
卷积 Convolution
固有特征 Stationary
池化 Pool
反向传播算法 Backpropagation Algorithm
（批量）梯度下降法 (batch) gradient descent
（整体）代价函数 (overall) cost function
方差 squared-error
均方差 average sum-of-squares error
规则化项 regularization term
权重衰减 weight decay
偏置项 bias terms;bias units
贝叶斯规则化方法 Bayesian regularization method
高斯先验概率 Gaussian prior
极大后验估计 MAP
极大似然估计 maximum likelihood estimation
激活函数 activation function
激活值bias units
双曲正切函数 tanh function;hyperbolic tangent
非凸函数 non-convex function
隐藏层单元 hidden (layer) units
对称失效 symmetry breaking
学习速率 learning rate
前向传导 forward pass
假设值 hypothesis
残差 error term
加权平均值 weighted average
前馈传导 feedforward pass
阿达马乘积 Hadamard product
前向传播 forward propagation
神经网络neural networks
稀疏编码 Sparse Coding
无监督学习 unsupervised method
超完备基 over-complete bases
主成分分析 PCA
稀疏性 sparsity
退化 degeneracy
代价函数 cost function
重构项 reconstruction term
稀疏惩罚项 sparsity penalty
范式 norm
生成模型 generative model
线性叠加 linear superposition
加性噪声 additive noise
特征基向量 basis feature vectors
经验分布函数 the empirical distribution
KL 散度 KL divergence
对数似然函数 the log-likelihood
高斯白噪音 Gaussian white noise
先验分布 the prior distribution
先验概率 prior probability
源特征 source features
能量函数 the energy function
正则化 regularized
凸优化软件convex optimization software
共轭梯度法 conjugate gradient methods
二次约束 quadratic constraints
拉格朗日对偶函数 the Lagrange dual
前馈结构算法 feedforward architectures
LSE - Least Squares Method (最小二乘法)
