机器学习基石 作业0
1 Probability and Statistics2 Linear Algebra3 Caculus网上没找到作业0的答案，这是自己做的版本，有一些可能会有错误，欢迎讨论。
1 Probability and Statistics
用数学归纳法。N=1时满足，假定N=n满足，当N=n+1同样满足。得证。
10个挑4个正面 C104(1/2)4(1/2)6C_{10}^{4}(1/2)^{4}(1/2)^{6}C104(1/2)4(1/2)6
52张牌挑5个。先从13个里挑2个数字，这两种做X和Y时不相同，再计算2种数字的组合方式。 A132C43C42C525\dfrac{A_{13}^{2}C_{4}^{3}C_{4}^{2}}{C_{52}^{5}}C525A132C43C42
假设已知第一次正面，那么三次都是正面的概率是1/4。而提供的是有一个已知正面，那么三次里每一次都有可能。即3∗1/3∗1/4=1/43*1/3*1/4 = 1/43∗1/3∗1/4=1/4。
以上为错误答案。正确答案为P(三个硬币正面向上|有一个正面向上) = P(三个正面向上&&有一面正面向上)/P(有一个正面向上） = 1/7
p(x=−1∣∣x∣=1)=p(x=−1)p(∣x∣=1)=1/2∗1/41/2∗1/4+1/2∗1/8=2/3p(x=-1| |x|=1) = \dfrac{p(x=-1)}{p(|x|=1)} = \dfrac{1/2*1/4}{1/2*1/4+1/2*1/8} = 2/3p(x=−1∣∣x∣=1)=p(∣x∣=1)p(x=−1)=1/2∗1/4+1/2∗1/81/2∗1/4=2/3
0.3 0 0.7 0.4
2 Linear Algebra
秩为2
(1/8−5/83/4−1/41/4−1/23/8−3/81/4)\begin{pmatrix} 1/8 & -5/8 & 3/4 \\ -1/4 & 1/4 & -1/2 \\ 3/8 & -3/8 & 1/4 \end{pmatrix}⎝⎛1/8−1/43/8−5/81/4−3/83/4−1/21/4⎠⎞
λ1=4λ2=λ3=2\lambda_{1} = 4 \ \ \ \ \ \ \ \lambda_{2}=\lambda_{3}=2λ1=4λ2=λ3=2
对应特征向量v1=[12−1]v2=v3=[11−2]v_{1}= [1\ 2 \ -1] \ \ v_{2}=v_{3} = [1 \ 1 \ -2]v1=[12−1]v2=v3=[11−2] v2v_{2}v2和v3v_{3}v3只要满足元素和为0即可，也不用相等
(a) svd分解中UUU和VVV都是正交矩阵，直接乘即可。
(b)两个矩阵相乘得单位阵
(a) xTZZTxx^{T}ZZ^{T}xxTZZTx = (ZTx)∗ZTx(Z^{T}x)*{Z^{T}x}(ZTx)∗ZTx 结果的每个元素都非负，得证
(b)对称矩阵可以用标准正交阵进行分解，在特征值都为正时结果的每个元素为正。
xTx∣x∣\dfrac{x^{T}x}{|x|}∣x∣xTx x∣x∣\dfrac{x}{|x|}∣x∣x
−xTx∣x∣\dfrac{-x^{T}x}{|x|}∣x∣−xTx −x∣x∣\dfrac{-x}{|x|}∣x∣−x
0 当u与x垂直时
3 Caculus
普通求导
链式法则普通求导
普通求梯度和黑塞矩阵
二元泰勒展开 /p/33316479
可以用上(3)中的梯度和黑塞矩阵的结果
求导为0的地方是最小值。因为只有一个矩阵为0的位置，而正无穷与负无穷两头对应的结果都是无穷大且值一直大于0。
应该是按矩阵乘法里的每个分量进行求导然后写会矩阵形式。略难写。
