机器学习中的数学基础

微分学

• 求导数
• 求偏导数

以上两个通过公式或者使用泰勒公式进行逼近得到的

求f(x)在x0处的导数

根据泰勒公式:

f(x) = f(x0) + f'(x0)(x - x0) + f''(x0)(x - x0)^2/2! + f'''(x0)(x - x0)^3/3! + ... + f^n(x0)(x - x0)/n! + o(x - x0)

对于一般的二次函数, 泰勒展开到达 n = 1, 即f(x) = f(x0) + f'(x0)(x - x0) + o(x - x0), 这里设公式中的f'(x0) = L, 所以f(x)在x0处的导数f'(x0) = L, 我们把(x - x0)看成dx, 其实f'(x0)就是对dx在泰勒展开公式中的导数

常用的泰勒展开

• e^x =
• sin(x) =

• cos(x) =

• 夹逼定理

优化的算法

• 局部法
  • 牛顿法: 使用二阶逼近(泰勒公式)
  • 梯度下降法: 使用一阶逼近(泰勒公式)