机器学习

在线性回归模型中，如果试图找到一个线性函数来拟合数据点 $(x_i, y_i)$ ，那么数学表达式如下：

$$
y = w^T x + b
$$

y = w^T x + b

使用最小二乘法（OLS）来估计参数 $w$ ，会用到最小化均方误差（MSE）：

$$
L(w, b) = \frac{1}{N} \sum_{i=1}^{N} (y_i - (w^T x_i + b))^2
$$

L(w, b) = \frac{1}{N} \sum_{i=1}^{N} (y_i - (w^T x_i + b))^2

说明：线性回归是机器学习最基础的回归模型，在统计建模、预测分析等领域广泛应用。

KL 散度用于衡量两个概率分布 $P(x)$ 和 $Q(x)$ 之间的差异，定义如下：

$$
D_{KL}(P \parallel Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}
$$

D_{KL}(P \parallel Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}

或者对于连续概率分布：

$$
D_{KL}(P \parallel Q) = \int P(x) \log \frac{P(x)}{Q(x)} dx
$$

D_{KL}(P \parallel Q) = \int P(x) \log \frac{P(x)}{Q(x)} dx

说明：KL 散度用于衡量两个概率分布之间的相对熵，在信息论、概率统计、机器学习等领域中应用广泛。