小测验 1

时间：2019年11月20日 8:00-9:40

作业模版请上传到jupyter平台运行

参考答案

MLP Quiz

内容

利用$\hat{Y} = f_2\circ\phi\circ f_1 (X)$和梯度下降法来拟合dummy数据集，即求解最优化问题：$min_{W, b} L(\hat{Y}, Y)$

其中：

• $Z_0 = X$, 其中 $X \in \mathbb{R}^{N}$
• $Z_1 = f_1(Z_0) := Z_0\cdot W_1 + b_1$, 其中 $W_1 \in \mathbb{R}, b_1 \in \mathbb{R}$
• $Z_2 = \phi_2(Z_1) := \frac{1}{1+e^{-Z_1}}$, 其中指数运算为逐元素运算，即$e^{X}_i := e^{X_i}$
• $Z_3 = f_2(Z_2) := Z_2\cdot W_2 + b2$, 其中 $W_2 \in \mathbb{R}, b_2 \in \mathbb{R}$
• $\hat{Y} = Z_3$
• $L(\hat{Y}, Y) := \frac{1}{2} \sum_{i=1}^{N} (\hat{Y_i} - Y_i)^2$

评分

1. （4分）给出$\frac{\partial L}{\partial W_1}, \frac{\partial L}{\partial b_1}, \frac{\partial L}{\partial W_2}, \frac{\partial L}{\partial b_2}$的计算表达式（纸质或pdf）
2. （6分）补充完整代码模版

提交

提交到ftp://ftp.lflab.cn/AI_homework/Undergraduate/quiz/下