姓名_____________________________ 学号_________________________

注：均需给出解题过程。

1. 现有以下数据点（𝑥𝑥𝑖𝑖 , 𝑦𝑦𝑖𝑖 ） ，试用二次函数拟合，在最大似然准则下估计系数：

(0,-0.1), (0.2,0.2), (0.5, 0.6), (0.6, 1.6), (0.9,2.3)

2. 给定感知机模型
𝑧𝑧 = sgn(𝑤𝑤1 𝑥𝑥 + 𝑤𝑤2 𝑦𝑦 + 𝑏𝑏)
当前参数取值为𝑤𝑤1 = 1, 𝑤𝑤2 = 0.9, 𝑏𝑏 = −1；学习步长𝜂𝜂 = 0.5；
若当前样本为：(𝑥𝑥, 𝑦𝑦, 𝑧𝑧) = (1.0, −0.2, −1)，请更新感知机权重；
若当前样本为：(𝑥𝑥, 𝑦𝑦, 𝑧𝑧) = (1.0, −0.2, +1)，请更新感知机权重。

5. 在 Q-learning 过程中，当前时刻 Q-table 如下图所示，假设在当前状态 S1

3. 计 算 如 下 输 入 𝑋𝑋 经 过 CNN 的 卷 积 层 𝑊𝑊 = {𝑊𝑊0 , 𝑊𝑊1 } 得 到 的 输 出 𝑌𝑌 。 下智能体采取了动作 a0，环境反馈进入状态 S3、即时奖励为 0.1，设折扣
(padding=1,stride=1) 因子为 0.9，试根据 Q-learning 方法更新该 Q-table
2 0 2 1 0 1 4 1 6. 试 推 导 如 图 所 示 RNN 网 络 的 时 间 展 开 后 向 传 播 BPTT 算 法 的 梯 度
𝑋𝑋(: , : ,0) = �1 2 1 0� , 𝑋𝑋(: , : ,1) = �1 2 0 0� 𝜕𝜕𝜕𝜕/ 𝜕𝜕𝜕𝜕, 𝜕𝜕𝜕𝜕/ 𝜕𝜕𝜕𝜕表达式，其中𝐿𝐿为𝑦𝑦 (𝑡𝑡) 与𝑦𝑦� (𝑡𝑡) 的交叉熵
0 0 0 1 0 1 1 1
1 0 0 2 0 1 2 2
0 1 0 −1 0 1 第 5 题图： 第 6 题图：
( ) ( )
𝑊𝑊0 : , : ,0 = �1 −4 1� , 𝑊𝑊0 : , : ,1 = �−2 0 2� Q a0: Left a1:Right
0 1 0 −1 0 1
−1 1 1 1 0 −1 S0 0.1 0.5
𝑊𝑊1 (: , : ,0) = �−1 −2 1 � , 𝑊𝑊0 (: , : ,1) = �−1 0 −1�
0 −1 −1 −1 −2 2 S1 0.4 0.3

S2 0.8 0.4

S3 0.1 0.2
4. 试推导下图神经网络模型中后向传播的梯度：𝜕𝜕𝜕𝜕/ 𝜕𝜕𝜕𝜕, 𝜕𝜕𝜕𝜕/ 𝜕𝜕𝜕𝜕