机器学习题库.docx

《机器学习题库.docx》由会员分享，可在线阅读，更多相关《机器学习题库.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、机器学习题库一、 极大似然1、 (10)A , . , N a :(a) a b.(b) .(c) a b.2、换成分布：二、 贝叶斯1、 贝叶斯公式应用假设在考试的多项选择中，考生知道正确答案的概率为p，猜测答案的概率为1，并且假设考生知道正确答案答对题的概率为1，猜中正确答案的概率为，其中m为多选项的数目。那么已知考生答对题目，求他知道正确答案的概率。： a a , a a , 及先验的分布族相同(a) : _ a . .(b) a a , . .(c) a ; , 1. (d) (c) a a , . (e) ( , 20) a ; ., .三、 判断题（1）给定n个数据点，如果其中一半

2、用于训练，另一半用于测试，则训练误差和测试误差之间的差别会随着n的增加而减小。（2）极大似然估计是无偏估计且在所有的无偏估计中方差最小，所以极大似然估计的风险最小。（）回归函数A和B，如果A比B更简单，则A几乎一定会比B在测试集上表现更好。（）全局线性回归需要利用全部样本点来预测新输入的对应输出值，而局部线性回归只需利用查询点附近的样本来预测输出值。所以全局线性回归比局部线性回归计算代价更高。（）和都是组合多个分类器投票的方法，二者都是根据单个分类器的正确率决定其权重。() , （F） a , .() . （F）() , ., a . （）（9）在回归分析中，最佳子集选择可以做特征选择，当特征

3、数目较多时计算量大；岭回归和模型计算量小，且也可以实现特征选择。（10）当训练数据较少时更容易发生过拟合。（11）梯度下降有时会陷于局部极小值，但算法不会。（12）在核回归中，最影响回归的过拟合性和欠拟合之间平衡的参数为核函数的宽度。(13) , . （T）(14) : a , L2 L2 w . （F）(15) : a , L2 L2 w （F）.(16)除了算法，梯度下降也可求混合高斯模型的参数。 (T)(20) a a .(21) , , .! a , t .(22) L2 a a . （F）(23) . (F)(24) a . (F)四、 回归1、考虑回归一个正则化回归问题。在下图中给

4、出了惩罚函数为二次正则函数，当正则化参数C取不同值时，在训练集和测试集上的似然（ ）。（10分）（1）说法“随着C的增加，图2中训练集上的似然永远不会增加”是否正确，并说明理由。（2）解释当C取较大值时，图2中测试集上的似然下降的原因。2、考虑线性回归模型：，训练数据如下图所示。（10分）（1）用极大似然估计参数，并在图（a）中画出模型。（3分）（2）用正则化的极大似然估计参数，即在似然目标函数中加入正则惩罚函数，并在图（b）中画出当参数C取很大值时的模型。（3分）（3）在正则化后，高斯分布的方差是变大了、变小了还是不变？（4分）图(a) 图(b)3. 考虑二维输入空间点上的回归问题，其中在单

5、位正方形内。训练样本和测试样本在单位正方形中均匀分布，输出模型为，我们用1-10阶多项式特征，采用线性回归模型来学习x及y之间的关系（高阶特征模型包含所有低阶特征），损失函数取平方误差损失。(1) 现在个样本上，训练1阶、2阶、8阶和10阶特征的模型，然后在一个大规模的独立的测试集上测试，则在下3列中选择合适的模型（可能有多个选项），并解释第3列中你选择的模型为什么测试误差小。（10分）训练误差最小训练误差最大测试误差最小1阶特征的线性模型X2阶特征的线性模型X8阶特征的线性模型X10阶特征的线性模型X(2) 现在个样本上，训练1阶、2阶、8阶和10阶特征的模型，然后在一个大规模的独立的测试集

6、上测试，则在下3列中选择合适的模型（可能有多个选项），并解释第3列中你选择的模型为什么测试误差小。（10分）训练误差最小训练误差最大测试误差最小1阶特征的线性模型X2阶特征的线性模型8阶特征的线性模型XX10阶特征的线性模型X(3) a . (T)(4) a . (F)4、 a a a , . a 5 ( . 100 100 . . A a 4 B a 6. ?: 6 . a 5 , a a x6 . , a a a .5、 a , . , , a ( , ., x = 0).() . a y, y2; , a x. ( “.”) (i) x; () , w1.a) 1 () .() ().

7、( () .) (i) a x = 0, x.b) (a), w1.五、 分类1. 产生式模型 . 判别式模型(a) . , . , a ? ? 产生式模型因为要估计密度(b) . a , . , a ? ?判别式模型样本数较少，通常用判别式模型直接分类效果会好些(d) , . . , a ? ?产生式模型样本数很多时，可以学习到正确的产生式模型2、回归 2: a C a a . 2, C.1、 a . (F): a ( ) . () 2、 A a . （F）: A a . “”, , . .3、 2 C. （T）4、 2 C. C , , . , , , , .5、 C a . （T） ,

8、C a .6、 a a ( ) .A . , , , .3、正则化的回归 1(a), ( w0). - L1 in 1(b) .(a) 2 2(b) L1 ( ). L234.(1) a C. w2 . d 1(b) a . L2, L3 L4 w2. , .L2: . w2, x2 . L2 a w2L3: . w22 w12 ( ), a , a C.L4: . C, a ( x1 = 0 x2 ). L4 x2 a s . w2 . L4 a w2.(2) ( ) w1 1(a) . C ( ):( x ) w1 0, w2.( ) w1 w2 ( ) w2 0, w1.( ) , C

9、x2 , . w1 = 0. a w1 . a a w1 t ? w1 . C , w2 . w2 a . a w2. w1 = w2 = 0, a (0:5). 4: , , ( ).(1) 4? ( a ) （0）(2) a . (F)(3) ( ) . （F）(4) a ? ?A a . 3.4、对如下数据点进行分类：(a) . +, ?(b) . a 1 x1 = 3/2, x2 = 0. s x1 + x2 = 3/2, (1, 1)T .(c) , , ? (1, 0) (1, 1) .(d) ( ) (c) ? a a . a , . (, ) a (, ) . , , . :对

10、下述有3个数据点的集合进行分类：(a) +, ?(b) 3 . ? , a . . 3 . A (0,0,1) .(c) a 2 1, +1 (w123)T . a . 3 . 3 . (e) ( ) (d) ? a a . x1 = 0, 0 , x2 = 2, 2 x3 = h, 1 , x4 = 0, 3, 0 h 3 a (1). h 0 ? () 1(2). a h ()?, x1, x2, x3 .(3). a h? : a h a . (4). . , (0 = 1), (2 = 1), (1 = -1), (3 1). p ? x2 11,11. , a . a 100 ( )

11、, : : A ( ), I ( ).: A ( ) .: A .: A , .(1) , . . “ 1 = 2” “ 1 = 2”. , “”. = ( a )(2) ? “ 1 = 2” “ 1 = 2”. “” .5、 4.1. , a . 4.1. , “+” y = 1.(1) a , , . ( ) .a) 4.1. “x” “0” “1” .b) . , a , , . . , , , i = 0, 1, 2. , . 4.1, , , a C ( 4.2). , . “”, “”, “” , w0, w1, w2, . a . “” = (w1) w1 . . () . ,

12、x2 = 1 , 4 . “” = (w0) w0, ( ). a . “” = (w2) w2 ( ); w2 .1、 2009 46、 : 1) a ( ) 2) , . R2 . , , .(1) . (T)(2) . , n . () ? a . a . a ( ) .20042, (1) a 3.1 . . , (, !). ( ). 3.1: , , (2) n 3.1: (.). 2 ()? 2 1. 2 1/2(n) .1、 2: h1 ; ?(1) 2 a 8 , ( ). a h1 . h1 ? ( , 1/8.) 1/8 (2) , , . （F） a (3) , (T)

13、 . . , a , . (4) (T) , 1/2. , , . 1/2 “” a 1/2. “” .2、 1.1: , , . 1.1 o ( = -1) + ( = +1). . , h(x; A), h(x; B), h(x; C) A, B C .(1) ( A, B, C)? B B .(2) ( A, B, C)? C0.5 . C.(3) 1.1, (s) ( ) h2(x) = h(x; ) + h(x; ) . 3、 a D = f(x1; y1); : : : ; (; )g . . a . , m D m h(x; 1); : : : ; h(x; m) ( “ ).

14、t = 1, . . D , .(1) a ? (N)(2) a K1(x; x0) . a ( )? , a , , D = , ., .4. . 2 . , , . +1. .(1) (s) 2 a ( ).(2) a . ( ). a . 2: . .(3) ? a . ( , )2(15 ) a , . a a : a x1 ( ) x2 ( ). , . h3(x), (., ). , i, . . , x1, . a , . () , ., h1(x); h2(x), h3(x)?3、 a a K . . (a) a K . a , K . (), 2 K () 1 :(b) , ?, , . 3 a . , = 3/4 = 1/2.替补：2004 1六、 交叉验证1、4. 给定如下数据集，其中为输入变量，为输出变量。假设考虑采用算法对对应的进行预测，其中距离度量采用不加权的欧氏距离。（12分）（1）算法1的训练误差的是多少？（用分类错误的样本数目表示即可，下同）（2）算法3的训练误差是多少？（3）算法1的（留一交叉验证）估计误差是多少？ （4）算法3的（留一交叉验证）估计误差是多少？第 8 页