机器学习第6章作业三.pdf

《机器学习第6章作业三.pdf》由会员分享，可在线阅读，更多相关《机器学习第6章作业三.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1/9 1.1 机器学习：人脸识别、手写识别、信用卡审批。不是机器学习：计算工资，执行查询的数据库，使用 WORD。2.1 Since all occurrence of“”for an attribute of the hypothesis results in a hypothesis which does not accept any instance,all these hypotheses are equal to that one where attribute is“”.So the number of hypothesis is 4*3*3*3*3*3+1=973.With t

2、he addition attribute Watercurrent,the number of instances=3*2*2*2*2*2*3=288,the number of hypothesis=4*3*3*3*3*3*4+1=3889.Generally,the number of hypothesis=4*3*3*3*3*3*(k+1)+1.2.3 Ans.S0=(,)v(,)G0=(?,?,?,?,?,?)v(?,?,?,?,?,?)Example 1:S1=(Sunny,Warm,Normal,Strong,Warm,Same)v(,)G1=(?,?,?,?,?,?)v(?,?

3、,?,?,?,?)Example 2:S2=(Sunny,Warm,Normal,Strong,Warm,Same)v(Sunny,Warm,High,Strong,Warm,Same)，(Sunny,Warm,？,Strong,Warm,Same)v(,)G2=(?,?,?,?,?,?)v(?,?,?,?,?,?)Example 3:S3=(Sunny,Warm,Normal,Strong,Warm,Same)v(Sunny,Warm,High,Strong,Warm,Same)，(Sunny,Warm,？,Strong,Warm,Same)v(,)G3=(Sunny,?,?,?,?,?)v

4、(?,Warm,?,?,?,?),(Sunny,?,?,?,?,?)v(?,?,?,?,?,Same),(?,Warm,?,?,?,?)v(?,?,?,?,?,Same)Example 4:S4=(Sunny,Warm,?,Strong,?,?)v(Sunny,Warm,High,Strong,Warm,Same)，(Sunny,Warm,Normal,Strong,Warm,Same)v(Sunny,Warm,High,Strong,?,?)，(Sunny,Warm,？,Strong,？,？)v(,)，(Sunny,Warm,？,Strong,Warm,Same)v(Sunny,Warm,H

5、igh,Strong,Cool,2/9 Change)G4=(Sunny,?,?,?,?,?)v(?,Warm,?,?,?,?),(Sunny,?,?,?,?,?)v(?,?,?,?,?,Same),(?,Warm,?,?,?,?)v(?,?,?,?,?,Same)2.4 Ans.(a)S=(4,6,3,5)(b)G=(3,8,2,7)(c)e.g.,(7,6),(5,4)(d)4 points:(3,2,+),(5,9,+),(2,1,-),(6,10,-)3/9 4/9 2.6 Proof:Every member of VSH,D satisfies the right-hand sid

6、e of expression.Let h be an arbitrary member of VSH,D,then h is consistent with all training examples in D.Assuming h does not satisfy the right-hand side of the expression,it means(sS)(gG)(g h s)=(sS)(gG)(g h)(h s).Hence,there does not exist g from G so that g is more general or equal to h or there

7、 does not exist s from S so that h is more general or equal to s.If the former holds,it leads to an inconsistence according to the definition of G.If the later holds,it leads to an inconsistence according to the definition of S.Therefore,h satisfies the right-hand side of the expression.(Notes:since

8、 we assume the expression is not fulfilled,this can be only be if S or G is empty,which can only be in the case of any inconsistent training examples,such as noise or the concept target is not member of H.)贝叶斯：6.1 由题意可得，两次对病人做化验测试都为正时，cancer 和cancer的后验概率分别可表示为：P(canner|+，+)，P(cancer|+，+)。最后一个等号是因为假定

9、两个测试是相互独立的，即：P(+,+|cancer)=P(+|cancer)P(+|cancer)同理可得：P(+|cancer)P(+|cancer)P(cancer)=0.98*0.98*0.008=0.0076832 P(+|cancer)P(+|cancer)P(cancer)=0.03*0.03*0.992=0.0008928 P(+,+)=P(+,+|cancer)P(cancer)+P(+,+|cancer)P(cancer)=0.0076832+0.0008928=0.008576 所以：),()()|()|(),()()|,(),|(PcancerPcancerPcancer

10、PPcancerPcancerPcancerP),()()|()|(),()()|,(),|(PcancerPcancerPcancerPPcancerPcancerPcancerP5/9 P(canner|+，+)0.0076832/0.008576=0.895896 P(cancer|+，+)=0.104104 6.2 由贝叶斯公式可知：)()()|()|(PcancerPcancerPcancerP 因为事件 cancer 与cancer 互斥，且 P(cancer)+P(cancer)=1,有全概率公式可得：P(+)=P(+|cancer)P(cancer)+P(+|cancer)P(

11、cancer)故)P(|P(P(cancer)cancer)|P()()|()()()|()|(cancercancercancerPcancerPPcancerPcancerPcancerP所以中的归一化方法正确。6.3(a)P(h):如果假设h1 比 h2 更一般时，赋予 P（h1）=P(h2)(b)P(h):如果假设h1 比 h2 更一般时，赋予 P（h1）P(hj)P(D|h)=0,1)(),(,|),(,否则为时为在其中dixihdixihDdixihDdixi 6.5 在朴素贝叶斯分类中，在给定目标值 V 时，属性之间相互独立，其贝叶斯网如下所示,箭头方向为从上到下。因为属性 wi

12、nd 与其它属性独立，没有与其相关联的属性。otherwiseVSxPVSxPxPVShDPHxPVSHhDPDPhPhDPDhPDHmiiDHmiimiiDHmiiDH,0Dh,|1)(|)()(|)|(|)(|1)|()()()|()|(,1,11,1,一致和如果7/9 机器学习 1在测试一假设 h 时，发现在一包含 n=1000 个随机抽取样例的样本 s 上，它出现 r=300 个错误。Errors(h)的标准差是什么？将此结果与第 5.3.4 节末尾的例子中标准差相比会得出什么结论？由题意知 errors(h)=r/n=300/1000=0.3,由于 r 是二项分布，它的方差为 np(

13、1-p),然而 p 未知，用r/p代替p得出r的估计方差为1000*0.3*（1-0.3）=210，相应的标准差为sqrt(210)=14.5,这表示 errors(h)=r/n 中的标准差为 14.5/1000=0.0145，由此得出以下结论：一般来说，若在 n 个随机选取的样本中有 r 个错误，errors(h)的标准差为 sqrt(p(1-p)/n),它约等于用r/n=errors(h)来代替 p.2、如果没有更多的信息对真实错误率的评估也就是样本错误率，则真实错误率的标准差为：17/100=0.17 由 95%的置信区间公式：nherrorherrorherrorSSS)(1)(96.

14、1)(带入数字得 95%的置信区间为：0.17+（1.96 X 0.04）.3.如果假设 h 在 n=65 的独立抽取样本上出现 r=10 个错误，真实的错误率的 90%的置信区间（双侧的）是多少？95%单侧置信区间（即一个上界 U，使得有 95%置信区间 errorD(h)U）是多少？90%单侧区间是多少？解：样本数为：n=65，假设 h 在 n 个样本上所犯的错误为 r=10，所以样本错误率为 errorS(h)=rh=1065=213。于是：errorD(h)的 N%的置信区间为：()(1()()SSSNerror herror herror hzn 当 N=90 时，查表 5-1 得：

15、zN=1.64，可得真实错误率的 90%的置信区间为：22(1)213131.641365=0.160.073 8/9 95%的单侧置信区间为 errorD(h)U，其中22(1)213131.640.2331365U 90%的单侧置信区间为：errorD(h)U，其中22(1)213131.280.2111365U（zN为置信度为 80%的置信度时的值 1.28）。4.要测试一假设 h，其 errorD(h)已知在 0.2 到 0.6 的范围内，要保证 95%双侧置信区间的宽度小于 0.1，最小应搜集的样例数是多少？解：若使 95%双侧置信区间的宽度小于 0.1，则：N()(1()2z0.1

16、SSerror herror hn（其中 zN=1.96），()(1()0.10.025512 1.96SSerror herror hn()(1()0.000651SSerror herror hn()(1()0.2(1 0.2)0.1963010.0006510.0006510.000651SSerror herror hn 上式中0.2()0.6Serrorh 因此最少应搜集的样例数为 301 5.5 对随即变量 ,为待估参数,服从 N(0,1)分布,均值 为 d,方差为 其中:erorD(h1)-errorD(h2)单侧置信区间下限:d-zN,+)同理可求单侧置信区间上限:(-,d+z

17、N,把代入即可.5.6 首先，先回顾一下抽样样本的数字特征，设nXXX,21为总体X的一个样本，则：1.样本均值 niiXnX11)()(2121herrorherrordSS2221112)(1)()(1)(2211nherrorherrornherrorherrorSSSSd9/9 2.样本方差 niiXXnS122)(11 3.样本标准差 niiXXnS12)(11 4.样本(k 阶)原点矩,2,1,11kXnAnikik 5.样本(k 阶)中心矩,3,2,)(11kXXnBnikik 对于式 5.14，)()(DSLerrorSLerrorBDADSE S 是从整个样本空间上抽取的，因此样本方差 niiSSnS12_2)(11 样本均值 niiSnS1_1 式 5.14 的近似的 N%的置信区间为：niinNSSnSStS12_1,_)(11 而对于式 5.17 )()(0SLerrorSLerrorBDADDSE 其中，S 代表一个大小为|)*/)1(0DKK 且从0D中均匀抽取的样本。则它的近似的 N%的置信区间为：niinNSSnnSStS12_1,_)()1(1 由于抽取的样本方式不同，因此样本分量之间的独立程度也有很大差别，所以不能式 5.14与式 5.17 的近似的 N%的置信区间的估计方法混为一谈。