数据分析实验报告.doc

数值分析实验指导数据分析实验指导书理学院实验中心数学专业实验室编写实验一 SAS系统的使用【实验类型】（验证性）【实验学时】2学时【实验目的】 使学生了解SAS系统，熟练掌握SAS数据集的建立及一些必要的SAS语句。【实验内容】1. 启动SAS系统，熟悉各个菜单的内容；在编辑窗口、日志窗口、输出窗口之间切换。2. 建立数据集表1NameSexMathChineseEnglishAlicef908591Tomm958784Jennyf939083Mikem808580Fredm848589Katef978382Alexm929091Cookm757876Bennief827984Hellenf857484Winceletf908287Buttm778179Geogem868582Todm898484Chrisf898487Janetf8665871） 通过编辑程序将表1读入数据集sasuser.score;2） 将下面记事本中的数据读入SAS数据集，变量名为code name scale share price:000096 广聚能源 8500 0.059 1000 13.27000099 中信海直 6000 0.028 2000 14.2000150 ST麦科特 12600 -0.003 1500 7.12000151 中成股份 10500 0.026 1300 10.08000153 新力药业 2500 0.056 2000 22.753)将下面Excel表格中的数据导入SAS数据集work.gnp；namex1x2x3x4x5x6北京190.3343.777.9360.5449.0190.4天津135.236.410.4744.1636.493.94河北95.2122.839.322.4422.812.8山西104.7825.116.469.8918.173.25内蒙古128.4127.638.9412.5823.993.27辽宁145.6832.8317.7927.2939.093.47吉林159.3733.3818.3711.8125.295.22黑龙江116.2229.5713.2413.7621.756.04上海221.1138.6412.53115.6550.825.89江苏144.9829.1211.6742.627.35.74浙江169.9232.7521.7247.1234.355安徽153.1123.0915.6223.5418.186.39福建144.9221.2616.9619.5221.756.73江西140.5421.5917.6419.1915.974.94山东115.8430.7612.233.133.773.85河南101.1823.268.4620.220.54.3湖北140.6428.2612.3518.5320.956.23湖南164.0224.7413.6322.218.066.04广东182.5520.5218.3242.436.9711.68广西139.0818.4714.6813.4120.663.85四川137.820.7411.0717.7416.494.39贵州121.6721.5312.5814.4912.184.57云南124.2719.818.8914.2215.533.03陕西106.0220.5610.9410.11183.29甘肃95.6516.825.76.0312.364.49青海107.1216.458.985.48.785.93宁夏113.7424.116.469.6122.922.53新疆123.243813.724.6417.775.754)使用VIEWTABLE格式新建数据集earn,输入如表所示数据Year earn1981 1250001982 1360001983 1223501984 652001985 8446001986 2550001987 2650001988 2800001989 1360003. 将sasuser.score数据集的内容复制到一个临时数据集test,要求只包含变量name, sex, math。4将sasuser.score数据集中的记录按照math的高低拆分到3个不同的数据集：math大于等于90的到good数据集，math在80到89之间的到normal数据集，math在80以下的到bad数据集。5将4题中得到的数据集good，normal，bad合并为数据集combine,并将数据集combine按照数学成绩排序，然后打印排序后的数据集。【实验报告要求】1. 写出2. 1) 2) 3), 3,4,5的程序设计；2. 附上5题打印程序运行的结果。【实验方法或步骤】1SAS系统的启动：2种方法 1）双击桌面上的SAS快捷方式； 2）单击屏幕左下角的“开始”菜单，在菜单中选择“程序”，在程序中选择The SAS System，最后选择The SAS System for Windows V8。2数据的输入与输出1）在SAS程序窗口下，直接输入数据以建立一个SAS数据集，其基本语句形式为：DATA name；INPUT variables；CARDS；data lines；输出数据集的内容，可用PROC PRINT DATA=name；2）将其他格式的数据文件导入数据集.3能够利用已有的SAS数据集建立新的SAS数据集1）两个数据集的合并两数据集的串接：将A和B两个数据集串接成为一个名为“name”的新的SAS数据集.DATA name；SET A B；两数据集的并接：若两个数据集的数据行数（即观测向量个数）相同且按相同顺序排列，可将两数据集并接以形成新的SAS数据集，其中数据集中变量的个数为原两数据集中的变量个数之和.DATA name；MERGE A B；2）两个数据集的复制DATA A；/A为新的数据集/SET B；/B为要复制的数据集名/KEEP variables；/希望保留的变量名/DROP variables；/希望去掉的变量名/3）两个数据集的拆分示例：将记录学生成绩的/数据集按性别分成两个数据集，即一个记录男生的成绩，一个记录女生的成绩。程序如下：Data scorem scoref； Set sasuser.score; Select (sex); When (m) output scorem;When (f) output scoref; End; Run;实验二1991年全国各省、区、市城镇居民月平均收入的数据分析【实验类型】（综合性）【实验学时】6学时【实验目的】通过对1991年全国各省、区、市城镇居民月平均收入进行数据描述性分析、判别分析、聚类分析和主成分分析，培养和提高学生应用统计软件SAS分析处理数据的能力，为以后的学习及应用打下良好的基础。【实验内容】1991年全国各省、区、市城镇居民月平均收入情况见下表，变量含义如下：X1-人均生活费收入（元/人）；X2-人均全民所有制职工工资（元/人）；X3-人均来源于全民标准工资（元/人）；X4-人均集体所有制工资（元/人）；X5-人均集体职工标准工资（元/人）；X6-人均各种奖金及超额工资（元/人）；X7-人均各种津贴（元/人）；X8-职工人均从工作单位得到的其他收入（元/人）；X9-个体劳动者收入（元/人）。省(区市)名类型x1x2x3x4x5x6x7x8x9北京1170.03110.259.768.384.4926.816.4411.90.41天津1141.5582.5850.9813.49.3321.312.369.211.05河北1119.483.3353.39117.5217.311.79120.7上海1194.53107.860.2415.68.883121.0111.80.16山东1130.4686.2152.315.910.520.6112.149.610.47湖北1119.2985.4153.0213.18.4413.8716.478.380.51广西1134.4698.6148.188.94.3421.4926.1213.64.56海南1143.7999.9745.66.31.5618.6729.4911.83.82四川1128.0574.9650.1313.99.6216.1410.1814.51021云南1127.4193.5450.5710.55.8719.4121.212.60.9新疆1122.96101.469.76.33.8611.318.965.624.62山西2102.4971.7247.729.426.9613.127.96.660.61内蒙古2106.1476.2746.199.656.279.65520.16.970.96吉林2104.9372.9944.613.79.019.43520.616.651.68黑龙江2103.3462.9942.9511.17.418.34210.196.452.68江西298.08969.4543.0411.47.9510.5916.57.691.08河南2104.1272.2347.319.486.4313.1410.438.31.11贵州2108.4980.7947.526.063.4213.6916.538.372.85陕西2113.9975.650.885.213.8612.949.4926.771.27甘肃2114.0684.3152.787.815.4410.8216.433.791.19青海2108.880.4150.457.274.078.37118.985.950.83宁夏2115.9688.2151.858.815.6313.9522.654.750.97辽宁3128.4668.9143.4122.415.313.8812.429.011.41江苏3135.2473.1844.5423.915.222.389.66113.91.19浙江3162.5380.1145.9924.313.929.5410.9133.47安徽3111.7771.0743.6419.412.516.689.6987.020.63福建3139.0979.0944.1918.510.520.2316.477.673.08湖南312484.6644.0513.57.4719.1120.4910.31.76广东待判211.311441.4433.211.248.7230.7714.911.1西藏待判175.93163.857.894.223.3717.8182.3215.701、对变量x1作如下计算：1）计算均值、方差、标准差、变异系数、偏度、峰度；2）计算中位数，上、下四分位 数，四分位极差，三均值；3）作出直方图；4）作出茎叶图；5）进行正态性检验（正态W检验）；6）计算协方差矩阵，Pearson相关矩阵；7）计算Spearman相关矩阵；8）分析各指标间的相关性。2、1）判定广东、西藏两省区属于哪种收入类型，并用回代法及交叉确认法对误判率作出估计。 2）进行Bayes判别，并用回代法与交叉确认法验证判别结果。3、1）用最短距离法、最长距离法与类平均法聚类，画出谱系图，并写出分3类的结果； 2）快速聚类法聚类，并写出分3类的结果。4、1）求前两个标准化主成分及其累计贡献率； 2）解释1）中两个主成分的意义； 3）基于第一样本主成分的得分对各地区排序，这与你从原始数据得到的直观看法是否基本吻合？【实验前的预备知识】1、SAS系统的使用；2、1）数据的数字特征：均值、方差、中位数、三均值与极差等； 2）数据的分布：直方图、茎叶图、箱线图、正态性检验等； 3）多元数据的数字特征与相关性分析：均值向量与协方差矩阵等。3、1）距离判别的原理及判别准则的评价； 2）Bayes判别的原理； 3）逐步判别；4、1）样品间的相似性度量距离和变量间的相似性度量相似系数；2）谱系聚类法：最短距离法、最长距离法、类平均法、重心法、中间距离法和WARD最小方差法等；3）快速聚类法：5、1）总体主成分的定义、求法、性质和标准化变量的主成分； 2）样本主成分。【实验方法或步骤】1、1）PROC MEANS过程PROC MEANS options；VAR variables；/指出数据集中要计算的变量名称(应是数值变量)/OUTPUT OUT=SAS data set keyword=name ； /建立一个由PROC MEANS过程的分析结果构成的SAS数据集/其中“options”包含下列内容的部分或全部：a. DATA=SAS data set:指明所要分析的SAS数据集名称.若省略此选项,则对最新建立的数据集作分析.b. MAXDEC=:其中为介于0与8之间的一个正整数,该选项指明在输出数据时小数点后保留位.c. 关键词:逐个列出要计算其值的统计量名称的关键词,最常用的有N(变量的观测值个数)、MEAN(均值)、STD(标准差)、VAR(方差)、MIN(各变量观测值的最小值)、MAX(各变量观测值的最大值)、RANGE(极差)、SUM(总和)、USS(平方和)、CSS(中心化平方和)、SKEWNESS(偏度)、KURTOSIS(峰度)、T(对每个变量的均值是否为零进行双边检验)、PRT(双边的值).2）PROC UNIVARIATE 过程PROC UNIVARIATE options；PLOT variable1；OUTPUT OUT=SAS data set keyword=name ;其中“options”包含下列内容的部分或全部：a. DATA=SAS data set:指明所要分析的SAS数据集名称.b. PLOT:要求对所分析的各变量的观测值产生一个茎叶图(或水平直方图)、一个箱线图和一个正态QQ图.若某区间的观测值超过48，则不绘制茎叶图，而改绘水平直方图，在正态QQ图中，以“*”号标示正态QQ图上的点，以“+”标示相应的参考直线.c. FREQ:要求生成包括变量值、频数、百分数和累计百分数的表.d. NORMAL:要求对分析的各变量的观测值是否来自正态分布总体做检验,并输出检验的值.3）PROC CORR 过程PROC CORR options；VAR variables；WITH variables；其中“options”包含下列内容的部分或全部：a. DATA=SAS data set:指明所要分析的SAS数据集名称.b. PEARSON:要求输出Pearson相关系数矩阵(为默认输出结果).c. SPEARMAN:要求输出Spearman秩相关系数矩阵.d. COV:要求计算协方差矩阵.e. NOSIMPLE:指明不输出每个变量的简单描述性统计量的值.VAR variables：该语句指出要计算相关系数矩阵或协方差阵的变量名称，可以是数据集中数值变量的一部分.WITH variables：此语句和“VAR variables”语句合用，可以得到变量间特殊组合的相关系数矩阵，即“VAR”后的各变量与“WITH”后的各变量间的相关系数矩阵。2、判别分析过程 分类判别PROC DISCRIM options；CLASS variable；VAR variables； PRIORS probabilies；TESTCLASS variable(1)PROC DISCRIM options；此语句中，“options”部分可包含下列内容：1)待分析的数据集选择： DATASAS data set：指定用以建立判别函数的SAS数据集(即训练样本数据集)若省略此句，则最新建立的数据集被用于建立判别函数 TESTDATA：SAS data set：指定用以检验判别准则的SAS数据集名称，除分类变量外，该数据集中的变量应和训练样本数据集中的变量一致2)输出数据集的选择： OUTSTATSAS data set：定义一个输出SAS数据集名称，该数据集中包括原训练样本集中各变量的均值、标准差及相关系数等若METHOD：NORMAL(见后)被使用，该数据集中还包括判别函数的系数 OUTSAS data set：命名一个输出SAS数据集，其中包括训练样本集的数据及变量、后验概率及回判结果 OUTCROSSSAS data set：定义一个输出的SAS数据集，其中包括训练样本数据及变量、后验概率以及由交叉确认法所得的回判结果等 TESTOUTSAS data set：定义一个输出的SAS数据集，其中包括检验数据集中的变量和数据、后验概率以及利用所建立的判别准则对检验数据集的判别结果此项当“options”中有“TESTDATA：SAS data set”时运用 3)判别分析方法的选择： METHODNORMAL(或NPAR)：指出建立判别函数的方法当“METHODNORMAL”被指定，则在各总体为正态分布的假定下通过利用训练样本估计各总体均值向量和协方差矩阵，并视各总体的协方差矩阵是否相等而分别建立线性及二次判别函数；当指定“METHODNPAR”，则使用非参数方法建立判别函数前者是SAS系统默认的方法 POOLYES(或NO，TEST)：在选择"METHOD：NORMAL”的前提下，“POOLYES”意味着假定各总体的协方差矩阵相等，而用各训练样本的样本协方差矩阵联合估计公共的协方差矩阵，这时建立的判别函数是线性的；若选择 “POOLNO”，则意味着假定各总体的协方差矩阵不等而建立二次判别函数；“POOLTEST"即要求首先利用修正的Bartlett似然比方法检验各总体的协方差矩阵是否相等，若检验结果在由语句“SLPOOLp”(见后)所指定的显著水平p下显著，则建立二次判别函数，否则利用联合协方差矩阵估计建立线性判别函数对线性判别函数，输出结果中才给出判别函数的系数SLPOOLp：指定检验协方差矩阵是否相等的显著水平只有当选择 “POOLTEST"时，才可出现此语句，若省去此语句，则SAS系统默认p：010，4)回判结果输出选择： LIST：打印出每个样品的回判结果 LISTERR：仅打印出回判中判错的样品信息 NOCLASSIFY：不需要对训练样本数据作回判分析5)交叉确认法回判结果的输出选择：当下列语句出现时，则交叉确认法被使用对训练样本作回判分析CROSSVALIDATE：要求对训练样本数据集进行交叉确认回判分析CROSSLISTERR：仅打印出使用交叉确认法判别而判错的样品信息CROSSLIST：打印出每个样品的交叉确认法回判分析结果6)检验数据集判别结果的输出选择 TESTLIST：列出对检验数据集的判别结果 TESTLISTERR：仅列出对检验数据集中判错的样品信息 7)控制打印选择WCORR；打印各总体(组内)的训练样本相关矩阵 PCORR：打印由各总体的样本相关矩阵所得的联合相关矩阵估计 类似地，WCOV，PCOV则要求打印出相应于、的训练样本协方差矩阵估计 ALL：打印出所有的相关结果 SHORT：只打印一些主要结果， (2)CLASS variable； 其中的“variable”即描述各类别的变量名称该变量可以是数值化的变量，也可以是非数值变量该语句是进行判别分析所必需的语句 (3)VAR variables； 其中“variables”即列出参与分析的描述各样品特征的变量名称，省略时即数据集中所有的数值变量 (4)PRIORS probabilities； 此语句的功能即指出总体的先验概率分布其中的“probabilities”应是下列三种选择之一： 1）EQUAL，即各总体的先验概率相等 2）PROPORTIONAL(或PROP)：即各总体的先验概率与各总体的训练样本容量成比例，设有三个总体，训练样本容量分别为，则各总体的先验概率分布为这里。 3)具体指定各总体的先验概率通常有两种方式：若描述各总体类别的变量(即“CLASSvariable"中的变量)是非数值变量，则在各类取值后给出先验概率并用等号连起来例如，描述各总体类别的变量 “GRADE”取A，B，C，D四个值(每个值代表一类总体)，各总体先验概率分布为0.1，0.3，0.5和0.1，则“PRIORS”语句为PRIORS A0.1 B0.3 C0.5 D=0.1；若描述各总体类别的变量是数值化变量或者是小写字母时，这时要将这些值用“”引起来写在上式等号前例如，若前述变量“GRADE”取值为1，2，3，4，则指定先验概率的语句形式应为 PRIORS 0.1 0.3 0.5 0.1若“GRADE”的取值为a，b，c，d，则指定先验概率的语句应为 若指定的先验概率之和非1，则SAS系统自动用其和除各值而使各概率之和为1 在以上三种指定总体出现的先验分布的形式中，“EQUAL”是SAS系统默认的形式 (5)TESTCLASS variable； 其中“variable”是描述检验数据集中的各总体类别的变量名，它可以和原训练样本数据集中的类别变量相同，也可以不同，但二者必须是同类型的(即同为数值或非数值变量)若变量采用格式化输入，则二者的输入格式也应相同 逐步判别PROCSTEPDISC过程PROCSTEPDISC过程用以逐步判别分析逐步判别的思想和逐步回归类似，即通过逐个引入或剔除变量挑选判别力最强的变量此过程用Wilks的A似然比统计量判断一个变量的判别能力的强弱逐步判别包括向前选入，向后剔除和逐步选择三种方法，并且假定各总体均服从协方差矩阵相等的正态分布该过程的主要语句形式为PROC STEPDISC options；CLASS variable；VAR variables； DATASAS data set：指定被分析的SAS数据集名称 METHODname：指定逐步判别的方法，其中的“name”可以是下列三种之一，即FORWARD(或FW)，BACKWARD(或BW)及STEPWISE(或SW)，分别表示向前选入，向后剔除和逐步选择方法若省略此句，则默认方法为STEPWISE SLENTRYlevel(或SLElevel)：在向前选入方法中，指定选入变量的显著水平默认值为level0.15SLSTAYlevel(或SLSlevel)：在向后剔除方法中，指定保留变量的显著水平默认值为level0.15对于STEPWISE方法，要同时指定SLENTRY和SLSTAY，通常取为相等PR2ENTRYlevel(或PR2Elevel)：在向前选择方法中，指定选入变量的R*R值· PR2STAYlevel(或PR2Slevel)：在向后剔除方法中，指定保留变量的R值 除以上选项外还包括打印选项，如打印各总体的样本相关矩阵，联合样本相关矩阵及相应的样本协方差矩阵等等(与PROCDISCRIM过程相应选项基本相同) (2)CLASS variable；这语句和"VAR variables”语句与PROC DISCRIM过程相应语句的用法完全相同。3、聚类分析 谱系聚类法PROC CLUSTER过程的基本语句为：PROC CLUSTER options; /启动SAS聚类分析过程/VAR variables;/部分列出参与聚类分析大数值变量名称/ID variable;/用以表征个样品的名称,通常是定性变量/Options通常包括下面一些内容:1) DATA=SAS data set:该语句指出要进行聚类分析的数据集名称,它可以是含个观测向量的原始数据集,也可以是“距离”矩阵（这时要在数据集名后加上（TYPE=DISTANCE）.2) OUTTREE=SAS data set;生成一个用于画聚类谱系图的输出数据集.3) METHOD=name;指出具体使用的聚类方法.主要有:a. SINGLE(或SIN):最短距离法.b. COMPLETE(或COM): 最长距离法.c. AVERAGE(或AVE):类平均法.d. CENTROID(或CEN):重心法.e. MEDIAN(或MED):中间距离法.f. WARD(或WAR):WAR最小方差法.4) NOSQUARE:阻止过程在METHOD=AVERAGE、CENTROID、MEDIAN或WARD方法中将输入的距离平方.5) NONORM：阻止将距离规范化.6) PSEUDO：要求打印伪F统计量及伪统计量的值.只有当输入数据是原始观测数据(但“METHOD”选项不能是SIN)或者“METHOD”选项为AVE、CEN或WAR时，才可选此项.7) RSQUARE(或RSQ):要求打印出统计量和半偏相关统计量SPRSQ的值.当输入数据是原始观测数据且“METHED”选项是AVE或CEN时，才可选此项.进一步若要画出聚类的谱系图,可用下列语句:PROC TREE options;ID variable;在“options”中除用DATA=SAS data set指定画图的SAS数据集名称外，可以是：a. HORIZONTAL:表示谱系图水平放置.b. VERTICAL:表示谱系图垂直放置.c. SPACES=:表示ID变量值的间隔单位,这里是正整数.d. GRAPHICS:要求画高分辨率的聚类谱系图.e. NCLUSTERS=:指定在输出分类结果数据集中所分成的类的个数.f. OUT=SAS data set:按e中要求输出分类结果. 快速聚类法PROC FASTCLUS options;VAR variables;ID variables;Options通常包括下面一些内容:a. MAXCLUSTER(或MAXC)=:指定所允许的最大分类个数.b. RADIUS=:为选择新的“聚点”指定的最小距离准则.c. DATA=SAS data set:指出用以分析的SAS数据集名称,要求数据性质是原始观测数据.d. MEAS=SAS data set:生成一个输出数据集，其中包括每个类的均值和其他统计量的值.e. OUT=SAS data set:生成一个输出数据集,其中包括原始数据及两个新变量CLUSTER(用以指示观测属于哪个类的变量)和距离DISTANCE.f. CLUSTER=name:规定在d和f的输出数据集中用以指示观测属于哪一类的变量名称.g. DISTANCE:要求打印类均值之间的距离.h. LIST:要求列出所有观测的ID变量值,观测所归入类的类号及观测与最终“聚点”之间的距离。i. LEAST=：表明用准则进行聚类，是绝对距离，LEAST=MAX是Chebyshev距离.“VAR variables”和“ID variables”语句与PROC CLUSTER过程的相应语句用法相同.4、主成分分析过程的主要语句形式为：PROC PRINCOMP options；VAR variables； (1)PROC PRINCOMP options； 此语句意味着执行主成分分析，其中的“options”可包括以下内容的部分或全部： DATASAS data set：指出要分析的SAS数据集名称这个数据集可以是原始观测值的SAS数据集，也可以是相关矩阵或协方差矩阵若是后者，需要在数据集名称后加上“(TYPECORR)”或“(TYPECOV)”若省略数据集选项，则自动使用最新建立的SAS数据集 OUTSAS data set：命名一个输出的SAS数据集，其中包含原始数据以及各主成分的得分(即各主成分的观测值) OUTSTATSAS data set：命名一个包含各变量的均值、标准差、相关矩阵或协方差矩阵、特征值和特征向量的输出SAS数据集 COVARIANCE(或COV)：要求从协方差矩阵出发作主成分分析若省略此选项，则从相关矩阵出发进行分析除非各变量的度量单位是可比较的或已经过某种方式的标准化，否则不宜使用此选项，应从相关矩阵出发作主成分分析 N=n：指定要计算的主成分个数“n”其默认值为参与分析的变量个数 PREFIXname：规定各主成分的名称的前缀省略此句则SAS系统自动赋予各主成分名称分别为PRIN1，PRIN2，若“nameA”，则各主成分名称分别为A1，A2，前缀的字符个数加上后面数字位数应不超过8个字符 (2)VAR variables；此语句中的“variables”部分列出数据集中参与主成分分析的变量名称若省略此句，则被分析数据集中所有数值变量均参与分析【实验报告要求】   1. 简述实验原理；2. 写出程序设计；3. 按程序附上分析的结果，结合数据背景对结果给出合理的解释。15