《数据清洗技术》PPT课件.ppt

《《数据清洗技术》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《数据清洗技术》PPT课件.ppt（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据清理技术数据清理技术冯国双冯国双 中国疾控中心卫生统计室中国疾控中心卫生统计室数据清洗数据清洗p从数据收集结束，到统计分析之前，需要对数据从数据收集结束，到统计分析之前，需要对数据做的清理工作做的清理工作数据清洗数据清洗p数据双录入对比数据双录入对比p数据合并数据合并p查找重复值查找重复值p查找缺失值查找缺失值p查找异常值查找异常值双录入对比双录入对比pExcelExcel用到的函数：用到的函数：pIfIf函数函数pIf(If(判断条件判断条件,条件满足返回值条件满足返回值,条件不满足返回值条件不满足返回值)pexactexact函数函数比较两个文本是否相同比较两个文本是否相同pexact

2、(exact(比较文本比较文本1,1,比较文本比较文本2)2)poffsetoffset函数函数返回给定偏移量的新区域返回给定偏移量的新区域poffset(offset(参照区域参照区域,行行,列列)双录入对比双录入对比psmall(small(数据区域数据区域,第几小第几小)计算单元格范围的第几小的数值计算单元格范围的第几小的数值pColumn()Column()p返回单元格所在号返回单元格所在号pRow()Row()p返回单元格所在行号返回单元格所在行号双录入对比双录入对比pSASSAS命令命令：pproc compare base=proc compare ;pby by 变量变量1 1

3、 变量变量2 2;prun;run;双录入对比双录入对比pproc compareproc compare语句调用数据比较过程，选项语句调用数据比较过程，选项basebase和和comparecompare分别指定两个比较和被比较的数据集；分别指定两个比较和被比较的数据集；nosummarynosummary的作用是不显示一些概括性的结果。的作用是不显示一些概括性的结果。pbyby语句指定的变量有点类似于索引的作用，通常语句指定的变量有点类似于索引的作用，通常指定指定idid号。如果两个数据集的观测数不同，利用号。如果两个数据集的观测数不同，利用byby语句可以保证它们比较的仍然是同一个语句可

4、以保证它们比较的仍然是同一个idid号，号，而不会出现错位比较的情况。而不会出现错位比较的情况。双录入对比双录入对比pdata a1;data a1;pinput id g gender age marriage height weight nation;input id g gender age marriage height weight nation;pcards;cards;p（数据）（数据）p;pdata a2;data a2;pinput id g gender age marriage height weight nation;input id g gender age marr

5、iage height weight nation;pcards;cards;p（数据）（数据）p;pproc compare base=a1 compare=a2 nosummary;proc compare base=a1 compare=a2 nosummary;prun;run;双录入对比双录入对比双录入对比双录入对比查找缺失值查找缺失值pExcelExcel函数：函数：pIfIf函数函数pIf(If(判断条件判断条件,条件满足返回值条件满足返回值,条件不满足返回值条件不满足返回值)pexactexact函数函数比较两个文本是否相同比较两个文本是否相同pexact(exact(比较文本

6、比较文本1,1,比较文本比较文本2)2)poffsetoffset函数函数返回给定偏移量的新区域返回给定偏移量的新区域poffset(offset(参照区域参照区域,行行,列列)查找缺失值查找缺失值psmall(small(数据区域数据区域,第几小第几小)计算单元格范围的第几小的数值计算单元格范围的第几小的数值pColumn()Column()p返回单元格所在号返回单元格所在号pRow()Row()p返回单元格所在行号返回单元格所在行号查找缺失值查找缺失值pSASSAS可用可用missingmissing函数实现函数实现p如果结合数组和自动变量，可以一次性实现所有如果结合数组和自动变量，可以一

7、次性实现所有变量缺失值的输出变量缺失值的输出查找缺失值查找缺失值pdata a1;data a1;pinput id g gender age marriage height weight nation;input id g gender age marriage height weight nation;pmiss_g=missing(g);miss_g=missing(g);pmiss_gender=missing(gender);miss_gender=missing(gender);pmiss_age=missing(age);miss_age=missing(age);pmiss_m

8、arriage=missing(marriage);miss_marriage=missing(marriage);pmiss_height=missing(height);miss_height=missing(height);pmiss_weight=missing(weight);miss_weight=missing(weight);pmiss_nation=missing(nation);miss_nation=missing(nation);pcards;cards;p（数据）（数据）p；pproc print;proc print;prun;run;查找缺失值查找缺失值p部分结果

9、部分结果查找缺失值查找缺失值p利用数组和自动变量利用数组和自动变量pdata missing;data missing;pset a;set a;parray cha*_character_;array cha*_character_;pdo i=1 to dim(cha);do i=1 to dim(cha);pif missing(chai)then output;if missing(chai)then output;pend;end;parray num*_numeric_;array num*_numeric_;pdo i=1 to dim(num);do i=1 to dim(nu

10、m);pif missing(numi)then output;if missing(numi)then output;pend;end;pdrop i;drop i;pproc print;proc print;prun;run;查找缺失值查找缺失值p缺失值结果缺失值结果查找重复值查找重复值pExcelExcel函数：函数：pcountif(countif(计数区域计数区域,条件条件)根据指定条件，在计数区域内计数根据指定条件，在计数区域内计数查找重复值查找重复值pSASSAS命令：命令：pproc sort out=proc sort ;pby by 变量变量1 1 变量变量2 2;pru

11、n;run;查找重复值查找重复值pproc sortproc sort语句调用排序过程。选项语句调用排序过程。选项out=out=数据集指定排序数据集指定排序后的数据集名。因为排序后数据发生了变化，因此可指定后的数据集名。因为排序后数据发生了变化，因此可指定该选项将排序后的数据存放到一个新的数据集中。如果不该选项将排序后的数据存放到一个新的数据集中。如果不加该选项，排序后的数据集将覆盖原有数据集，这样你就加该选项，排序后的数据集将覆盖原有数据集，这样你就找不回原有的未排序的数据了。找不回原有的未排序的数据了。p选项选项nodupkeynodupkey表示如果表示如果byby语句指定的排序变量有

12、重复值，语句指定的排序变量有重复值，则删除重复值。如按则删除重复值。如按idid排序，如果排序，如果idid有重复值，则只保留有重复值，则只保留重复值中的第一个值，删除其它值。重复值中的第一个值，删除其它值。p选项选项nouniquekeynouniquekey的作用跟的作用跟nodupkeynodupkey正好相反，如果正好相反，如果byby语语句指定的排序变量都是唯一值，则将其删除。如按句指定的排序变量都是唯一值，则将其删除。如按idid排序，排序，如果如果idid没有有重复值，则全部删除。没有有重复值，则全部删除。查找重复值查找重复值pbyby语句指定排序的变量，可以指定多个。选项语句指

13、定排序的变量，可以指定多个。选项descendingdescending表示按降序排序，如果不加该选项，表示按降序排序，如果不加该选项，默认的是按升序排序。默认的是按升序排序。p当需要查找重复值时，当需要查找重复值时，byby语句指定的变量就是需语句指定的变量就是需要查找的重复值变量。要查找的重复值变量。查找重复值查找重复值pdata a1;data a1;pinput id g gender age marriage height weight nation;input id g gender age marriage height weight nation;pcards;cards;p（

14、数据）（数据）p；pproc sort proc sort nouniquekeynouniquekey out=bb;out=bb;pby genderby gender age marriage height weight;age marriage height weight;prun;run;pproc print data=bb;proc print data=bb;prun;run;查找重复值查找重复值p5 5个变量均重复的观测个变量均重复的观测查找异常值查找异常值pExcelExcel函数：函数：pIfIf函数函数pIf(If(判断条件判断条件,条件满足返回值条件满足返回值,条件不

15、满足返回值条件不满足返回值)p结合各种算术运算符、比较运算符、逻辑运算符等结合各种算术运算符、比较运算符、逻辑运算符等查找异常值查找异常值p常见运算符常见运算符符号符号说明说明示例示例+和和-加减运算加减运算=3+2-4=1*和和/乘除运算乘除运算=3*2/4=1.5乘幂乘幂=32=9，=16(1/2)=4=、=、=等于、不等于等于、不等于大于、小于大于、小于大于等于、小于等于大于等于、小于等于=(A2=9)，判断，判断A2是否等于是否等于9=(A29)，判断，判断A2是否不等于是否不等于9=(A2=9)，判断，判断A2是否大于等于是否大于等于9and多个表达式同时成立多个表达式同时成立 an

16、d(A19,B19,B1（大于）、（大于）、=（大大于于等等于于）、=（小小于于等等于）于）in，表示其中之一，表示其中之一，如如grade in(2,4,6)表表示示只只要要是是grade为为2、4、6中中的的其中一个就算符合条件；其中一个就算符合条件；dept not in(“A”,“B”)表表示示只只要要dept不不是是“A”或或“B”就算成立就算成立&或或 and（表表示示2个个表表达达式式同时成立）同时成立）|或或or（表表示示两两个个表表达达式式至至少一个成立）少一个成立）查找异常值查找异常值pdata a1;data a1;pinput id g gender age marri

17、age height weight nation;input id g gender age marriage height weight nation;pcards;cards;p（数据）（数据）p；pdata b1;data b1;pset a1;set a1;pif if(gender not in(1,2)(gender not in(1,2)|(age=60)(age=60)|(height=200)(height=200)|(weight=100)(weight=100)p|(marriage not in(1,0)(marriage not in(1,0)|(nation not

18、 in(1,2)(nation not in(1,2);pproc print;proc print;prun;run;查找异常值查找异常值查找异常值查找异常值pdata b2;data b2;pset a1;set a1;pif(gender not in(1,2,.)|if(gender not in(1,2,.)|p(age=.and(age=60)|(age=.and(age=60)|p(height=.and(height=200)|(height=.and(height=200)|p(weight=.and(weight=100)|(weight=.and(weight=100)|

19、pmarriage not in(1,0,.)|marriage not in(1,0,.)|pnation not in(1,2,.);nation not in(1,2,.);pproc print;proc print;prun;run;查找异常值查找异常值查找异常值查找异常值pdata data gendergender(where=(gender not in(1,2,.)(where=(gender not in(1,2,.)pageage(where=(not missing(age)and(age=50)(where=(not missing(age)and(age=50)pm

20、arriagemarriage(where=(marriage not in(1,0,.)(where=(marriage not in(1,0,.)pheightheight(where=(not missing(height)and(height=150 or(where=(not missing(height)and(height=200)height=200)pweightweight(where=(not missing(weight)and(weight=40 or(where=(not missing(weight)and(weight=100)weight=100)pnatio

21、nnation(where=(nation not in(1,2,.);(where=(nation not in(1,2,.);pset a1;set a1;prun;run;查找异常值查找异常值pproc print data=gender;proc print data=gender;pvar id gender;var id gender;pproc print data=age;proc print data=age;pvar id age;var id age;pproc print data=marriage;proc print data=marriage;pvar id ma

22、rriage;var id marriage;pproc print data=height;proc print data=height;pvar id height;var id height;pproc print data=weight;proc print data=weight;pvar id weight;var id weight;pproc print data=nation;proc print data=nation;pvar id nation;var id nation;prun;run;查找异常值查找异常值pgender heightgender heightpage weightage weightpmarriagemarriage一舟春风钓长河，一舟春风钓长河，两岸翠绿荡山歌。两岸翠绿荡山歌。疑临陶翁忘返处，疑临陶翁忘返处，却是冯君信手乐。却是冯君信手乐。盆景盆景 冯国双冯国双配诗配诗 陈景武陈景武