数据预处理实验.docx

《数据预处理实验.docx》由会员分享，可在线阅读，更多相关《数据预处理实验.docx（20页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、实验报告课程名称： 数据挖掘理论与实践指导教师：向前学号20191106078姓名龚永好上机地点信-506专业电子信息工程班级电信1902班时间2022年5月12日上机内容实验二：数据预处理实验一、实验目的及要求目的：熟悉数据挖掘的过程；进一步学会Python环境搭建，以及Python数据分析工具的使用；学会对数据进行探索分析、预处理；学会数据转换及属性提出。要求：1 .进一步熟悉Python环境搭建的使用。2 .完成对数据的探索分析，包括水流量状况条形图、水量分布箱型图。3 .完成数据预处理，包括属归约、划分类型、确定阈值、构造用水时长和频率属性、筛选洗 浴事件。二、实验设备（环境）及要求1

2、 .硬件要求：CPU在2.0 GHz以上，内存在4G以上，建议8G。2 .软件要求：Widows7系统及以上系统，Anaconda编译环境。三、实验内容（一）Python安装的检查血管理员 C:Windowssystem32cmd.exe - python XMicrosoft Windows 版本 (c) 2020 Microsoft Corporation.保存所有权利。C:UsersAdmini stratorpythonPython 3. 8. 3 (default, Jul 2 2020, 17:30:36) MSC v. 1916 64 bit (AMD64) : Anaconda

3、, Inc. on Win32 lype help , copyright , credits or license for more information.控制台1/A大小值AStopDataFrame(106, 4)Column names：停顿开始编号，停顿结束编 号，停顿时长，停顿归属事件dataDataFrame(18840, 11)Column names：发生时间,开关机状态. .IIlist320 days 00:01:00, 0 days 00:01:15,MhDataFrame(32, 4)Column names ：阈值，事件数，斜率，斜率 指标iint1171inpu

4、tfilestr1C:/Users/Administrator/Desktop/ original_data.xlsIvjnoveint6417418lv_nonint64111422V变量管理器File explorer 帮助 Proileur工Python控制台&XX，仇Ldj:ruriTiLekc:/users/AaminisTraTor/uesKTop/snujuwajue-sniyanz/z-5.py当阑值为4分钟的时候事件数目为：172In 16: runfile(C:/Users/Administrator/Desktop/shujuwajue-shiyan2/2-4.py) 计

5、算出的单次用水时长的阈值为：。days 00:04:00In 17: runfile(C:/Users/Administrator/Desktop/shujuwajue-shiyan2/2-5.py) 用水事件用水时长与频率特征构造M成后额据的特征为：Index(U事件序号、，事件起始编号3 事件终止编号，事件开始时间I，事件结束时间,，洗浴时间 点3 ,总用水时长3,总停顿时长I ，停顿次数3 ,平均停顿时长3 ,用水时长3 ,用水/总时长dtype=*obect1)用水事件用水时长与频率特征构造完成后数据的前5行5列特征为：事件序号.事件结束时间012014-10-1907:01:56.5

6、00122014-10-1907:38:16.500232014-10-1909:47:15.500342014-10-1911:50:17.500452014-10-1913:56:21.5005 rows x 5 columnsIn 18: data - DataFrameIndex发生时目开关机状态加热中耳G二热水量水流量加嘲余时间当前设置温度停匿束时间停翎始时闻02014-10-19 06:39:17关关关300%0给钟50NaTNaT12014-10-1907:01:54关关关3060吩钟502014-10-1997:01:54,500-NaT22014-10-19 07:01:56

7、关关关300%8盼钟50NaTNaT32014-10-1907:12:30关关关300%0的钟50NaT2014-10-1907:12:29.50042014-10-1907:12:36关关关290S0扬钟50NaTNaT52014-10-1907:16:02关关关300%0防钟50 NaTNaT62014-10-19 07:16:08关关关290%0给钟50NaTNaT72014-10-19 07:20:05关关关30居0硼钟50 NaTNaT82014-10-1907:20:10关关关290%0的钟50 NaTNaT92014-10-1907:21:53关关关300%0粉钟50 NaTNa

8、T102014-10-1907:21:59关关关290%0物钟50 NaTNaT112014-10-1907:22:17关关关300%0明钟50 NaTNaT122014-10-1907:22:19关关关290%0明钟50NaTNaT132014-10-1907:22:26关关关29eC队0吩钟50NaTNaT142014-10-19 07:23:54关关关300%0吩钟50NaTNaT152014-10-19 07:24:00关关关290%0的钟50NaTNaT162014-10-19 07:27:57关关关300%0的钟50NaTNaT172014-10-1907:28:03关关关290%

9、0防钟50NaTNaT182014-10-19 07:28:27关关关300%0的钟50NaTNaT192014-10-19 07:28:33关关关29居0吩钟50 NaTNaT202014-10-19 07:30:10关关关300%0的钟50 NaTNaT212014-10-1907:30:16关关关290%0硼钟50 NaTNaT222014-10-1907:30:46关关关300%0粉钟50 NaTNaT232014-10-1907:30:52关关关290%0给钟50NaTNaT242014-10-1907:31:16关关关30队0明钟50NaTNaT252014-10-19 07:31

10、:23关关关298C队0咐钟50NaTNaT262014-10-19 07:31:29关关关30eC0%0的钟50NaTNaT272014-10-19 07:31:35关关关29OS0的钟50NaTNaT282014-10-1907:32:07关关关300%0防钟50NaTNaT292014-10-19 07:32:13关关美300%0财钟50NaTNaT302014-10-19 07:32:25关关关29段0的钟50 NaTNaTH Stop - DataFrameIndex停顿时长停顿归息事件2384384136453454116966766718ie7647658281310631064

11、5410161143114311219134713471142813501350114211353135311422135613561142313681368114241371137111425137713771142613881388114271424142411432157815781183315821582118361713171454204121662166124422172217212443217421741244421822182124462254225518325472283228917125482296229612552246524651282-6代码(构建用水量和用水波动属性

12、)170171 172 2-6173174 data水流量=data“水流量/ 66 #175 sj ”总用水量”=6 #给总用水量赋一个初始4龈176 for177178179180181182183184185186187188i in range(len(sj):Start = sj.loci,”事件起始编号-1End = sj.loci,事件终止编号-1 if Start != End:for j in range(Start,End): if data.locj,“水淆量!= 0:sj.loci,总用水量”=(data.locj + 1,发生时间- data.loc j，发生时间).

13、seconds* data.loc j水流量+ sj 总用水量sj.loci,总用水量=sj.loci,总用水量+ dgta.locEnd,水流量* 2else:sj.loci,总用水量=data.locStart, * 2189 sj 平均水流量”】=sj总用水量1/ sj用水时长”#定:190#构造特征:水流量波动191 #水流量豉融(单次水流的值-平均水流量)八2)*持蟆时间)/用水时长192 sj水淡量波动”=。H给水流量波汾赋一个初始值e193 for194195196197198199200201202 203# 204#i in range(len(sj):Start = sj.

14、loci,事件起始编号-1End = sj.loci,事件终止编号-1for j in range (Start, End + 1):if data.locj,水流量!= 0:slbd = (data.locj,水流量”-sj .loc i,”平均水流量)*2slsj = (data.loc j + 1,发生时间-data.loc j发生时间).seconds sj .loc i,水注量波动”=slbd * slsj + sj .loc i,水流量波动sj.loci,水流量波动=水流量波动/ sj.loci,“用水时长构造特征:停顿时长波动停顿时长波弗*(单次停顿时长-平均停顿时长)入2)“持

15、续时闻)/总停顿时长295 sj ”停幡时长波动=0 #给停顿时长波动赋一个初始做206 for2072082092102112121 in range(len(sj):if sj.loci,”停顿次数” 1:说建为6做时，停顿时长波动值为8,故排除for j in Stop.locStop停顿归属事件=(i+1)停顿时长.values:停顿时长波动=(j - sj.loci,”平均停顿时长)*2) * j + sj停顿时长波动sj.loci,停顿时长波动=sj.loci,“停顿时长波动/ sj.loci,总停顿时长” 213 print(,用水量和波动特征构造完成后数据的特征为：n ,sj

16、.columns)214 print(,用水量和波动特征构造完成后数据的前5行5列特征为：n ,sj .iloc :5, :5)2-6运行结果品大小值Endint64118800Startint64118800StopDataFrame(106, 4)Column names：停顿开始编号，停顿结束编号，停顿时长， 停顿归属事件dataDataFrame(18840, 11)Column names：发生时间，开关机状态，加热中，保温中dtlist320 days 00:01:00, 0 days 00:01:15, 0 days 00:01:30, 0 days 00:01:45, 0 .h

17、DataFrame(32, 4)Column names：阈值，事件数，斜率，斜率指标iint1171变里管理器File explorer 帮助工Python控制台(5 x0 12 34123452014-10-192014-10-192014-10-192014-10-192014-10-1907:01:56.50007:38:16.50009:47:15.50011:50:17.50013:56:21.500dtype=object）用水事件用水时长与频率特征构造完成后数据的前5行5列特征为:事件序号 事件结束时间012014-10-1907:01:56.500122014-10-1907

18、:38:16.500232014-10-1909:47:15.500342014-10-1911:50:17.500452014-10-1913:56:21.5005 rows x 5 columns用水里和波动特征构造完成后数据的特征为：lndex（ 事件序号，事件起始编号，,事件终止编号I ，事件开始时间L ,事件结束时间3 ，洗浴时间点3 ，总用水时 长，总停顿时长I ，停顿次数，1平均停顿时长，用水时长，1用水/总时长I ，总用水里I 平均水流里，水 流里波动，僖顿时长波动dtype=*object）用水里和波动特征构造完成后数据的前5行5列特征为：事件序号.事件结束时间5 rows

19、x 5 columnsIn 9:2-7代码(筛选候选洗浴事件)UDI22 1 111111222 2-7223224225sj_bool = (sj用水时长，100) & (sj总用水时长 120) & (sj 总用水量 5)z26 sj_final = sj.locsj bool,:227 sj_final.to_excel(C：/Users/Admin1strator/Desktop/shujuwajue-shiyan2/sj_final.xlsx,index=False)print筛选出卷吊洗浴事件前的数据形状为：，s j. shape)228 print。筛选出候选洗浴事件后的数据形状

20、为：,sj_final.shape)2302312-7运行结果大小值A网int64118800Startint64118800StopDataFrame(106, 4)Column names：停顿开始编号，停顿结束编号，停顿时长， 停顿归属事件dataDataFrame(18840, 11)Column names:发生时间,开关机状态，加热中，保温中一dtlist320 days 00：01：00, 0 days 00:01:15, 0 days 00:01:30, 0 days 00:01:45, 0 .hDataFrame(32, 4)Column names:阈值，事件数，斜率，斜率

21、指标iint1171V变里管理器File explorer 帮助工Python控制台（9X口控制台1/A Q，*3q45.1U-2014-10-iy ii:ou!1/19 13:56:21.OUU .500A5 rows x 5 columns用水里和波动特征构造完成后数据的特征为：lndex（ ,事件序号1 ，事件起始编号，事件终止编号1 ，事件开始时间3 事件结束时间I ，洗浴时间点I 总用水时 长，总停顿时长，停顿次额1 ，平均停赖时长3 ，用水时长I ，用水/总时长3 ,总用水里1，平均水流里，水 流里波动L停顿时长波动”,dtype=,object1）用水里和波动特征构造完成后数据的

22、前5行5列特征为：事件序号.事件结束时间0112233445011223344507:01:56.50007:38:16.50009:47:15.50011:50:17.50013:56:21.5002014-10-192014-10-192014-10-192014-10-192014-10-195 rows x 5 columns筛选出候选洗浴事件前的数据形状为：（172, 16）筛选出候选洗浴事件后的数据形状为：（75,16）In 10: data DataFrameIndei20211S77187721221880I860222318821884232420W2208242522212

23、3822$2623962386262724522452272824SS252928292S342S34293625472616303127192s5431322W*32332906290633342908290634353059305935363191319136373208*683738324O324838393349序9394033523467Indei20211S77187721221880I860222318821884232420W22082425222123822$2623962386262724522452272824SS252928292S342S342936254726163

24、03127192s5431322W*32332906290633342908290634353059305935363191319136373208*683738324O324838393349序939403352346723:02:13.500.2014-10-2106:43:37,500-2014-10-21 07:49:13,500- 2014-10-21 16:14:13,500.2014.10-21 16:41:11.500- 2014.10-21 17:37:54,500- 2014.10-21 18:37:57.500- 2014-10-21 18:56:23.500- 2014

25、-10-21 19:01:43,500. 2014-10-21 19:55:11,500.2614-10.21 21:47:13.500- 2014-10-21 22:14:53.500-2014X021 22:24:47.500- 20141Q.21 22:45:41.500- 2014-10-22 ei:45：15.$00- 2014-10-222014-10-22 07:20:22,500.2014-10-22 11:52:14.see- 2014.1022 18:57:13,500.2014-10-22廉加里京，用阿长，停叫长停傅力5年均停村假Z320e06200。7880。16161

26、718181919湖iee用7Ml长228593731牛但虎 0.1333331G.99539.673112G. 133333 0.2416670.353176 0.35777546123115534546474849SOR33570373657453820401741064130421243143520 36973736 374s3d2 634065 41244188 431G43142014-10-22 20:17:525 2014102210-232014-10-2366:54:27,See- 2014-10-23 07:37:51.506-201410-23 16:17:96.5(20

27、14-10.23 20:24:50.5(10.2321:50:57.560-双款益屋222014-10-24.s 0ioe10.2666670.13333310.2666670.1333336.995037183.050.4S648410.26666713333311S2.250.48955G. 846861275.3670.49795119.2666671333331Q.3333330.16666710.2666670.13333310.2666670.13331310.2666670.1333i310.2666670.13333311.5G.7510.266667e. 1335330.99

28、6466305.9G.5423761102.0630.4438410.849218335.7330.56236710.2666670.13331310.26666713333310.7133330.183533a g31.7&330.324521M.8830.436665i84.21.07949i124.9330.4997130.873913292.1330.7271970.2666670.133通小及一员会号助eeG.0Gt96528ee.0255364e0.86855933530.56eoeoe. 06066780eee.0167822ee.025103ee e e e0.0524777

29、e 0.000678754 0 0.00619862 0 e o e e 1.13W e e.eaews e 03931 e 0.0926063 0 0.0169395 0 1.56595 0Index发生时目开关机伏冬力映中耳G二派水量水流量加日余时间当前设置温度停蓟结夷时间停顿开桐间U/：22：1Z122014-10-19 07:22:19关关关290%0的神50NaTNaT132014-16-1907:22:26关关关290S0的钟50NaTNaT142014-10-1907:23:54关关关300%0盼钟50NaTNaT152014-10-19 07:24:00关关关29成0胡钟50N

30、aTNaT162014-10-19 07:27:57关关关30洲0的钟50NaTNaT172014-10-19 07:28:03关关关290%0防钟50NaTNaT182014-10-1907:28:27关关关300%0盼钟50NaTNaT192014-10-1907:28:33关关关290%0硼钟50NaTNaT202014-10-1907:30:10关关关300%0盼钟50NaTNaT212014-10-1907:36:16关关关290%0吩钟50NaTNaT222014-10-1907:36:46关关关30eC0%0吩钟50NaTNaT232014-10-1907:30:52关关关290

31、%0的钟50NaTNaT242014-10-1907:31:16关关关300%0的钟50NaTNaT252014-10-1907:31:23关关关290%0吩钟50NaTNaT262014-16-1907:31:29关关关300%0阳钟50NaTNaT272014-10-19 07:31:35关壬关290%0的钟50NaTNaT282014-10-19 07:32:07关关关30洲0明钟50NaTNaT292014-10-19 07:32:13关关关300防钟50NaTNaT302014-10-1907:32:25关关关29洲0盼钟50NaTNaT312014-10-1907:32:31关关关

32、30eC0%0的钟50NaTNaT322014-10-1907:32:37关关关29eC0%0吩钟50NaTNaT332014-10-1907:32:49关关关300%0吩钟50NaTNaT342014-10-1907:33:62关关关29eC0S0西钟50NaTNaT352014-10-19 07:33:14关关关30eC0%0咐钟50NaTNaT362014-10-1907:33:20关关关290%0吩钟50NaTNaT372914-10-1907:33:26关关关30外0盼钟50NaTNaT382014-10-19 07:33:38关关关29成0粉钟50NaTNaT392014-10-1

33、9 07:33:50关关关30洲0的钟50NaTNaT402014-10-19 07:34:11关关关2950明钟50NaTNaT、2014-10-19C八八5UCOL使用方法关坦管理2sFile xplorr 现助口 控。出 i/a（3kwarg to bar is deprecated use *x* instead. Support return func(ax, *args t kwargs)四、实验结果分析以及出现问题（一）遇到的问题：第一个代码运行不出来，显示有错误工Python控制台日：口 控制台AO，Python 3.6.6 (v3.6.6:4cfIf54eb7, Jun 27

34、 2018, 02:47:15) MSC v.1900 32 bit (Intel) Type copyrightr credits or license for more information.IPython 6.5.0 -An enhanced Interactive Python.In 1: runfile(C:/Users/Administrater/Desktop/shujuwajue-shiyan2/2-1.py) Traceback (most recent call last):File C:Pypython-3.6.6libsite-packagesIPythoncorei

35、nteractiveshell.py , line 2961, in run_code exec(code_obj, self.user_global_ns, self.user_ns)File , line 1, in runfile(C:/Users/Admmistrator/Desktop/shuj uwajue-shiyan2/2-1.py)File C:Pypython-3.6.6libsite-packagesspyder_kernelscustomizespydereustomize.pyM, line 668, in runfileexecfile(filename, name

36、space)File C:Pypython-3.6.6libsite-packagesspyder_kernelscustomizespydereustomize.py, line 108, in execfileexec(compile(f.read()r filename, exec), namespace)File C:/Users/Administrater/Desktop/shujuwajue-shiyan2/2-l.pyr line 7inputfile = C:UsersAdministraterDesktopshujuwajue-shiyan2/original_data.xls ASyntaxError: (unicode error) unicodeescape codec cant decode bytes in position 2-3: truncated UXXXXXXXX escapeIn 2:In 2:解决：原来是代码读取文件路径时，路径里的是正确的选项是import pandas as pdimport matplotlib.pyplot as