(1.15)--5.3数据集成大数据分析与挖掘.ppt

数据预处理BIG DATABIG DATA大数据，成就大未来！BIG DATABIG DATA1 数据预处理概述2 数据清理3 数据集成4 数据归约5 数据变换大数据，成就大未来！3 数据集成数据预处理3.1 数据集成数据集成：将来自多个数据源的数据合并到一个一致的存储中模式集成：整合不同数据源中的元数据 e.g.A.cust_id B.cust_number数据库Acust_id姓名交易额1001张三16641002王五1407数据库Bcust_number姓名交易额1001zhangsan1.6641002wangwu1.407数据集成id姓名交易额姓名交易额1001张三1,664zhangsan1.6641002王五1407wangwu1.4073.1.1 模式集成大数据，成就大未来！3 数据集成数据预处理3.1.2 实体识别问题实体识别问题：从多个数据源识别真实世界的实体数据库Acust_id姓名交易额1001张三16641002王五1407数据库Bcust_number姓名交易额1001zhangsan1.6641002wangwu1.407数据集成id姓名交易额A交易额B1001张三16641.6641002王五14071.4073.1 数据集成数据集成：将来自多个数据源的数据合并到一个一致的存储中大数据，成就大未来！3 数据集成数据预处理3.1.3 检测和解决数据值冲突检测和解决数据值冲突：对于相同的真实实体，来自不同来源的属性值是不同的可能的原因：不同的表示、不同的比例，例如公制与英制单位3.1 数据集成数据集成：将来自多个数据源的数据合并到一个一致的存储中大数据，成就大未来！3 数据集成数据预处理3.1.3 检测和解决数据值冲突3.1 数据集成数据库Acust_id姓名交易额1001张三16641002王五1407数据库Bcust_number姓名交易额1001zhangsan1.6641002wangwu1.407数据集成id姓名交易额1001张三16641002王五1407大数据，成就大未来！3 数据集成数据预处理3.2 冗余集成多个数据库时，经常会出现冗余数据对象标识：同一属性或对象在不同的数据库中可能具有不同的名称可衍生数据：一个属性可能是另一个表中的“衍生”属性冗余属性可以通过相关分析和协方差分析来检测仔细整合来自多个来源的数据可能有助于减少/避免冗余和不一致，并提高挖掘速度和质量大数据，成就大未来！3 数据集成数据预处理3.3 相关分析大数据，成就大未来！3 数据集成数据预处理3.3 相关分析大数据，成就大未来！3 数据集成数据预处理3.3 相关分析男女合计(row)小说250(90)200(360)450非小说50(210)1000(840)1050合计(col.)30012001500这表明，组中的小说和性别是相关联的大数据，成就大未来！3 数据集成数据预处理3.3 相关分析3.3.2 数值数据的相关系数If rA,B0，A和B正相关（A的值随着B的增加而增加）。值越大，相关性越强If rA,B=0：独立；If rA,B0，则A和B都倾向于大于其预期值。负协方差：如果Cov(A,B)0，则如果A大于其预期值，则B可能小于其预期值。独立性：Cov(A,B)=0，但反之不成立某些随机变量对的协方差可能为0，但不是独立的。只有在某些附加假设下（例如，数据遵循多元正态分布），协方差为0才意味着独立性大数据，成就大未来！3 数据集成数据预处理3.3 相关分析时间点ABt1620t2510t3414t435t525E(A)=(6+5+4+3+2)/5=20/5=4美元E(B)=(10+10+14+5+5)/5=54/5=10.80美元Cov(A,B)=(620+510+414+35+25)/5 4 10.80=7BIG DATABIG DATA感谢您的观看！