物联网与数据挖掘习题及答案 第3、4章.docx

《物联网与数据挖掘习题及答案 第3、4章.docx》由会员分享，可在线阅读，更多相关《物联网与数据挖掘习题及答案 第3、4章.docx（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、3-1简述常用的数据库系统。关系型数据库采用关系模型来存储结构化数据，但难以满足Web 2.0时代下高并发读/ 写、海量数据高效存储与访问、高可扩展性与高可用性等现实需求。非关系型数据库采用非关系模型来对数据进行建模、存储和管理，不需要固定的表结构, 通常也不存在连接操作，在大数据存取与管理上表现出优异的性能。根据具体实现方式的不 同，可以将非关系型数据库分为键值存储(Key-value Stores)数据库、文档存储(Document Stores)数据库、列族数据存储(Column Family Data Stores)数据库及图数据库。键值存储数据库：数据库中的数据以键值对的形式存储，每

2、个关键字是唯一的并且只能 是字符串的形式。文档存储数据库：可以被看作对键值存储的扩展，其值被存储在JSON、 XML等结构化文档中。列族数据存储数据库：列式存储是相对行式存储而言的，是一种以 列相关存储架构进行数据存储的数据库，通过逐列的方式进行存储。3-2简述数据仓库系统与数据库系统之间的异同点。数据仓库在物理上与数据库、文件系统一样是一堆数据的集合，它们的主要异同点如下:特 征操作数据库数据仓库核心特性实时操作处理海量信息分析主要操作单元简单事务复杂分析数据的规模GB级TB级及以上主要应用联机事务处理联机分析处理处理类型面向业务的操作型数据环境面向主题的分析型数据环境数据来源业务流中的数据

3、系统内部数据、系统外部数 据、历史数据等面向需求较确定的业务处理需求和数 据流用户对处理分析的需求不明 确；处理分析需求的方式灵活设计方法需求驱动数据驱动与需求驱动设计目标高效地增加、删除、修改、 查询操作；支持并发访问建立结构化的数据环境，服 务于决策支持和联机分析3-3数据仓库的主要组件有哪些?数据仓库主要由数据库、数据抽取工具、元数据、数据集市、数据仓库管理工具、访问 工具、信息发布系统组成。3-4简述数据仓库中元数据的作用。用于描述数据仓库中数据的结构和建立方法的数据，并与数据构成数据仓库中的数据模 型。元数据分为技术元数据和业务元数据。前者主要供系统开发人员和管理人员用描述数据 的技

4、术细节，如数据仓库结构的描述、系统性能的指标等；后者则从业务角度描述数据仓库 中的数据，使业务人员能够认识与理解系统中的数据。元数据有助于技术人员和业务人员更 好地明确数据仓库中的数据和当前业务需求，帮助决策分析者更好地定义数据仓库中的内 容，建立数据转换的准则，以提高系统的扩展性和可重用性。3-5比较四种不同的数据仓库系统的体系结构的优缺点。常用的数据仓库体系结构有两层架构、独立型数据集市、依赖型数据集市和操作型数据 存储、逻辑型数据集市和实时数据仓库四种类型。两层架构的数据仓库系统具有结构简单、维护周期长的优点，但设计开发一个企业级数 据仓库的时间长、成本高、数据分析效率低。独立型数据集市

5、的数据仓库系统为每个数据集市配备了一个ETL,这在一定程度上增加 了复杂性，可能产生冗余的数据和重复的处理工作，但这种方式允许自下而上迭代地构建数 据仓库，能够降低一次投入的预算。依赖型数据集市和操作型数据存储的数据仓库系统用户既可以访问数据仓库，也可以访 问数据集市，并且数据集市中的数据来自数据仓库，这保证了数据集市中数据的一致性；操 作型数据存储提供了一个当前细节的数据源，有助于解决数据集市不能获取更细粒度数据的 问题。逻辑型数据集市和实时数据仓库系统允许数据仓库与源数据系统、前端工具以接近实时 的速度交换数据。3-6简述常用的OLAP操作。常用的OLAP操作有上卷、下钻、转轴、切片与切块

6、。上卷：将数据从低层次聚合到高层次，以获取更高层次的总体概述。例如，在时间维度上 计算每月、每季度、每年的销售总额。下钻：将数据从高层次细分到低层次，以便深入研究各个组成部分的详细信息。例如，在 时间维度上查看某一月份的具体销售明细。转轴：将行与列互换，以改变数据的展示形式，从而获得不同的数据分析视角。例如，将 客户作为行，时间作为列，就可以查看某个客户在不同时间段内的购买情况。切片：在一个或多个维度上指定一个切片，从而观察该切片范围内的数据。例如，在时间 维度上选择某一特定日期，就可以查看该日期的所有数据。切块：在两个或多个维度上同时指定多个切片，从而获得更具体的数据视角。例如，在时 间和产

7、品维度上选择某一日期和某一产品，就可以查看该产品在该日期的销售情况。3-7 对比 OLAP 和 OLTPoOLAP服务器层位于数据仓库系统的中间层，针对特定的主题进行联机数据访问和多维 度综合分析，并以一种直观易懂的形式将查询结果展示给用户，可使决策者通过对信息的多 维观测进行快速、一致和交互的存取，深入理解数据和获取信息。联机事务处理(Online Transaction Processing, OLTP)是一种与OLAP密切相关的数据处理系统。OLTP是面向传 统关系型数据库的，主要处理日常事务，提供用于支持机构日常运营的技术基础架构，涉及 的事务内容简单且重复率高。与OLAP侧重于多维分

8、析和决策支持不同，OLTP的基本特征 是用户的原始数据可以很快被传送到远程服务器端进行处理，并在短时间内返回处理后的结 果，如用户通过ATM终端存款，银行的计算中心可以快速地处理该请求，并将结果返回给 用户。OLTP对并发性要求高，适合处理结构化数据，严格要求事务的原子性、一致性、隔 离性和持久性。3-8比较分析多维数据模型中的星型模式、雪花模式及事实星座模式。多维数据模型是一种用于处理大量数据的方法，其中包括星型模式、雪花模式和事实星 座模式。这些模式都是基于多维数据模型中的维度分层次化描述数据关系的方式。星型模式：星型模式也称为简单星型模式，是最常用的多维数据模型之一。在星型模式 中，一个

9、中心表包含了所有的事实表，而周围的维表则存储着与事实表相关的维度信息。这 种模型结构简单、易于理解和维护，但是存在重复数据和冗余表的问题。雪花模式：雪花模 式是星型模式的改进版，它通过将一些维度表进行规范化，消除了星型模式中的冗余表，从 而提高了数据的存储效率和查询速度。在雪花模式中，维度表被分解成多个表，并使用外键 来建立它们之间的关系。这种模型结构更加复杂，但是可以减少存储空间和提高查询效率。 事实星座模式(也称为矩阵式模式)：事实星座模式是一种相对较新的多维数据模型，它采 用了矩阵式的数据结构，将事实表和维度表进行了分解，并使用交叉索引来建立它们之间的 关系。这种模型结构比较复杂，但是可

10、以提高查询效率和灵活性。3-9试从数据治理的角度说明数据湖的作用。数据湖能够自动提取元数据信息并对元数据进行归类整理，建立统一的数据目录；具备 处理数据沿袭的能力，能够梳理数据的上下游关系，服务于开展数据定价、数据问题定位分 析、数据变化影响范围评估等工作；能够追踪、记录、分析和回溯不同版本的数据。3-10分析数据仓库与数据湖之间的区别与联系。数据仓库和数据湖是两种不同的数据存储架构，虽然它们在某些方面有所重叠，但在设 计思想、应用场景、处理方式以及灵活性等方面有着明显差异。首先，数据仓库中存储的是 经过提取、转换和加载等过程处理后的结构化数据，而数据湖则可以存储原始、非结构化或 半结构化的数

11、据，并且没有预定义的结构。这种存储方式对于包括物联网、移动应用、社交 媒体、Web日志等在内的多源异构数据具有很好的适应性。其次，数据仓库采用写入型模式 (Schema-on-write),在实施之前需要进行规划和设计；而数据湖则采用读取型模式(Schema- on-read), 即在读取时创建模式，具有更高的灵活度和可扩展性。最后，数据仓库主要服务 于报表、可视化、商业智能、数据挖掘等领域，较为侧重于业务分析人员和决策人员的使用； 而数据湖除了上述应用外，还可支持机器学习、数据挖掘、预测分析等更广泛的用户，例如 数据科学家。可以看出，数据仓库和数据湖在存储、处理和使用方式上有所区别，但它们并

12、不是互相 排斥的关系，而是可以相互补充和融合。例如，在数据湖中存储原始数据，通过ETL等工 具将部分精选数据提取到数据仓库中进行集中处理，最后再使用商业智能、可视化等工具进 行数据分析和决策支持。4-1为什么需要进行数据预处理？常见的数据预处理方式有哪些？现实世界中的数据，特别是在物联网环境中采集到的数据往往表现出有噪声、不完整、 不一致、冗余等特点。这些数据无法直接被数据挖掘或会影响数据挖掘结果的准确性、真实 性和可靠性。为了降低数据挖掘的成本，提高数据挖掘模式的质量，需要对数据进行预处理， 常见的数据预处理方式有数据清洗、数据变换、特征约简。4-2试编程实现基于最近邻的缺失值估计算法并利用

13、该算法估计表4-1中的缺失值。首先导入需要的库import numpy as npfrom scipy.spatial.distance import cdist指定数据集data = np. array (1,5.1, 3.5, 1.4, 0.2,2, 4.9, 3.0, np.nan, 0.2,3,4.7, 3.2, 1,3, 0.2,4, 5.0, np.nan, 1.4, 0.2,5, np.nan, 3.9, 1.7, 0.4,6, 4.6, np.nan, 1.4, 0.3)使用k=3进行缺失值填充from skleam.impute import KNNImputerimpute

14、r = KNNImputer(n_neighbors=3)imputed_data = imputer. fit_transfbrm(data :, 1:) 将填充后的数据与序号列音并，得到完整的表格imputed_table = np.concatenate(data:? :1, imputed_data, axis=l) print(imputed_table)4-3比较分后等宽分箱和等深分箱。等深分箱将一组数据分到若干个箱子中，使得每个箱子包含大致相同个数的数据。等深 分箱考虑了数据的分布情况，但可能会因为数据不够充分而产生偏差。等宽分箱使整个数据 集在特征取值的区间上均匀分布，即每个箱

15、子的区间长度相同。等宽分箱容易实现，但可能 会忽略数据本身的分布情况。当数据分布不均匀时，某些区间可能会包含大量数据，而另一 些区间则只有很少的数据。4-4简述特征选择和特征提取的区别与联系。特征选择和特征提取是两类常用的维度约简方法。两者的目标都是降维，但特征选择方 法是从原始特征空间中选出一组高质量的特征，而特征提取根据某种准则从原始特征空间中 提取一组新的特征，该组特征是原来特征的线性或非线性组合。4-5从多个不同的角度对特征选择算法进行归类。根据有无标签数据可用进行分类：根据数据集有无标签，可以将特征选择方法分为有监 督特征选择、无监督特征选择及半监督特征选择。根据确定特征子集的方式进

16、行分类:根据特征选择方法是否自动确定最终获得的特征子 集，可将特征选择方法分为特征排名方法和特征子集选择方法根据搜索策略进行分类：常采用的搜索策略有全局最优搜索、随机搜索及启发式搜索。根据使用的评价函数进行分类：根据有无使用学习算法或分类器来评价特征的质量，可 以将特征选择方法分为基于过滤的特征选择方法、基于封装的特征选择方法及基于嵌入的特 征选择方法。4-6试编程实现Relief算法并对表4-3中的特征进行排列。参阅代码实现：首先导入相关库from sklearn.feature_selection import ReliefFimport numpy as np构造特征矩阵和目标向量X =

17、 np. array (5.1, 3.5, 1.4, 0.2,4.9, 3.0, 1.35,0.2,4.7, 3.2, 1.3, 0.2,5.0,3.25, 1.4, 0.2,5.05,3.9, 1.7, 0.4,4.6, 3.4, 1.4, 0.3)y = np.array(O, 1,0, 1,0, 1)使用ReliefF计算特征权重fs = ReliefF(n_neighbors=2)fs.fit_transfbrm(X9 y)输出特征权重(按重要性从大到小排序)indices = np.argsort(fs.feature_importances_)- 1 for i in indice

18、s:print(f*Feature i + 1: fkffeature_importancesi)4-7试编程实现FCBF算法并排列表4-5中的特征。假设采用等宽分箱法对数据进行离散 化。参阅代码实现：4-8试编程实现MRMR算法并排列表45中的特征。假设采用等宽分箱法对数据进行离散 化参阅代码实现：4-9试编程实现PCA算法并对节中的数据进行处理。参阅代码实现：sklearn.decomposition import PCA首先导入相关库import numpy as npfrom sklearn.decomposition import PCA指定数据集X = np.array(4, 2,

19、 2, 4, 2, 3, 3, 6, 4, 4,9, 10, 6, 8, 9, 5, 8,7, 10, 8)使用PCA进行降维pea = PC A(n_components= 1)X_pca = pca.fit_transform(X)输出降维后的结果print(nPCA:n)for i in range(len(X_pca):print(f7Xi0, Xil) - X_pcai0:.4f；)4-10试编程实现LDA算法并对节中的数据进行处理。参阅代码实现：sklearn.discriminant_analysis import LinearDiscriminantAnalysis首先导入相关

20、库import numpy as npfrom sklearn.discriminant_analysis import LinearDiscriminantAnalysis指定数据集X = np.array(4, 2, 2, 4, 2, 3, 3, 6, 4, 4,9 10, 6, 81, 9,5, 8,71, 10, 81)使用LDA进行降维Ida = LinearDiscriminantAnalysis(n_components= 1)X_lda = lda.fit_transform(X, 0, 0, 0, 0, 0, 1, 1, h 1, 1)输出降维后的结果print(“LDA:)for i in range(len(X_lda):print(f,(XiO, Xil) - XJdai0:.4f)*)