2022年2022年空间数据挖掘 .pdf

《2022年2022年空间数据挖掘 .pdf》由会员分享，可在线阅读，更多相关《2022年2022年空间数据挖掘 .pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、空间数据挖掘：变数据为知识 中国科学院计算技术研究所刘毅勇何雄 李金山廖浩均孟亮邓柱中空间数据挖掘（ spatial data mining ）是在数据挖掘的基础之上，结合地理信息系统（GIS）、遥感图像处理、全球定位系统（ GPS）、模式识别、可视化等相关的研究领域而形成的一个分支学科，也称为空间数据挖掘和知识发现（spatial data mining and knowledge discovery 简称为 SDMKD ）。自 20世纪 60 年代数据库系统诞生以来， 数据库技术已经得到了飞速的发展，并且己经深入到社会生活的各个方面。现在，数据无处不在，可以存放在不同类型的数据库中，数据仓

2、库技术可以将异构的数据库集成起来进行综合管理，从而提供更好的服务。但是，随着科学技术的进步，新的数据采集和获取技术不断发展，使得数据库中所存储的数据量也随之急剧增长。另一方面，数据处理技术的发展却相对落后，数据库技术仍然停留在相对简单的录入、查询、统计、检索阶段，对数据库中的数据之间存在的关系和规则、数据的群体特征、数据集内部蕴涵的规律和趋势等，却缺少有效的技术手段将其提取出来，从而出现所谓的 “ 被数据淹没，却饥渴于知识” （John Naisbett，1997）的现象。在空间信息方面我们的处境甚至更加严峻。随着人类科学技术的飞速发展，雷达、红外、光电、卫星、电视摄像、电子显微成像等各种技术

3、和手段被广泛应用于空间信息的生成和采集，加上先进的空间信息制作技术和发布技术的应用，导致了空间信息数据的爆炸性增长。而另一方面，人类处理这些海量信息并从中挖掘有用的知识的技术和手段相对而言却非常贫乏和软弱，使我们迷失在空间信息和数据的汪洋大海之中饱受空间知识匮乏之苦。为了解决这种 “ 被数据淹没，却饥渴于知识” 的现象，科学家们于20 世纪 80 年代末期创立了一个新的研究领域，即数据挖掘（ Data Mining），或称数据挖掘和知识发现(Data Mining and Knowledge Discovery， 简称为 DMKD) 。这是在数据库技术、机器学习、人工智能、统计分析等基础上发展

4、起来的一个交叉性的学科。区别于简单地从数据库管理系统检索和查询信息， 数据挖掘是指 “ 从数据中发现隐含的、 先前不知道的、 潜在有用的信息的非平凡过程” (Frawley, 1991) ，其目的是把大量的原始数据转换成有价值的、便于利用的知识。自从数据挖掘和知识发现的概念于1989年 8 月首次出现在第 11 届国际联合人工智能学术会议以来，数据挖掘和知识发现领域的研究和应用均得到了长足的发展，形成了一些行之有效的理论和方法，并逐渐成为计算机信息处理领域的研究热点。随着空间信息的爆炸性增长与空间知识贫乏的矛盾日益突出，以及数据挖掘研究领域如火如荼的发展，使得空间数据挖掘这一门新兴学科应运而生

5、。空间数据挖掘和知识发现这一学科起源于国际GIS会议。 1994年，我国学者李德仁院士在加拿大渥太华举行的GIS国际学术会议上提出了从GIS数据库中发现知识的概念，并系统分析了空间知识发现的特点和方法。目前空间数据挖掘己成为国际研究的一个热点，渗透到数据挖掘和知识发现、地球空间信息学和一些综合性的学术活动中，成为众多著名国际学术会议的重要研究专题。由于有了数据挖掘的研究成果作为其坚实的基础，空间数据挖掘这一学科的发展更加迅猛，同样由于空间信息独特的复杂性，也使得空间数据挖掘的研究更加艰难，因而更加富有挑战性。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - -

6、- - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 5 页 - - - - - - - - - 空间数据挖掘是指从空间数据库中抽取没有清楚表现出来的隐含的知识和空间关系，并发现其中有用的特征和模式的理论、方法和技术。严格地说，这一学科采用空间数据挖掘和知识发现（SDMKD ）这一名称更为确切。事实上，空间数据挖掘和知识发现的过程大致可分为以下多个步骤:数据准备、 数据选择、数据预处理、数据缩减或者数据变换、确定数据挖掘目标、确定知识发现算法、数据挖掘、模式解释、知识评价等，而数据挖掘只是其中的一个关键步骤。但是为了简便，人们常常用空间数据挖掘来代替空间数据挖掘

7、和知识发现。空间数据的特点空间数据挖掘是数据挖掘学科的一个重要分支，但它与普遍意义上的数据挖掘又有很大的差别，这是由空间数据固有的特点及其复杂性所决定的。空间数据与其他类型数据的本质区别是其空间属性。空间属性包括空间位置、距离、几何形状、大小等内容，并且可引伸为空间个体之间的相互关系，如拓扑关系、方位关系、度量关系等，从而使得空间数据比其他类型的数据要更为复杂，主要表现在：空间属性之间的非线性关系；空间数据的多尺度特征，即空间数据在不同观察层次上所遵循的规律以及所体现出的特征不尽相同；空间信息的不确定性，空间位置、空间相关性及其他属性均可能存在不确定性；空间数据属性空间的高维数，与空间数据相关

8、联的可能很多（如遥感传感器波段的数目可能多达上百个），从而使属性空间的维数非常之高；空间数据的不完备性，在数据获取和加工过程中，都有可能发生数据丢失或者无法获取的现象，导致空间数据缺失的现象非常严重；海量数据，空间数据库或数据仓库中存储着各种类型的栅格数据、矢量数据、空间个体的属性数据等，其数据量异常巨大。空间数据的这些特点使其中隐含着更多、更为复杂的知识，因而也使空间数据挖掘的研究更加困难和更具挑战性。空间数据挖掘的任务空间数据挖掘的任务可以概括如下：在空间数据库和数据仓库的基础上，综合利用统计学、模式识别、人工智能、粗集、模糊数学、机器学习、专家系统、可视化等领域的相关技术和方法，以及其他

9、相关的信息技术手段，从大量的空间数据、管理数据、经营数据或遥感数据中析取出可信的、新颖的、感兴趣的、隐藏的、事先未知的、潜在有用的和最终可理解的知识，从而揭示出蕴含在空间数据背后客观世界的本质规律、内在联系和发展趋势，实现知识的自动或半自动获取，为管理和经营决策提供依据(李德仁，2001 年)。简言之，空间数据挖掘的任务就是要从空间数据库和数据仓库发现知识，并提供相关的决策支持。那么，我们究竟希望从中发现哪些类型的知识呢？一般而言，从空间数据库和数据仓库中可能发现的知识类型包括以下几种类型：普遍的几何知识，即某类目标的数量、大小、形态特征等普遍的几何特征；规则型知识，即包括空间关联规则、空间特

10、征规则、空间区分规则和演变规则等在内的知识，可用产生式规则、语义网络、模拟表示及其他可能的方法来加以表示；空间聚类与分类知识， 是指将特征相近的空间对象进行聚类或者分类处理，进而对空间对象进行概括和综合的知识，例如，将具有嵌套关系的一组等高线聚合成一座山或者一个山脉等；空间分布规律，即关于空间对象在地理空间的分布规律方面的知识，包括各种维度的分布规律：如垂直方向、水平方向、以及整个空间的联合分布规律等，甚至还可包括属性空间的任何一个维度上的分布规律，如军事基地、防御工事的分布规律、电子战中电磁频谱的分布规律等；名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - -

11、 - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 5 页 - - - - - - - - - 空间对象的发展趋势，即空间对象的某个或者某些属性的规律性变化，战场态势的发展变化趋势等；空间对象的结构型知识，指关于复杂对象的普遍特征及其构成关系的知识；空间偏差型知识，即关于空间对象或现象偏离常规的异常情况的知识，如战场态势中某些要素的异常变化等；空间数据挖掘的任务是要在不同的空间概念层次（从微观到宏观）挖掘出上述各种类型的知识，并用相应的知识模型表示出来。 可供选用的知识表示方法包括：基于规则的表示法(如产生式规则 )、基于逻辑 (如命题逻辑和一阶谓词逻辑)的

12、知识表示、基于关系的知识表示、面向对象的知识表示、基于模型的知识表示、语义网络表示、脚本表示、模拟表示、基于过程的表示以及基于本体的知识表示等。不仅如此，空间数据挖掘的任务还包括根据所采用的知识表示方法设计出相应的推理模型，这样才能为不同领域、不同层次、具有不同应用需求的用户提供行之有效的辅助决策支持。空间数据挖掘的方法如前所述，空间数据挖掘是数据挖掘的一个新兴的交叉性学科，因此，空间数据挖掘的方法是多种多样的，而且，将来还会不断出现新的方法。在实际应用中，为了发现某类知识，常常要综合运用多种方法。目前，常用的空间数据挖掘方法主要有：1. 基于概率论的方法。 这是一种通过计算不确定性属性的概率

13、来挖掘空间知识的方法，所发现的知识通常被表示成给定条件下某一假设为真的条件概率。在用误差矩阵描述遥感分类结果的不确定性时，可以用这种条件概率作为背景知识来表示不确定性的置信度。2. 空间分析方法。指采用综合属性数据分析、拓扑分析、缓冲区分析、 密度分析、距离分析、叠置分析、网络分析、地形分析、趋势面分析、预测分析等在内的分析模型和方法，用以发现目标在空间上的相连、相邻和共生等关联规则，或挖掘出目标之间的最短路径、最优路径等知识。目前常用的空间分析方法包括探测性的数据分析、空间相邻关系挖掘算法、探测性空间分析方法、探测性归纳学习方法、图像分析方法等。3. 统计分析方法。 指利用空间对象的有限信息

14、和/或不确定性信息进行统计分析，进而评估、预测空间对象属性的特征、统计规律等知识的方法。它主要运用空间自协方差结构、变异函数或与其相关的自协变量或局部变量值的相似程度实现包含不确定性的空间数据挖掘。4. 归纳学习方法。即在一定的知识背景下，对数据进行概括和综合，在空间数据库（数据仓库）中搜索和挖掘一般的规则和模式的方法。归纳学习的算法很多，如由Quinlan 提出的著名的 C5.0 决策树算法、 Han Jiawei教授等提出的面向属性的归纳方法、裴健等人提出的基于空间属性的归纳方法等。5. 空间关联规则挖掘方法。即在空间数据库（数据仓库）中搜索和挖掘空间对象（及其属性）之间的关联关系的算法。

15、最著名的关联规则挖掘算法是Agrawal 提出的 Apriori 算法；此外还有程继华等提出的多层次关联规则的挖掘算法、许龙飞等提出的广义关联规则模型挖掘方法等。6. 聚类分析方法。即根据实体的特征对其进行聚类或分类，进而发现数据集的整个空间分布规律和典型模式的方法。常用的聚类方法有K-mean, K-medoids方法、Ester等提出的基于 R树的数据聚焦法及发现聚合亲近关系和公共特征的算法、周成虎等提出的基于信息熵的时空数据分割聚类模型等。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - -

16、 - 第 3 页，共 5 页 - - - - - - - - - 7. 神经网络方法。即通过大量神经元构成的网络来实现自适应非线性动态系统，并使其具有分布存储、联想记忆、大规模并行处理、自学习、自组织、自适应等功能的方法；在空间数据挖掘中可用来进行分类和聚类知识以及特征的挖掘。8. 决策树方法。即根据不同的特征，以树型结构表示分类或决策集合，进而产生规则和发现规律的方法。采用决策树方法进行空间数据挖掘的基本步骤如下：首先利用训练空间实体集生成测试函数；其次根据不同取值建立决策树的分支，并在每个分支子集中重复建立下层结点和分支，形成决策树；然后对决策树进行剪枝处理，把决策树转化为据以对新实体进行

17、分类的规则。9. 粗集理论。一种由上近似集和下近似集来构成粗集，进而以此为基础来处理不精确、不确定和不完备信息的智能数据决策分析工具，较适于基于属性不确定性的空间数据挖掘。10. 基于模糊集合论的方法。这是一系列利用模糊集合理论描述带有不确定性的研究对象，对实际问题进行分析和处理的方法。基于模糊集合论的方法在遥感图像的模糊分类、GIS 模糊查询、空间数据不确定性表达和处理等方面得到了广泛应用。11. 空间特征和趋势探侧方法。这是一种基于邻域图和邻域路径概念的空间数据挖掘算法，它通过不同类型属性或对象出现的相对频率的差异来提取空间规则。12. 基于云理论的方法。云理论是一种分析不确定信息的新理论

18、，由云模型、不确定性推理和云变换三部分构成。基于云理论的空间数据挖掘方法把定性分析和定量计算结合起来，处理空间对象中融随机性和模糊性为一体的不确定性属性；可用于空间关联规则的挖掘、空间数据库的不确定性查询等。13. 基于证据理论的方法。 证据理论是一种通过可信度函数（度量已有证据对假设支持的最低程度）和可能函数（衡量根据已有证据不能否定假设的最高程度）来处理不确定性信息的理论，可用于具有不确定属性的空间数据挖掘。14. 遗传算法。这是一种模拟生物进化过程的算法，可对问题的解空间进行高效并行的全局搜索，能在搜索过程中自动获取和积累有关搜索空间的知识，并可通过自适应机制控制搜索过程以求得最优解。空

19、间数据挖掘中的许多问题，如分类、聚类、预测等知识的获取，均可以用遗传算法来求解。这种方法曾被应用于遥感影像数据中的特征发现。15. 数据可视化方法。这是一种通过可视化技术将空间数据显示出来，帮助人们利用视觉分析来寻找数据中的结构、特征、模式、趋势、异常现象或相关关系等空间知识的方法。为了确保这种方法行之有效，必须构建功能强大的可视化工具和辅助分析工具。16. 计算几何方法。这是一种利用计算机程序来计算平面点集的Voronoi 图，进而发现空间知识的方法。 利用 Voronoi图可以解决空间拓扑关系、数据的多尺度表达、自动综合、空间聚类、空间目标的势力范围、公共设施的选址、确定最短路径等问题。1

20、7. 空间在线数据挖掘。这是一种基于网络的验证型空间来进行数据挖掘和分析的工具。它以多维视图为基础，强调执行效率和对用户命令的及时响应，一般以空间数据仓库为直接数据源。这种方法通过数据分析与报表模块的查询和分析工具（如 OLAP、决策分析、数据挖掘等）完成对信息和知识的提取，以满足决策的需要。空间数据挖掘的典型应用空间数据挖掘是一个新兴的具有广阔发展前景的研究领域，同样具有宽广的应用范围。它在遥感影像处理、公共卫生领域以及交通事故分析、电力负荷的空间分布预测、土地覆盖情况分析、气候变化的空间分布规律分析、农作物产量名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - -

21、 - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 5 页 - - - - - - - - - 预测等方面均有成功的应用。空间数据挖掘可能的应用领域，将会涵盖所有涉及到空间实体发现与分析、空间决策、空间数据理解、空间数据库重组、空间知识库，以及需要发现空间联系以及空间数据与非空间数据之间关系的各个领域。空间数据挖掘在军事领域的应用前景尤其广阔。首先，军事问题，尤其是作战问题大多会与军事行动所展开的战场环境发生关系。其次，作战指挥等军事决策行为又要以情报的分析处理为前提，并在此基础上对战场态势进行推测和估计，然后才能确定下一步需要采取的军事行动。所有这些无一不与空间信息有着千丝万缕的联系。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 5 页 - - - - - - - - -