数据挖掘原理与SPSS Clementine应用宝典第16章 数据挖掘建模.ppt

数据挖掘原理与数据挖掘原理与SPSS Clementine应用宝典应用宝典第第16章章 数据挖掘建模数据挖掘建模2023/4/302023/4/302023/4/302 216.4小结小结16.3数据挖掘建模原理数据挖掘建模原理16.3.1建模要求建模要求16.3.2建模原则建模原则16.3.3简化模型简化模型16.3.4建模步骤建模步骤16.3.5建模素质建模素质16.1数据挖掘建模概述数据挖掘建模概述16.1.2原型与模型原型与模型16.1.3模式与模型模式与模型16.1.4知识层次理论知识层次理论16.1.5模型与数据模型与数据16.1.6知识结构与框架知识结构与框架16.1.7决策决策16.2数据挖掘建模基础数据挖掘建模基础16.2.1数据挖掘建模数据挖掘建模16.2.2建模与挖掘的结合建模与挖掘的结合16.2.3模型分类模型分类16.2.4建模行为建模行为内容2023/4/302023/4/3016.116.1数据挖掘建模概述数据挖掘建模概述 16.1.116.1.1原型与模型原型与模型原型指的是人们在现实世界里关心、研究、或者从事生产、管理的实际对象。本章所述的现实对象、研究对象、实际问题等均指原型。模型则是为了某个特定目的将原型的某部分简缩、提炼而构造的原型替代物。2023/4/302023/4/3016.1.216.1.2模式与模型模式与模型模式（模式（Pattern）其实就是解决某一类问题的方）其实就是解决某一类问题的方法论，把解决某类问题的方法总结归纳到理论法论，把解决某类问题的方法总结归纳到理论高度，就是模式。高度，就是模式。模型（模型（Model）就是封装数据和所有基于对这些）就是封装数据和所有基于对这些数据的操作，是对现实世界中过程的抽象描述。数据的操作，是对现实世界中过程的抽象描述。2023/4/302023/4/3016.1.3知识层次理论知识是从数据到智慧划分为不同层次的，并且知识是从数据到智慧划分为不同层次的，并且所有模型都是基于数据的，理解模型也要把握所有模型都是基于数据的，理解模型也要把握数据、信息和知识的结构。数据、信息和知识的结构。2023/4/302023/4/302023/4/302023/4/302023/4/307 716.1.4模型与数据从某种意义上而言，模型就是知识，模型联接着数据和知识，它们对于数据提供解释具有一定的意义，把出现在数据中的信息封装到特定框架中模型如何表述数据集内的信息，亦即实际中运用何种形式或机制去表述模型中的信息内容。2023/4/302023/4/30从可操作性上而言，一从可操作性上而言，一个完整的模型通常必须包个完整的模型通常必须包含信息表述结构和解释机含信息表述结构和解释机制。一般模型的简化形式制。一般模型的简化形式可以用图可以用图162的数据与的数据与模型的构成部分来表示。模型的构成部分来表示。2023/4/302023/4/3016.1.516.1.5知识结构与框架知识结构与框架知识结构是指知识领域内事实、概念、观念、公理、定理、定律知识结构是指知识领域内事实、概念、观念、公理、定理、定律等的组合方式。一般可分为以下三类结构：等的组合方式。一般可分为以下三类结构：学科知识结构，是各种学科内容的有机组合。学科知识结构，是各种学科内容的有机组合。个体知识结构，为个体头脑中知识的构成状况，表现为各种门类、个体知识结构，为个体头脑中知识的构成状况，表现为各种门类、各种层次知识的比例及相互关系。各种层次知识的比例及相互关系。群体知识结构，为一个组织中成员所具有的各种不同知识的集体群体知识结构，为一个组织中成员所具有的各种不同知识的集体组合。组合。概括地说，知识结构可以表示成由对象间的互联以及定义连接的概括地说，知识结构可以表示成由对象间的互联以及定义连接的交互网络。交互网络。2023/4/302023/4/30框架（Framework）其实就是某种应用的半成品，就是一组组件，供使用者选用来完成自己的系统。使用框架，简单地说就是使用别人搭好的舞台，进行表演。对于数据挖掘和建模来说，重要的是找到一个描述和使用知识的一般方式的过程，他们就是在这样的框架中工作的。建模者的所有工作都是在模型结构的框架中完成的。2023/4/302023/4/3016.1.6决策决策是决定采取某种行动，这种行动的目的在于使当事人所面临的事件呈现令人满意的状态。此处当事人称为该行动的受益者。凡是根据预定目标做出行动的决定，均可称为决策。2023/4/302023/4/3016.1.6.116.1.6.1决策的特征和种类决策的特征和种类 决策具有三个主要特征：（1）决策是为了实现特定目标的活动，没有目标就无从决策，目标已经实现，也就无需决策；（2）决策的目的在于付诸实施，不准备实施的决策是多余的、无用的；（3）决策具有选择性，只有一个方案，就无从优化，而不追求优化的决策是无价值的。2023/4/302023/4/30决策的种类决策的种类选择性决策选择性决策在选择性决策中，决策者面对着两个或者更多离散的、特殊的备选项，必须从这个集合中选出一个子集或者仅选出一个选项。接受接受/拒绝性决策拒绝性决策在接受/拒绝性决策中，决策者面对的仅是一个决策，必须接受这个决策或者拒绝它。评价性决策评价性决策在评价性决策中，决策者必须基于对某实体价值的评估而进行一系列的活动建设性决策建设性决策在建设性决策中，决策者必须依照特定的限制使用可用资源来恰当地组织各个可选的主题。2023/4/302023/4/3016.1.6.2决策步骤一般决策过程都大致包括如图163决策步骤流程图所示的八个基本步骤：2023/4/302023/4/3016.1.6.3决策分析方法科学决策的前提是运用科学的决策分析方法，决策分析是研究不确定性问题的一种系统分析方法。其目的是改进决策过程，从一系列备选方案中找出一个能满足一定目标的合适方法。对于不同的情形会有不同的决策方法。对于不同的情形会有不同的决策方法。确定性情形不确定性情形随机性情形多目标情形多人决策情形2023/4/302023/4/3016.1.6.4决策与建模在管理应用中，决策常常依赖于模型来进行，模型是决策的有力助手，模型在提高效率方面产生了极其深远的意义。建模是建立模型的过程的简称，又称为模型化。凡是用模型描述问题的因果关系或相互关系的过程都属于建模。建模的目的是用可量化的决策变量来帮助管理者进行决策，模型的目标函数表达了根据决策变量做出的相应的绩效度量，模型的约束条件表示对决策变量可能取值的限制。建模是为了解决问题，建模者只有依据存在的确定问题才可以建模。2023/4/302023/4/3016.216.2数据挖掘建模基础数据挖掘建模基础16.2.116.2.1数据挖掘建模数据挖掘建模数据挖掘中的建模是由数据驱动的，它通常不是由任何潜在机制或“事实”驱动的，而是为了捕捉数据中存在的关系。因此，数据挖掘建模是数据驱动型建模的一种。因此，数据挖掘建模是数据驱动型建模的一种。由于数据挖掘是数据驱动的，根据数据得到的模型本无精确模型与非精确模型之分，所以不应该认为数据与模型的发现存在某种因果关系。2023/4/302023/4/3016.2.1.1数据建模数据建模是建立数据驱动型模型的简称，是指用更具体、更明确的函数表达形式(函数类型)来描述由输入变量到输出变量之间的映射，并根据有限的采样数据计算模型参数的建模活动过程。2023/4/302023/4/3016.2.1.216.2.1.2实体实体/数据驱动型模型的建模过程数据驱动型模型的建模过程 2023/4/302023/4/3016.2.1.316.2.1.3实体模型与数据驱动型模型的比较实体模型与数据驱动型模型的比较我们可以看到，虽然实体模型和数据驱动型模型都用于描述某个对象，但是，这两种模型的含义有着本质的区别，具体内容请详见表161实体模型与数据驱动型模型对比表。2023/4/302023/4/302023/4/3021212023/4/302023/4/3016.2.1.416.2.1.4数据挖掘建模数据挖掘建模建构模型是数据挖掘技术的重要内容，正是通过建模，数据挖掘建构模型是数据挖掘技术的重要内容，正是通过建模，数据挖掘工具才可以准确地告诉用户那些隐藏在数据库深处的重要信息，同工具才可以准确地告诉用户那些隐藏在数据库深处的重要信息，同时又对未来做出预测时又对未来做出预测。那么，何为建模？简单而言，就是综合运用数学思想方法和IT技术建立一个适合当前问题的模型，用以解释之前发生的事情并预测未来发生的事情。2023/4/302023/4/30数据挖掘建模数据挖掘建模是指针对现实世界中要解决问题的特定对象，为特定的数据挖掘目的，做出一些重要的简化和假设，运用适当的数据挖掘工具和其他科学工具获得的模型，然后利用该模型来解释特定现象的现实形态，预测对象的未来状况，提供处理对象的优化决策和控制，设计满足某种需要的产品等的过程。数据挖掘建模实际上就是为采用数据挖掘工具解决实际问题，而进行建立数据挖掘模型的活动过程。2023/4/302023/4/3016.2.1.5建模与数据挖掘工具建模与数据挖掘工具算法和建模作为数据挖掘工具的核心技术从它诞生之日起就在得到不断完善。对各种算法的支持程度是衡量数据挖掘工具的一大标准。目前的算法技术已经相当成熟，而主流数据挖掘工具也基本上都提供了对主流算法的支持。数据挖掘中的建模主要采用数据建模和算法建模，其中更侧重于算法建模。数据挖掘的过程就是一个不断探索数据特征、建立和检验模型，利用适合的模型来解决实际问题的过程。目前，数据挖掘建模业界探讨较多的技术内容主要有自动建模和模型转换两点。2023/4/302023/4/3016.2.2建模与挖掘的结合所有的挖掘和建模活动都想达到一些解决识别问题的目标。如果在战略性的层次上，挖掘和建模可以探究和阐明一个完整的问题域，问题或者问题域就是根据挖掘结果和建模框架所做出的决策来解决的。假说(Hypothesis)经常被用来表示似乎并未在数据中被真正发现，然而直觉上却感觉是正确的猜想。当然，数据挖掘的任务就是要估计得越精确越好。对于建模和挖掘而言，在建立解决问题方案的系统中，输入越精确，输出就越精确，如果所输入的资料有重大错误，结果也必然是错误的。2023/4/302023/4/3016.2.3模型分类模型分类在实际建立模型时，我们要依据建模目的，重点考虑对象的数学特征和数学方法。需要注意的是对同一事物由于对问题的认识程度或建模目的的不同，经常可以构造出不同的模型。我们可以从不同的途径来描述模型，下面主要阐述常用的基本的数据挖掘模型，利用基本模型经过修改、融合、创新成为需要的模型。这些常用的基本模型是：推理预测模型推理预测模型,关联系统模型关联系统模型,静态静态动态模型动态模型,定量定性模型定量定性模型,比较交互模型比较交互模型建模者在挖掘环境中所用到的挖掘框架，包含了所有的这些常用模型，框架包含的模型越充分，选择的恰当性就越好。2023/4/302023/4/3016.316.3数据挖掘建模原理数据挖掘建模原理16.3.116.3.1建模要求建模要求建模需要熟练的数学技巧、丰富的想象力和敏锐的洞察力，需要大量的调查研究、借鉴已有模型，尤其要建模者亲自“实践”、自己动手、亲自体验。建模一般具有以下要求：模型要有足够的精度，即把本质的关系和规律反映出来，去掉非本质的内容。模型要简单实用、便于处理。建模依据要充分，即要依据科学规律、经济规律等来建模。对于模型和建模尽量借鉴标准形式。模型要表示的系统要能操纵和控制，便于检验和修改。2023/4/302023/4/3016.3.2建模原则在数据挖掘建模的过程中，一般遵守以下基本原则：（1）简单性（2）清晰性（3）相关性（4）准确性（5）识别性（6）集成性2023/4/302023/4/3016.3.3简化模型常用简化模型的方法：常用简化模型的方法：除去一些变量除去一些变量改变变量的性质改变变量的性质合并一些变量合并一些变量改变变量间的函改变变量间的函数关系数关系模型结构的转换模型结构的转换改变约束关系改变约束关系2023/4/302023/4/3016.3.4建模步骤建模步骤图165数据挖掘建模步骤流程图2023/4/302023/4/3016.3.5建模素质建模是一种积极的思维活动，从认识论的角度来建模是一种积极的思维活动，从认识论的角度来看，是一种极为复杂且应变能力极强的心理活动。看，是一种极为复杂且应变能力极强的心理活动。其中，既有逻辑思维亦有非逻辑思维，因此没有其中，既有逻辑思维亦有非逻辑思维，因此没有统一的模式和固定的方法。统一的模式和固定的方法。但是，建模过程大多要经过分析与综合、抽象与但是，建模过程大多要经过分析与综合、抽象与概括、比较与类比、系统化与具体化的阶段，其概括、比较与类比、系统化与具体化的阶段，其中分析与综合是基础，抽象与概括是关键。从逻中分析与综合是基础，抽象与概括是关键。从逻辑思维而言，抽象、归纳、演绎、类比等形式逻辑思维而言，抽象、归纳、演绎、类比等形式逻辑的思维方法被大量采用，熟悉这些基本方法对辑的思维方法被大量采用，熟悉这些基本方法对建模会有很大帮助。建模会有很大帮助。2023/4/302023/4/30从系统模型的要求、建模过程和建模步骤来看，要建好模型，应该具备下列几方面的能力：要建好模型，应该具备下列几方面的能力：分析综合能力,抽象概括能力,联想洞察能力,运用相关工具的能力,通过实践验证模型的能力2023/4/302023/4/30称职的建模者应该具备以下几方面的能力：称职的建模者应该具备以下几方面的能力：(1)对客观事物或过程能够透过现象抓住本质，使得对问题有一个深刻的理解、清晰的图景、清楚的层次和明确的轮廓。(2)在数学方面应有基本训练，要有一定的数学修养，并且掌握一套数学思路和方法。(3)具有把实际问题与数学联系起来的能力，善于把各种现象中的表面差异撇去，而把本质的共性提炼出来。同时，建模者应该注意需要避免的四种倾向是：懒、同时，建模者应该注意需要避免的四种倾向是：懒、馋、贪、变。馋、贪、变。2023/4/302023/4/3016.4小结本章作为数据挖掘的另一个视角，是前面内容的必要补充和完善。因为不同类型的模型决定了挖掘者偏向于使用不同的挖掘算法工具，此外，进行挖掘时需要具体问题具体分析，以便建立适合的挖掘建模框架。本章主要阐述了在进行数据挖掘时，如何思考、如何动手、如何进行以及组织相关问题进而为挖掘付出的努力得到最好的回报。当然，由于数据挖掘建模的复杂性、系统性和具体性，我们对数据挖掘建模的阐述还有待于进一步完善，读者可以根据我们的描述和所列的参考文献再结合具体的实际应用需要来更好地掌握数据挖掘建模。2023/4/302023/4/30