大数据时代的数据挖掘技术与实践.docx

《大数据时代的数据挖掘技术与实践.docx》由会员分享，可在线阅读，更多相关《大数据时代的数据挖掘技术与实践.docx（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据时代的数据挖掘技术与实践张鹏Summary 结合时代背景，各行各业都随着大数据技术的开展得到便 利，随着大数据时代的来临，数据应用及数据共享得到迅速开展。在当前阶 段，数据蕴含重要价值。而如何将数据价值挖掘出来，使其得到充分利用是重 点思考内容，数据挖掘技术的开展为此问题地解决提供巨大支持。在此结合实 际情况，探究大数据时代下数据挖掘技术具体内容及应用实践，以期为我国的 社会开展提供些许参考。Key大数据时代数据挖掘技术应用实践引言：随着人类文明开展，信息化、自动化、智能化成为开展方向，信息技术和大数 据技术得到广泛应用。越来越多的行业着眼于时代开展，并结合社会变化，尝 试探究现代化社会

2、面临的挑战和困境，从而针对性的提出应对策略。无数企业 结合数据挖掘技术，综合探究行业开展规律及市场需求变化，从而全面调整自 身综合实力。此外，结合数据筛选技术实现海量数据科学化筛选，可进一步梳 理分析相关信息内容，从而深度挖掘数据蕴含的价值，为企业实现高效管理以 及科学决策夯实基础。一、大数据时代数据挖掘技术具体内容阐述数据挖掘技术在20世纪80年代逐渐得到开展，其最初主要应用于人工智能技 术相关的产品开发和活动中，此时期相关技术手段尚未成熟，很多设施相对落 后，与先进新时代的人工智能有较大差异。在大数据时代背景下，人工智能技 术与数据挖掘技术的应用有紧密联系，通过先进技术手段，借助机器的深度

3、学 习能力，从而实现对复杂、不可控、无规律的数据信息进行深层次挖掘，从而 获得数据信息隐藏的信息内容1。从技术角度分析，数据挖掘技术可深度挖掘 信息数据潜藏的线索及内涵，在当前大数据时代，为企业开展提供更多助力。 具体来讲，数据挖掘技术主要针对随意性较强、信息内容较为模糊的数据进行 处理，从而实现更为精确的深层次数据价值分析。通常来讲，数据挖掘是一项 繁琐复杂的过程，其具体运作流程环节复杂繁琐，随着实践研究，目前有多种 方法。例如统计分析方法、遗传算法、神经网络方法等，这些方法各有特点。二、大数据时代常见的数据挖掘方法详细阐述2. 1统计分析方法数据库中的字段之间存在两种关系，其一是可以通过函

4、数公式表示出具有明确 联系的关系，其二是虽然字段项之间可以具有确定性，但不能用函数公式表述 出来。因此结合数据库中的字段项关系内涵，将具有确定性且可用函数公式表 示的认定为函数关系，只具有确定性但不能与函数公式表示的认定为相关关 系。具有明确的判定标准后，便可以借助统计学原理分析方法对符合上述两种 关系的信息数据进行分析，例如借助统计学原理对数据内容进行求和、最大 值、最小值、平均值等内容的计算，或者借助回归方程来表述数据之间的数量 关系等，通过这些统计学方法对数据进行深度挖掘，将信息数据看作样本，进 行统计学计算，从而根据数值差异等来表达深层次信息的方法。2. 2遗传算法此种方法是当前有效进

5、行数据挖掘的方法之一，目前以此种方法为基础开发的 数据挖掘工具应用面较广，”数据挖掘工具”的价值明确展示了此种方法在数 据挖掘中具有实际价值。所谓的遗传算法是一种以生物自然选择和遗传机理为 基础开发的随机搜索方法，其具有高度融合性特点，经过实践探索，目前与神 经网络、粗集技术等融合性开展较为流行，受到社会群众广泛青睐2。2. 3神经网络方法与其他数据挖掘方法进行比拟发现，神经网络方法十分适用解决数据挖掘问 题，因此在进行数据挖掘工作时，也是较为受欢迎的方式之一。此种方法具有 自适应性及容错性高等特点，且此种方式还可以支持并行处理运作，因此，在 现今社会是数据挖掘研究中重点关注内容之一。2. 4

6、粗集方法粗集方法的基础依据是集合论，其是一种基于数学理论形成的数据挖掘方法， 由于数学理论的特点，此种方法难以处理数据连续属性。具体来讲，在需要获 取信息表的连续属性时，需要采用其他方法进行配合才能准确、全面的得到所 求内容。此种方式局限性较为明显，但同时也具有明显的优点，借助粗集方法 不需要得到额外信息便能进行数据挖掘，可适当简化信息表述度，缩减表达空 间，最后此种方法操作简便，应用难度较低。基于此，粗计算法也在数据挖掘 工作中占据一席之地，受到局部人群青睐。2. 5决策树方法此种方法主要利用决策树来对数据进行描述，此种方法深刻表达了决策树的优 点，例如分类速度快、方法简便、可以支持大量数据

7、处理等，此种方法自从出 现以来，以Quinlan提出的基于信息病的ID3算法影响力最大，在其之后经过 实践探索，Schlimmer和Fisher又在ID3算法的基础上设计了 ID4递增式学习 算法，新设计的ID4算法很好的补充了 ID3算法中的漏洞，使得此种方法应用 效果大幅度提高。2. 6聚类分析方法所谓的聚类分析方法是在进行数据信息挖掘过程中，结合数据类型等特点将其 划分为多个类似组别，然后在对不同组别进行详细分析。此种方法一定程度上 大幅度提高了各组别数据内容之间的关联性。此种方式十分适合应用客户群挖 掘等方面。目前我国的心理学、医学等多个领域广泛应用此种模式挖掘可用信 息。2. 7关联

8、分析自然界中各事物运行具有一定的联系，这一特征可作为数据挖掘的入手点，不 同数据由于分类标准区别会具有千丝万缕的联系，所以可充分借助不同数据之 间的联系判断集合与对象集合之间的因果关系，从而深度探析可能存在的问题 和缺乏，此种方法可用于企业产品优化工作方面，可通过探究商品和消费者之 间的关系，从而催促企业改良产品特性，进而实现效益提升目标。2. 8特征分析方法 特征分析方法主要是从数据库中选出一组数据，并结合此组数据具体内容筛选 出Key,然后以Key代指整组数据进行深入分析，以Key分析结果代指整组数 据的特点。此种方法可有效缩减数据处理时间，并降低工作人员压力，但应用 此种方法时也存在很多

9、缺乏，例如Key选择存在误差，无法代表整体数据，这 会导致数据挖掘的准确度下降。此种方法目前多用于建筑领域，建筑企业借助 特征分析方法结合以往数据从而判断出问题所在，这可为企业开展带来更多助 力。三、数据挖掘技术具体流程3.1合理收集所需信息数据结合数据分析的具体目的，选择最优信息采集方案，并得出数据分析的具体详 细特征，将这些内容准确输入信息库中，做好数据挖掘准备工作。3. 2结合实际进行数据集成信息收集完成后，将不同渠道、不同属性、不同格式以及不同特征的数据进行 整合，结合一定标准实现数据有机结合，从而构建高效的数据共享。3. 3灵活运用数据规约技术企业运营过程中灵活借助数据规约技术可有效

10、缩减数据空间。此技术应用后， 可对企业原始数据的庞大信息数据进行整合，在保证完整的前提下，尽可能缩 减原油数据体量3。3.4 “无用”数据高效清理 数据库中会收录大量的信息数据，这些数据中一局部内容由于多种因素影响具 有“特殊性”，例如数据不完整、数据信息属性存在错误内容、数据信息重复 等，这些信息在数据库汇总不仅不能发挥价值，反而影响数据库正常运作，因 此应采取合适的方法进行数据清理，从而确保数据库中的信息具有“真实”价 值。3. 5合适方法进行数据变换为了方便数据挖掘，需要对数据库中的信息数据格式进行调整，采用合适方法 将数据内容转换成适合数据挖掘技术应用的格式。现今常用的数据转换方式主

11、要有平滑聚集、数据概化、规范化、概念分层及数据离散化等方式实现合理转 换。4. 6结合目标选择分析工具正式开展数据挖掘之前，应结合数据库中的信息数据以及信息挖掘目的选择最 佳分析工具，综合考虑各方面内容，合适选择最适宜的处理方法落实数据挖掘 工作。5. 7模式评估以及信息公示针对某一目标进行数据挖掘后，针对获得的结果不能直接进行应用，需要邀请 具有丰富经验的行业专家进行检验，对得到的数据信息进行科学验证，从而确 保得到的结果真实可靠，具有参考价值。确定数据的真实性后，可将数据挖掘 信息以可视化的方式向群众展示，便于用户应用。也可将这些信息作为新内容 保存于数据库中，方面信息数据进行共享。四、大

12、数据时代的数据挖掘技术应用实践1在科研领域的应用科学研究活动开展过程中，几乎任何成功的科研成果都需要经过多失败的打磨 才能得到，尤其是实验类成果，需要经多大量实验的验证才能得到准确数据， 因此对于科研领域而言，数据具有重要作用。但具体来讲，这些数据包含大部 分内容，有最开始的原始资料数据、失败数据、实验数据等多种内容，这些数 据的处理效果与科研活动成败有紧密联系，此过程中进行的数据处理不仅需要 分析彼此之间的关系也需要进行统计学分析。因此，利用数据挖掘技术可协助 科研人员以科研工程基础数据为参照，然后快速实现需求数据深度挖掘，可大 幅度降低科研人员的工作量，缩短数据分析处理时间4。4. 2在电

13、信领域的应用随着计算机网络飞速开展，电信产业得到迅速开展。电信企业开展过程中需要 以海量数据作为基础，通过分析数据内容才能更为合理地调整服务内容，为客 户带来更优质的服务。利用数据挖掘技术可实现相关数据条理化处理，确保 用户信息得到全面地记录和了解，尽可能规避服务过程中出现意外。因此，合 理利用数据挖掘技术可助力电信企业更为精准地抓住用户需求，为群众带来各 加贴心的服务。4. 3在教育领域的应用现代化教育工作开展过程中，各种先进技术得到大面积应用，对学生情况的掌 握程度也得到大幅度提升。在中学阶段，学生的成绩、在校表现情况等，均包 含在收集信息内容之中。应用数据挖掘技术，可更为准确的理清学生各

14、项素质 情况，通过此种方法，可快速得到结果，为学校教师及管理层的工作提供参 考。4. 4在制造业领域的应用 随着社会开展，我国综合国力得到质的飞跃，人们生活水平大幅度上升，与此 用时，对产品的质量和性能等提出更多要求。制造业领域中，企业想要实现稳 定开展，消费者需求是关键。通过数据挖掘技术科学地对产品数据进行分类整 理，并采用合适的方法进行深度分析，从而得出市场产品的优缺点，以此为依 据合理进行产品优化，这对于制造企业而言有实际意义。4. 5在医疗领域的应用随着人们生活水平地提高，群众对自身健康平安关注度有了显著提高。在此种 背景下，医疗行业得到迅速开展，医疗水平逐渐兴旺，但精确诊断疾病依旧是

15、 难点。通过数据挖掘技术可有效提升疾病监测准确度，帮助医生等快速确定病 人病情，实现高效、准确诊断。此种方式不仅能帮助医生降低不必要的劳动 量，也能提高医疗诊治效率，在有限的时间内帮助更多的病患恢复健康。4. 6在计算机平安领域的应用现阶段，网络技术得到迅速开展，但与此同时网络平安也成为重点问题。越来 越多的不法分子借助网络虚拟性特点隐藏自己，这为群众财产平安带来极大威 胁。借助数据挖掘技术可实现对网络存在隐患的软件等进行筛选和甄别，有效 预防“病毒软件”和“钓鱼网站”威胁，帮助网络民众营造更加平安、和谐的 网络环境。五、结束语 在大数据时代背景下，数据挖掘技术有重要价值，其在多个行业领域得到应 用。结合具体情况来看，合理应用数据挖掘技术成为社会开展必然趋势，积极 探究数据挖掘技术的内涵及应用方法，可为我国社会开展提供坚实助力。参考文献1李玉玲.大数据时代下数据挖掘技术的应用J.计算机与网络，2020, 46 (24) ： 46.2张博.大数据时代的数据挖掘技术与应用J.数字技术与应用，2020, 38 (12) ： 35-37.3郭伟伟，吴文臣，隋亮.大数据时代的数据挖掘技术与应用J.数字技术与应用，2020, 38 (08) ： 103-105.4谢盛嘉.大数据时代背景下数据挖掘技术的应用研究J.计算机产品与流通，2020 (05) ： 128.一全文完一