《非结构化数据挖掘》课程教学大纲.docx

《《非结构化数据挖掘》课程教学大纲.docx》由会员分享，可在线阅读，更多相关《《非结构化数据挖掘》课程教学大纲.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、非结构化数据挖掘课程教学大纲一、课程基本信息课程代码：课程名称：非结构化数据挖掘英文名称：Unstructured data mining课程类别：专业必修课学时：48学分：3适用对象：数据科学与大数据技术考核方式：考试先修课程：Python程序设计，数据结构，算法设计与分析。二、课程简介非结构化数据挖掘是数据科学与大数据技术的专业必修课，它集理论，技术和应 用于一身，不仅是当前计算机，软件工程领域最热门高级前沿应用技术，并且涉及跨 学科领域知识和概率论，数学及算法理论知识，是数据科学与大数据技术专业的核心 理论课程。本课程理论联系实际，学习非结构化数据挖掘理论算法与编程工具，围绕真实案 例学

2、习并掌握相关关键任务和方法。包括主要的数据分析全流程任务：数据探索，数 据预处理，数据可视化展示，数据建模，模型验证与评估，分析结果展示与应用；同 时针对不同的数据分析阶段任务在讲解原理同时，介绍大量当前最新的学术界，业界 研究方法，技术与模型。本课程让学生学以致用，紧跟行业最领先技术水平，同时，面对我国民族企业， 头部公司在大数据领域取得的巨大商业成功与前沿技术成果应用产生强烈民族自豪 感，为国家数字化经济与技术发展努力奋斗，勇攀知识高峰立下志向。Unstructured data mining is a required course for data science and big da

3、ta technology. It integrates theory, technology, and application. It is not only the most popular advanced application technology in the field of computer and software engineering, but also involves interdisciplinary knowledge, probability theory, mathematics, and algorithm theory. It is the core th

4、eoretical course of data science and big data technology major.Starting from the actual combat, this course will introduce the theoretical algorithm and programming tools of unstructured data mining, and introduce the key tasks and methods around real cases. Including the main data analysis tasks: d

5、ata exploration, data preprocessing, data visualization display, data modeling, model validation and evaluation, analysis results display and application; at the same time, according to different data analysis tasks in the stage of explaining the principle, at the same time, introduce a large number

6、 of the latest academic, industry research methods, technologies and models.Let students apply what they have learned and keep up with the most advanced technology level in the industry. At the same time, in the face of Chinas national enterprises, the head companys huge business success and the app

7、lication of cutting-edge technology achievements in the field of big data generate a strong sense of national pride, and strive for the national digital economic and Technological Development and set up the ambition to climb the peak of knowledge bravely.三、课程性质与教学目的非结构化数据挖掘是高级数据处理和分析技术。本课程包括经典数据挖掘的理

8、论 和非结构化数据挖掘的基本方法和案例。本课程是专业必修课，属于高年级专业技术 基础应用课程，注重理论和编程实践及应用结合，强调理论和应用性，同时要把数据 分析技术应用到不同场景和领域，需要跨领域知识，是一门综合性较强，应用类课程。通过本课程学习，使学生掌握非结构化数据分析和挖掘方法的思想和基本原理， 并能熟练使用Python语言实现主流的数据挖掘算法。能够运用最先进的计算机信息 技术，即基于数学原理，算法理论的数据分析和挖掘技术去应用到祖国经济政治建设 方方面面，从海量的历史和现实大量社会、经济、生产、生活数据中分析，挖掘出有 价值的知识与规律，为进一步提升全社会信息化，数字化，智能化水平，

9、创造更多新 的信息化智能化产品和系统，造福人类共同命运体而奠定技术基础和储备。四、教学内容及要求第一部分：数据挖掘基础第一章数据挖掘引言（-）目的与要求掌握数据挖掘的概念，了解基本的数据挖掘分析步骤和方法。（二）教学内容数据挖掘产生的背景，定义和基本流程。数据挖掘的主要方法。数据挖掘的应 用场景与案例。（三）思考与实践掌握数据挖掘主要概念，流程和方法，并与现实应用场景相联系，找到可能的 数据挖掘问题和应用场景。（四）教学方法与手段课堂讲授为主，结合网络课程辅助，课堂讨论，调查研究和案例讨论等手段提高教学效果。课程思政：在课堂上，给学生灌输全国形势一片大好，鼓励广大学子努力学习, 报效祖国。第二

10、章认识数据（一）目的与要求介绍数据探索的背景和概念，掌握数据探索的主要方法和步骤。（二）教学内容数据对象与属性类型，数据基本统计描述方法，数据可视化方法，数据相似性和 相异性度量方法。（三）思考与实践会利用Python等编程工具进行数据探索，包括数据统计描述，可视化展示，相 似性与相异性度量实现。（四）教学方法与手段课堂讲授为主，结合网络课程辅助，课堂讨论，编程实践等手段提高教学 效果。第三章数据预处理（一）目的与要求掌握数据预处理的主要方法。（二）教学内容数据预处理的基本思想和数据规范化，数据离散化，数据清洗，特征提取与特征 选择。（三）思考与实践会利用python等工具进行数据清洗，离散化

11、，规范化，特征提取等数据预处理 工作，为数据分析与挖掘做好高质量数据准备。（四）教学方法与手段课堂讲授为主，结合网络课程辅助，课堂讨论，编程实践等手段提高教学效果。课程思政：重点介绍华裔著名学者韩家炜在这一领域的卓越贡献。鼓励广大学子 进行钻研和探索。第四章文本挖掘现状（-）目的与要求了解文本挖掘研究背景、意义及国内外研究现状，掌握文本挖掘的概念，了解 文本挖掘主要研究领域，了解文本挖掘在制药企业应用案例。（二）教学内容文本挖掘研究背景及意义，文本挖掘的国内外研究现状，文本挖掘概述，文本挖掘的过程，文本挖掘在制药企业应用案例（三）思考与实践思考文本挖掘与传统数据挖掘的区别与联系。（四）教学方法

12、与手段课堂讲授为主，结合网络课程辅助，课堂讨论，编程实践等手段提高教学效果。第五章文本切分及特征词选择（一）目的与要求掌握文本数据采集的常用方法、了解中文语料库与词典，熟练掌握文本切分和 文本特征词选择的方法，熟练掌握Python Jieba分词模块及其用法。（二）教学内容文本数据采集，语料库与词典简介，文本切分，文本特征词选择，Python Jieba 分词模块及其用法（三）思考与实践1 .用Python实现双向最大匹配的算法。2 .利用jieba进行一段中文文本的三种模式的分词。（四）教学方法与手段课堂讲授为主，结合网络课程辅助，课堂讨论，编程实践，调查研究，案例分析 等手段提高教学效果。

13、第六章文本表示模型（一）目的与要求熟练掌握文本预处理的常用方法、掌握向量模型、概率模型和主题概率模型的概 念及Python的实现。（二）教学内容文本预处理，向量空间模型，概率模型，主题概率模型（三）思考与实践1给出一段中文文本，利用Python的re. split （）函数，分隔所有短句。2给出一段中文文本，去除停用词，完成操作后将结果读出来。（四）教学方法与手段课堂讲授为主，结合网络课程辅助，课堂讨论，编程实践，调查研究，案例分析, 分组讨论等手段提高教学效果。第七章文本分类（一）目的与要求了解文本分类意义、国内外研究现状与发展趋势，掌握文本分类的定义，熟练掌握文本分类的流程和文本分类预处理

14、。掌握典型的常用文本分类器，了解分类模型的 性能评估。（二）教学内容文本分类概述，常用文本分类器，分类模型的性能评估（三）思考与实践1给定有类别标注的文本向量集，参考例4.2,对于一组待分类的文本，判断分 别属于哪一类。2利用Python编程，对给定相关数据验证SVM算法。3 Python编程，利用朴素贝叶斯分类器实现垃圾邮件过滤。4给定相关数据，利用Python编程，验证ID3和C4.5算法。（四）教学方法与手段课堂讲授为主，结合网络课程辅助，课堂讨论，编程实践，调查研究，案例分析, 分组讨论等手段提高教学效果。第八章文本聚类（一、）目的与要求了解文本聚类意义、国内外研究现状与发展趋势，掌握

15、文本聚类的定义，熟练掌 握文本聚类的流程和文本聚类预处理。掌握典型的常用文本聚类器，了解聚类模型的 性能评估。（二）教学内容文本聚类概述，文本聚类原理与方法和文本聚类评估（三）思考与实践1描述基于划分的聚类方法，并分别验证例5. 1和例5. 2中的k-iiieans、k-medoids 聚类。2描述基于层次的聚类方法。验证例5. 6中AGNES算法。3参照例5.9 ,给定一组文档集的向量，利用python实现DBSCAN算法。（四）教学方法与手段课堂讲授为主，结合网络课程辅助，课堂讨论，编程实践，调查研究，案例分 析，分组讨论等手段提高教学效果。课程思政：讲述我国学者在数据挖掘领域的研究进展，

16、增强广大师生的民族自 尊心和自豪感。第九章文本关联分析（一）目的与要求了解文本关联规则基本概念和意义，掌握关联规则分类和关联规则挖掘算法，熟 练掌握Apriori算法，了解FP-Growth算法。（二）教学内容文本关联规则以及常见关联规则挖掘算法（三）思考与实践1简述研究文本关联规则的意义。2根据例6. 1,理解Apriori算法的步骤。（四）教学方法与手段课堂讲授为主，结合网络课程辅助，课堂讨论，编程实践，调查研究，案例分析, 分组讨论等手段提高教学效果。课程思政：重点介绍华裔著名学者韩家炜在这一领域的卓越贡献。鼓励广大学子 进行钻研和探索。增强民族自信心，自尊心和自豪感。第十章Python

17、处理文本数据简单应用（一）目的与要求掌握文本集的情感分析、关键词和摘要自动生成的Python实现，掌握使用 SnowNLP进行商品评价的Python实现，掌握利用Python生成“词云”。（二）教学内容情感分析，自动生成关键词和摘要，使用SnowNLP进行商品评价，生成“词（三）思考与实践1利用TextRank算法的python算法仿照例7. 3实现，创建中文文本文件，利 用 TextRank4Keyword 将文本拆分成 4 种格式：sentences words_no_f ilter words_no_stop_words 和 words_all_f iIters02创建中受文本文件，参照

18、例7. 4和例7. 5生成关键字和摘要。3输入一段中文文本，利用7. 3. 1中的样例，验证SnowNLP的主要功能。（四）教学方法与手段课堂讲授为主，结合网络课程辅助，课堂讨论，编程实践，调查研究，案例分析, 分组讨论等手段提高教学效果。五、各教学环节学时分配教学环节二教学时数课程内容讲、课习 题 课讨 论 课实验实习其他 教学 环节小计第一章数据挖掘引言22第二章认识数据22第三章数据预处理424第四章文本挖掘现状22第五章文本切分及特征词选 择426第六章文本表示模型44第七章文本分类628第八章文本聚类628第九章文本关联分析224第十章Python处理文本数 据简单应用224总复习2

19、2合计361248六、推荐教材和教学参考资源推荐教材：L文本数据挖掘与Python应用，刘金岭，钱升华，清华大学出版社，2021.3参考书目：1 .数据挖掘：概念与技术(第三版)，韩家炜，机械工业出版社，2012.62 . Python数据分析与挖掘实践(第二版)，张良均，机械工业出版社，2019.33 .网站数据挖掘与分析：系统方法与商业实践，宋天龙，机械工业出版社，2015.24 .社交网站的数据挖掘与分析美马修A.罗素(Matthew A. Russell)米哈伊尔克 拉森(Mikhail Klassen)著 苏统华 译 机械工业出版社 2021.3 七、 其他说明无。大纲修订人：蔺聪 大纲审定人：修订日期：2022-08-22 审定日期：