数据采集与预处理-第6章-数据仓库中的数据集成.ppt

《数据采集与预处理-第6章-数据仓库中的数据集成.ppt》由会员分享，可在线阅读，更多相关《数据采集与预处理-第6章-数据仓库中的数据集成.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据采集与预处理 厦门大学计算机科学与技术系 林子雨 厦门大学计算机科学与技术系 2022版林子雨林子雨 副教授副教授厦门大学计算机科学系厦门大学计算机科学系E-mail: 主页：主页：http:/ 数据仓库中的数据集成数据仓库中的数据集成（PPT版本号：版本号：2022年年1月月版本）版本） 数据采集与预处理数据采集与预处理教材官网： http:/ 厦门大学计算机科学与技术系 林子雨 提纲6.1 数据仓库概念6.2 数据集成6.3 ETL6.4 CDC本PPT是以下教材的配套讲义林子雨编著数据采集与预处理人民邮电出版社教材官网：http:/ 厦门大学计算机科学与技术系 林子雨 6.1 数据仓

2、库概念6.1.1 传统的数据仓库6.1.2实时主动数据仓库本PPT是以下教材的配套讲义林子雨编著数据采集与预处理人民邮电出版社教材官网：http:/ 厦门大学计算机科学与技术系 林子雨 6.1.1 传统的数据仓库数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策：（1）面向主题。（2）集成。（3）相对稳定。（4）反映历史变化。综上所述，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库是为捕获数据而设计，数据仓库是为分析数据而设计。数据采集与预处理 厦门大学计算机

3、科学与技术系 林子雨 6.1.1 传统的数据仓库如图6-1所示，一个典型的数据仓库系统通常包含数据源、数据存储和管理、OLAP服务器、前端工具和应用等四个部分。图6-1 数据仓库体系架构图数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.1.2实时主动数据仓库实时主动数据仓库是一个集成的信息存储仓库，既具备批量和周期性的数据加载能力（采用ETL技术），也具备数据变化的实时探测、传播和加载能力（采用CDC技术），并能结合历史数据和新颖数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策的双重支持。图6-2 实时主动数据仓库的体系结构数据采集与预处理 厦门大学计算机科学与技术系 林

4、子雨 6.2数据集成6.2.1数据集成方式6.2.2数据分发方式6.2.3数据集成技术数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.2.1数据集成方式实时主动数据仓库中，数据集成方式包括：（1）数据整合（）数据整合（Data Consolidation）（2）数据联邦（）数据联邦（Data Federation）（3）数据传播（）数据传播（Data Propagation）（4）混合方式（混合方式（Hybrid Approach）数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.2.2数据分发方式数据分发是数据集成过程的一个重要组成部分。目前，大致存在如下几种数据分发方式：

5、推(push)和拉(pull)；周期和非周期；一对一和一对多。表表6-1 不同数据分发方式的组合推推拉拉周期周期非周期非周期一对一一对一一对多一对多数据分发选择数据分发选择拉拉非周期一对一请求/响应一对多请求/探测式响应周期一对一轮询一对多探测式轮询推推非周期一对一-一对多发布/订阅周期一对一发送电子邮件一对多电子邮件列表数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.2.3数据集成技术有多种技术可以为实时主动数据仓库提供数据集成服务，比如脚本、ETL、EAI和CDC。但是，只有部分技术能提供实时(连续)的数据集成，具体如下：（1）脚本。脚本是数据集成的一种快速解决方案，其优点是，使

6、用灵活且比较经济，很容易着手开发和进行修改，几乎任何操作系统和绝大部分DBMS都可以使用脚本。但是，使用脚本也有很多问题，比如，耗费开发者的时间和精力，不好管理和操作，以及不能满足服务水平协议（SLA：Service-Level Agreements）等等。（2）ETL。ETL是实现大规模数据初步加载的理想解决方案，它提供了高级的转换能力。ETL任务通常都是在“维护时间窗口”进行，在ETL任务执行期间，数据源默认不会发生变化，这就使得用户不必担忧ETL任务开销对数据源的影响，但同时也意味着，对于商务用户而言，数据和应用并非任何时候都是可用的。数据采集与预处理 厦门大学计算机科学与技术系 林子雨

7、 6.2.3数据集成技术（3）EAI。原先为应用集成而设计的EAI解决方案渐渐地演化成为实时数据获取和集成的解决方案。EAI解决方案通常和ETL解决方案并存，从而增强ETL的功能。EAI解决方案在源系统和目标系统之间进行连续的数据分发，并且保证数据的成功分发，同时提供高级的工作流支持和基本的数据转换。但是，EAI受到数据量的限制，因为EAI的初衷是为了实现应用的集成而不是数据的集成，即它是用来调用应用或者分发命令和消息的。然而，由于EAI具有在数据集成过程中实时分发数据和维护数据一致性的特性，所以也就能够提供实时数据获取的能力，而这种能力正是实时主动数据仓库所需要的。（4）CDC。CDC（Ch

8、ange Data Capture）提供了连续变化数据的捕捉和分发能力，并且只需要很低的开销和时间延迟。CDC在提交的数据事务上进行操作，从OLTP系统中捕获变化的数据，再进行基本的转换，最后把数据发送到数据仓库中。虽然在体系结构上，CDC属于异步的，但它表现出类似同步的行为，数据延迟只有不到1秒的时间，同时能够维护数据事务的一致性。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.2.3数据集成技术表6-2显示了不同数据集成技术的比较。选择技术的标准应该着重参考以下几个方面的因素：数据质量、频率、可接受的延迟、数据集成、转换需求和处理开销。表表6-2 不同数据集成技术的比较属性属性脚

9、本脚本ETLETLEAIEAICDCCDC数据量数据量中等很高低高频率频率间歇性间歇性连续性连续性延迟延迟中到高中到高低低数据集成数据集成无无保证保证转换转换中度高级基本基本处理开销处理开销高高中等低数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3 ETL6.3.1 ETL简介6.3.2 ETL基本模块6.3.3 ETL模式6.3.4 ETL工具数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.1 ETL简介ETL是将业务系统的数据经过抽取（Extract）、清洗转换（Transform）之后加载（Load）到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据

10、整合到一起，为企业的决策提供分析依据。ETL是实现大规模数据初步加载的理想解决方案，它提供了高级的转换能力。ETL任务通常都是在“维护时间窗口”进行，在ETL任务执行期间，数据源默认不会发生变化，这就使得用户不必担忧ETL任务开销对数据源的影响，但同时也意味着，对于商务用户而言，数据和应用并非任何时候都是可用的。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.1 ETL简介早期的ETL解决方案通常以固定的周期运行批处理工作，从平面文件和关系数据库中捕捉数据，并把这些数据整合到数据仓库中。最近这几年，商业ETL工具供应商已经对产品做了很大的改进，对产品功能进行了扩展，具体如下：（1

11、）额外的数据源（2）额外的目标（3）改进的数据转换功能（4）更好的管理（5）更好的性能（6）改进的可用性（7）增强的安全性（8）支持基于数据联邦的数据集成方法数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.2 ETL基本模块ETL处理分为三大模块，分别是数据抽取、数据清洗与转换、数据加载。各模块可灵活进行组合，形成ETL处理流程（如图6-3所示）。图6-3 ETL过程数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.3 ETL模式ETL主要有四种实现模式：触发器模式增量字段全量同步日志比对数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.3 ETL模式1.

12、 触发器模式触发器模式触发器模式是普遍采取的一种增量抽取机制。该方式是根据抽取要求，在要被抽取的源表上建立插入、修改、删除3个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个增量日志表，ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据，同时，增量日志表中抽取过的数据要及时被标记或删除。为了简单起见，增量日志表一般不存储增量数据的所有字段信息，而只是存储源表名称、更新的关键字值和更新操作类型(insert、update或delete)，ETL增量抽取进程首先根据源表名称和更新的关键字值，从源表中提取对应的完整记录，再根据更新操作类型，对目标表进行相应的处理。这种

13、模式的优点是数据抽取的性能高，ETL加载规则简单，速度快，不需要修改业务系统表结构，可以实现数据的递增加载。缺点是要求业务表建立触发器，对业务系统有一定的影响，容易对源数据库构成威胁。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.3 ETL模式2.增量字段增量字段 采用增量字段方式捕获变化数据的原理是，在源系统业务表数据表中增加增量字段，增量字段可以是时间字段，同时也可以是自增长字段，当源业务系统中数据新增或者被修改时，增量字段就会产生变化，时间戳字段就会被修改为相应的系统时间，自增长字段就会增加。每当ETL工具进行增量数据获取时，只需比对最近一次数据抽取的增量字段值，就能判断

14、出来哪些是新增数据，哪些是修改数据。这种数据抽取方式的优点就是抽取性能比较高，判断过程比较简单，ETL系统设计清晰，源数据抽取相对清楚简单，可以实现数据的递增加载。最大的局限性就是由于某些数据库在进行设计的时候，未考虑到增量字段，需要对业务系统进行改造，基于数据库其他方面的原因，还有可能出现漏数据的情况。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.3 ETL模式3. 全量同步全量同步全量同步又叫“全表删除插入方式”，是指每次抽取前先删除目标表数据，抽取时全新加载数据。该方式实际上将增量抽取等同于全量抽取。对于数据量不大，全量抽取的时间代价小于执行增量抽取的算法和条件代价时，可

15、以采用该方式。这种方式的优点是对已有系统表结构不产生影响，不需要修改业务操作程序，所有抽取规则由ETL完成，管理维护统一，可以实现数据的递增加载，没有风险。缺点是ETL比对较复杂，设计较为复杂，速度较慢。与触发器和时间戳方式中的主动通知不同，全表比对方式是被动的进行全表数据的比对，性能较差。当表中没有主键或唯一列且含有重复记录时，全表比对方式的准确性较差。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.3 ETL模式4. 日志比对日志比对日志比对的方式是通过获取数据库层面的日志来捕获到变化的数据，不需要改变源业务系统数据库相关表结构，数据同步的效率比较高，同步的及时性也比较快，最

16、大的问题就是不同数据库的日志文件结构存在较大的差异性，实施分析起来难度比较大，同时，需要具备访问源业务库日志表文件的权限，存在一定的风险性，所以这种方式有很大的局限性。日志比对方式中比较成熟的技术是CDC(Change Data Capture)技术，作用同样是能够捕获到上一次抽取之后产生的相关变化数据，当CDC对源业务表进行新增、更新和删除等相关操作的时就可以捕获到相关变化的数据，相对于增量字段方式，CDC方式能够较好地捕获到删除数据，并写入相关数据库日志表，然后再通过视图或者别的某种可操作的方式将捕获到的变化同步到数据仓库当中去。这种方式的优点是ETL同步效率较高，不需要修改业务系统表结构

17、，可以实现数据的递增加载。缺点是业务系统数据库版本与产品不统一，难以统一实现，实现过程相对复杂，并且需深入研究方能实现。这种方式也通过第三方工具实现，但是，一般都是商业软件，费用较高。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.3 ETL模式5.四种模式的比较四种模式的比较ETL模式兼容性完备性 抽取性能源库压力源库改动量实现难度触发器模式关系型数据库高优高高容易增量字段关系型数据库具有”字段”结构的其它数据格式低较优低高容易全表同步任何数据格式高极差中无容易日志比对关系型数据库高较优中中难数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.4 ETL工具ETL是企

18、业数据仓库构建过程中的一个核心步骤，我们可以借助于ETL工具来高效地完成数据抽取、转换和加载工作。之所以需要ETL工具，主要有以下几个原因：（1）当数据来自不同的物理主机，这时候如果使用SQL语句去处理的话，就显得比较吃力且开销也更大；（2）数据来源可以是各种不同的数据库或者文件，这时候需要先把它们整理成统一的格式后才可以进行数据的处理，这一过程用代码实现显然有些麻烦；（3）在数据库中我们当然可以使用存储过程去处理数据，但是，处理海量数据的时候，存储过程显然比较吃力，而且会占用较多数据库的资源，这可能会导致数据库资源不足，进而影响数据库的性能。数据采集与预处理 厦门大学计算机科学与技术系 林子

19、雨 6.3.4 ETL工具在选择ETL工具时主要考虑如下因素：对平台的支持程度；抽取和装载的性能是不是较高，且对业务系统的性能影响大不大，侵入性高不高；对数据源的支持程度；是否具有良好的集成性和开放性；数据转换和加工的功能强不强；是否具有管理和调度的功能。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.3.4 ETL工具目前，市场上主流的ETL工具主要包括：（1）Kettle（2）DataPipeline（3）Talend（4）Informatica（5）Datax（6）Oracle Goldengate数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.4 CDC6.4.1特

20、性6.4.2组成6.4.3具体应用场景6.4.4需要考虑的问题数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.4.1特性CDC具有以下三个特性：（1） 没有宕机时间。没有宕机时间。（2）保持数据新颖性。保持数据新颖性。（3）减少系统开销。减少系统开销。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.4.2组成CDC解决方案包括变化捕捉代理、变化数据服务和变化分发机制三个组成部分。（1）变化捕捉代理。变化捕捉代理是一个软件组件，它负责确定和捕捉发生在操作型数据存储源系统中的数据变化。可以对变化捕捉代理进行专门优化，使它适用于特定的源系统，比如使用数据库触发器；也可以使用通用的

21、方法，比如数据日志比较。（2）变化数据服务。变化数据服务为变化数据捕捉的成功实现提供了一系列重要的功能，包括过滤、排序、附加数据、生命周期管理和审计等。表6-4给出了每个功能的解释。表表6-4 功能及其解释功能功能解释解释过滤确保只接收已经提交的数据排序接收数据时基于事务、表或时间戳进行排序附加数据为分发的变化增加一些参考数据以便于对数据进行进一步的处理生命周期管理在多长时间内应用可以得到变化的数据；多长时间以后丢弃所分发的数据审计允许对系统的端到端行为的监听和对趋势的检查数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.4.2组成（3）变化分发机制。变化分发机制负责把变化分发到变化的

22、消费者（通常是ETL程序）那里。变化分发机制可以支持一个或多个消费者，并且提供了灵活的数据分发方式，包括推(push)或拉(pull)的方式。Pull方式需要消费者周期性地发送请求，通常采用标准接口实现，比如ODBC或JDBC。Push方式需要消费者一直监听和等待变化的发生，一旦捕捉到变化，就立刻转移变化的数据，通常采用消息中间件来实现。变化分发机制的另一个重要功能就是提供动态返回和请求旧的变化的能力，从而满足重复处理和恢复处理等任务。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.4.3具体应用场景变化数据捕捉技术有两个典型的应用场景：面向批处理的CDC（pull CDC）和面向实

23、时的CDC（push CDC）。1.面向批处理的面向批处理的CDC在这种场景中，ETL工具周期性地请求变化，每次都接收批量数据，这些批量数据是在上次请求和这次请求之间所捕捉到的变化。变化分发请求可以采取不同的频度，比如一天两次或每隔15分钟1次。对于许多组织而言，提供变化数据的一种比较好的方式是以数据表的记录的形式表示。这种方式可以使ETL工具通过标准接口（比如ODBC）的方式无缝地访问变化数据。CDC则需要维护上次变化分发的位置和分发新的变化。这种应用场景和传统的ETL很相似，不同的是，pull CDC只需要转移变化的数据，并不需要转移所有的数据，这就极大地减少了资源消耗，也消除了传统ETL

24、过程的宕机时间。面向批处理的CDC技术简单，很容易实现，因为它和传统的ETL很相似，并且使用现有的技术。当企业对时间延迟以分钟或小时来进行衡量时，采取这种方式比较可行。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.4.3具体应用场景2.面向实时的面向实时的CDC这种场景满足零延迟的要求，变化分发机制一旦探测到变化，就把变化push给ETL程序，这通常是通过可靠的传输机制来实现的，比如事件分发机制和消息中间件（如MQ Series）。虽然面向消息和面向事件的集成方法在EAI产品中更为常见，但现在，已经有很多ETL工具厂商在他们的解决方案中提供这种功能，以满足高端、实时的商务应用需求。

25、当BI应用需要零延迟和最新的数据时，这种实时的数据集成方法就是必须的。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.4.4需要考虑的问题很显然，CDC技术提供了诸多好处，但也有几个值得思考的问题，具体如下：（1）变化捕捉方法。（2）对操作型系统的入侵程度。（3）捕捉延迟。（4）过滤和排序服务。（5）支持多个消费者。（5）失败和恢复。（7）主机和遗产数据源。（8）和ETL工具的无缝集成。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 6.5 本章小结数据集成为分散在企业不同地方的商务数据提供了一个统一的视图。我们可以使用不同的技术来构建这个统一视图。这个统一视图可以是一个物理数

26、据视图，其中的数据来自多个分散的数据源，并被整合存储到一个集成的数据存储中，比如数据仓库。或者，统一视图也可以是一个虚拟数据视图，其中的数据分散在多个数据源中，而不是集中存储在一个地方，只有当需要使用这些数据的时候，才临时把它们从多个数据源中抽取出来，并加以适当处理后，提交给数据请求者。本章内容介绍了数据集成的概念和技术，并重点介绍了两种代表性的数据集成技术，即ETL和CDC。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 附录A：主讲教师林子雨简介单位：厦门大学计算机科学与技术系E-mail: 个人网页：http:/ 厦门大学计算机科学与技术系 林子雨 附录B：大数据学习路线图大数据学

27、习路线图访问地址：http:/ 厦门大学计算机科学与技术系 林子雨 附录C：林子雨大数据系列教材了解全部教材信息：http:/ 厦门大学计算机科学与技术系 林子雨 附录D：大数据导论（通识课版）教材本课程旨在实现以下几个培养目标：p引导学生步入大数据时代，积极投身大数据的变革浪潮之中p了解大数据概念，培养大数据思维，养成数据安全意识p认识大数据伦理，努力使自己的行为符合大数据伦理规范要求p熟悉大数据应用，探寻大数据与自己专业的应用结合点p激发学生基于大数据的创新创业热情教材官网：http:/ ISBN:978-7-04-053577-8 定价：32元 版次：2020年2月第1版数据采集与预处理

28、 厦门大学计算机科学与技术系 林子雨 附录E：大数据导论教材 林子雨 编著大数据导论 人民邮电出版社，2020年9月第1版 ISBN:978-7-115-54446-9 定价：49.80元教材官网：http:/ 厦门大学计算机科学与技术系 林子雨 附录F：大数据技术原理与应用（第3版）教材欢迎访问大数据技术原理与应用概念、存储、处理、分析与应用教材官方网站：http:/ ISBN:978-7-115-54405-6 定价：59.80元全书共有17章，系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据 库HBase、NoSQL数据库、云数据库、分布式并行

29、编程模型MapReduce、Spark、流计算、Flink、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark和Flink等重要章节，安排了入门级的实践操作，让读者更好地学习和掌握大数据关键技术。本书可以作为高等院校计算机专业、信息管理等相关专业的大数据课程教材，也可供相关技术人员参考、学习、培训之用。数据采集与预处理 厦门大学计算机科学与技术系 林子雨 附录G：大数据基础编程、实验和案例教程（第2版）本书是与大数据技术原理与应用（第3版）教材配套的唯一指定实验指导书步步引导，循序渐进，详尽的安装指南为顺利

30、搭建大数据实验环境铺平道路深入浅出，去粗取精，丰富的代码实例帮助快速掌握大数据基础编程方法精心设计，巧妙融合，八套大数据实验题目促进理论与编程知识的消化和吸收结合理论，联系实际，大数据课程综合实验案例精彩呈现大数据分析全流程林子雨编著大数据基础编程、实验和案例教程（第2版）清华大学出版社 ISBN:978-7-302-55977-1 定价：69元 2020年10月第2版数据采集与预处理 厦门大学计算机科学与技术系 林子雨 附录H：Spark编程基础（Scala版）Spark编程基础（编程基础（Scala版）版）厦门大学 林子雨，赖永炫，陶继平 编著披荆斩棘，在大数据丛林中开辟学习捷径填沟削坎，

31、为快速学习Spark技术铺平道路深入浅出，有效降低Spark技术学习门槛资源全面，构建全方位一站式在线服务体系本书以Scala作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。人

32、民邮电出版社出版发行，人民邮电出版社出版发行，ISBN:978-7-115-48816-9教材官网：教材官网：http:/ 厦门大学计算机科学与技术系 林子雨 附录I：Spark编程基础（Python版）Spark编程基础（编程基础（Python版）版）厦门大学 林子雨，郑海山，赖永炫 编著披荆斩棘，在大数据丛林中开辟学习捷径填沟削坎，为快速学习Spark技术铺平道路深入浅出，有效降低Spark技术学习门槛资源全面，构建全方位一站式在线服务体系本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Spark的设计与运行原

33、理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Structured Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、上机实验指南等。人民邮电出版社出版发行，人民邮电出版社出版发行，ISBN:978-7-115-52439-3教材官网：教材官网： http:/ 厦门大学计算机科学与技术系 林子雨 附录J：高校大数据课程公共服务平台扫一扫访问平台主页http:/ 厦门大学计算机科学与

34、技术系 林子雨 附录K：高校大数据实训课程系列案例教材扫一扫访问大数据实训课程系列案例教材主页为了更好满足高校开设大数据实训课程的教材需求，厦门大学数据库实验室林子雨老师团队联合企业共同开发了高校大数据实训课程系列案例，目前已经完成开发的系列案例包括：电影推荐系统（已经于2019年5月出版）电信用户行为分析 （已经于2019年5月出版）实时日志流处理分析微博用户情感分析互联网广告预测分析网站日志处理分析系列案例教材将于2019年陆续出版发行，教材相关信息，敬请关注网页后续更新！http:/ 厦门大学计算机科学与技术系 林子雨 Department of Computer Science, Xiamen University, 2022