Sqoop数据交换工具ppt课件.ppt

在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确Hadoop大数据解决方案大数据解决方案进阶应用用HadoopSqoop数据交换工具数据交换工具 在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确q Sqoop介绍q Sqoop1 vs Sqoop2课程目标课程目标在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确SqoopSqoop产生背景产生背景q多数使用 Hadoop 技术处理大数据业务的企业有大量的数据存储在传统的关系型数据库(RDBMS)中q由于缺乏工具的支持，对Hadoop 和 传统数据库系统中的数据进行相互传输是一件十分困难的事情传统数据库数据导入Hadoop，便于廉价处理和分析Hadoop数据导入传统数据库，可利用强大的SQL进一步分析和展示q急需一个在 RDBMS 与 Hadoop 之间进行数据传输的项目在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确SqoopSqoop是什么是什么qSqoop：SQL-to-Hadoopq连接传统关系型数据库和Hadoop的桥梁把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中把数据从Hadoop系统里抽取并导出到关系型数据库里q利用MapReduce加快数据传输速度q批处理方式进行数据传输在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确SqoopSqoop是什么是什么在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确为什么选择为什么选择SqoopSqoopq高效、可控地利用资源任务并行度，超时时间等q数据类型映射与转换可自动进行，用户也可自定义q支持多种数据库MySQLOraclePostgreSQL在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确Sqoop1Sqoop1与与Sqoop2Sqoop2q两个不同版本，完全不兼容q版本号划分方式Apache：1.4.x，1.99.xCDH：sqoop-1.4.3-cdh4,sqoop2-1.99.2-cdh4.5.0/qSqoop2比Sqoop1的改进引入sqoop server，集中化管理Connector等多种访问方式：CLI，Web UI，REST API引入基于角色的安全机制在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确Sqoop1Sqoop1架构架构在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确Sqoop1Sqoop1存在的问题存在的问题q基于命令行的操作方式易于出错，且不安全q数据传输和数据格式是紧耦合的，这使得connector无法支持所有数据格式q安全密钥是暴露出来的，非常不安全传统数据库的用户名和密码等qConnector必须符合JDBC模型，并使用通用的JDBC词汇比如URL,database,table等在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确Sqoop1Sqoop1下载安装下载安装q下载：http:/ importimport介绍介绍q将数据从关系型数据库导入Hadoop中在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确将数据从将数据从mysqlmysql导入导入HDFSHDFSq执行sqoop importq查看hdfs结果在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确将数据从将数据从mysqlmysql导入导入HDFS-HDFS-指定指定HDFSHDFS目录目录q使用target-dir参数q使用warehouse-dir参数