小晨精品04_流式计算基础_第1天(流式计算案列-实时业务数据计算)(优秀).pdf

《小晨精品04_流式计算基础_第1天(流式计算案列-实时业务数据计算)(优秀).pdf》由会员分享，可在线阅读，更多相关《小晨精品04_流式计算基础_第1天(流式计算案列-实时业务数据计算)(优秀).pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、课程介绍课程介绍课程名称：Storm 实时交易金额计算课程目标：通过本模块的学习，能够掌握流式计算的基本开发流程，将 Kafka+Storm+Redis 三门技术集成运用；掌握如何根据业务需求开发一个Storm 程序。课程大纲：1、业务背景介绍2、业务需求分析3、架构设计4、功能分析之数据准备5、功能分析之数据计算6、功能分析之数据展示7、工程设计8、代码开发9、结果展示课程内容课程内容1 1、业务背景、业务背景根据订单 mq，快速计算双 11 当天的订单量、销售金额。2 2、架构设计及思路、架构设计及思路支付系统+kafka+storm/Jstorm集群+redis 集群1、支付系统发送 m

2、q 到 kafka 集群中，编写 storm 程序消费 kafka 的数据并计算实时的订单数量、订单数量2、将计算的实时结果保存在redis 中3、外部程序访问 redis 进群中的数据实时展示结果3 3、数据准备、数据准备订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额4 4、业务口径、业务口径订单总数：一条支付信息当一条订单处理，假设订单信息不会重发（实际情况要考虑订单去重的情况，父子订单等多种情况），计算接收到 MQ 的总条数，即当做订单数。销售额：累加所有的订单中商品的价格支付金额：累加所有订单中商品的支付价格用户人数：一条支付信息当一个人处理，

3、假设订单一个人只下一单（实际情况要考虑用户去重的情况）。整体淘宝的业务指标，每个品类，每个产品线，每个淘宝店5 5、数据展示、数据展示读取 redis 中的数据，每秒进行展示，打印在控制台。6 6、工程设计、工程设计数据产生：编写 kafka 数据生产者，模拟订单系统发送 mq数据输入：使用 PaymentSpout 消费 kafka 中的数据数据计算：使用 CountBolt 对数据进行统计数据存储：使用 Sava2RedisBolt 对数据进行存储，将结果数据存储到 redis 中数据展示：编写 java app 客户端，访问 redis，对数据进行展示，展示方式为打印在控制台。1、获取外

4、部数据源，MQSpout-Open(连接你的 RMQ)-nextTuple()-emit（json）2、ParserPaymentInfoBolt()-execute(Tuple)-解析 Json-JavaBeanproductId,orderId,time,price（原价，订单价，优惠价，支付价），user，收货地址total：原价、total：订单价、total：订单人数3、Save2ReidsBolt，保存相关业务指标b:t:p:20160410b:t:p:20161111b:t:p:20160412问题：在 redis 中存放整个网站销售的原价，b:t:p:20160410-valueredis:String-value1+value2+value3+value4incrBy7 7、代码开发、代码开发