基于Spark的机器学习资料22、kafka集群安装以及测试.pdf
-
资源ID：73690316
资源大小：93.87KB
全文页数：2页
- 资源格式： PDF
下载积分：11.9金币
快捷下载
会员登录下载
微信登录下载
三方登录下载：
微信扫一扫登录
|
友情提示
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。
5、试题试卷类文档，如果标题没有明确说明有答案则都视为没有答案，请知晓。
|
基于Spark的机器学习资料22、kafka集群安装以及测试.pdf
Kafka 安装 一、利用安装 zookeeper 的三台服务器做 KAFKA 集群。服务器 IP 地址 端口 服务器 1 10.211.55.7 9092 服务器 2 10.211.55.8 9092 服务器 3 10.211.55.9 9092 1.1 下载 kafka_2.9.2-0.8.1 下载地址：https:/archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz 分别在三台服务器创建kafka目录并且下载kafka压缩包#mkdir/usr/local/kafka#tar zxvf kafka_2.9.2-0.8.1.tar.gz 1.2 创建log文件夹#mkdir/usr/local/kafka/kafkalogs 1.3 配置kafka#cd/usr/local/kafka/kafka_2.9.2-0.8.1/config#vi server.properties 修改项如下：broker.id=0 /当前机器在集群中的唯一标识 port=9092 /kafka对外提供服务的tcp端口 host.name=10.211.55.7 /主机IP地址 log.dirs=/usr/local/kafka/kafkalogs /log 存放目录 message.max.byte=5048576 /kafka 一条消息容纳的消息最大为多少 default.replication.factor=2 /每个分区默认副本数量 replica.fetch.max.bytes=5048576 zookeeper.connect=10.211.55.7:2181,10.211.55.8:2181,10.211.55.9:2181 4.4 启动kafka#./kafka-server-start.sh -daemon./config/server.properties /后台启动运行 4.5 问题解决 rootmaster#/export/kafka/bin/kafka-console-producer.sh -broker-list 10.14.2.201:9092,10.14.2.202:9092,10.14.2.203:9092,10.14.2.204:9092 -topic test SLF4J:Failed to load class org.slf4j.impl.StaticLoggerBinder.SLF4J:Defaulting to no-operation(NOP)logger implementation SLF4J:See http:/www.slf4j.org/codes.html#StaticLoggerBinder for further details.#/export/kafka/bin/kafka-console-consumer.sh -zookeeper 10.14.2.201:2181,10.14.2.202:2181,10.14.2.203:2181,10.14.2.204:2181 -topic test-from-beginning SLF4J:Failed to load class org.slf4j.impl.StaticLoggerBinder.SLF4J:Defaulting to no-operation(NOP)logger implementation SLF4J:See http:/www.slf4j.org/codes.html#StaticLoggerBinder for further details.解决方法：下载slf4j-1.7.6.zip http:/www.slf4j.org/dist/slf4j-1.7.6.zip 解压 unzip slf4j-1.7.6.zip 把slf4j-nop-1.7.6.jar 包复制到kafka libs目录下面 cd slf4j-1.7.6 cp slf4j-nop-1.7.6.jar /export/kafka/libs/二、KAFKA 集群验证 2.1 创建 topic#./kafka-topics.sh-create-zookeeper 10.211.55.7:2181-replication-factor 1-partitions 1-topic test 2.2 查看 topic#./kafka-topics.sh-list-zookeeper 10.211.55.7:2181 2.3 开启发送者并发送消息#./kafka-console-producer.sh-broker-list 10.211.55.7:9092-topic test 2.4 开启消费者并接收消息#./kafka-console-consumer.sh-zookeeper 10.211.55.8:2181-topic test-from-beginning
