1.修改kafka配置文件
broker.id=0 zookeeper.connect=192.168.1.10:2181,192.168.1.12:2181,192.168.1.13:2181/kafka
说明:
默认Kafka会使用ZooKeeper默认的/路径,这样有关Kafka的ZooKeeper配置就会散落在根路径下面,如果 你有其他的应用也在使用ZooKeeper集群,查看ZooKeeper中数据可能会不直观,所以强烈建议指定一个chroot路径,直接在 zookeeper.connect配置项中指定。
而且,需要手动在ZooKeeper中创建路径/kafka,使用如下命令连接到任意一台 ZooKeeper服务器:
cd ~/zookeeper bin/zkCli.sh create /kafka '' 在ZooKeeper执行如下命令创建chroot路径。 这样,每次连接Kafka集群的时候(使用--zookeeper选项),也必须使用带chroot路径的连接字符串,后面会看到。
2.创建topic
bin/kafka-topics.sh --create --zookeeper 192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181/kafka --replication-factor 2 --partitions 3 --topic TEST_123
说明:
上面是创建了一个名为:test-topic的topic,分区数为3,副本数2
3.查看topic
bin/kafka-topics.sh --describe --zookeeper 192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181/kafka
说明:
上面是查看zk集群上,当前所有topic的详细情况,如下图:
上面Leader、Replicas、Isr的含义如下:
1 Partition: 分区
2 Leader : 负责读写指定分区的节点
3 Replicas : 复制该分区log的节点列表
4 Isr : “in-sync” replicas,当前活跃的副本列表(是一个子集),并且可能成为Leader
我们可以通过Kafka自带的bin/kafka-console-producer.sh和bin/kafka-console-consumer.sh脚本,来验证演示如果发布消息、消费消息。
4.生产消息命令
bin/kafka-console-producer.sh --broker-list 192.168.1.12:9092, 192.168.1.13:9092, 192.168.1.14:9092 --topic TEST_123
说明:
在上面的kafka broker上的topic上生产消息
5.消费消息命令
bin/kafka-console-consumer.sh --zookeeper 192.168.169.91:2181,192.168.1.12:2181,192.168.169.93:2181/kafka --from-beginning --topic TEST_123
说明:
可以在Producer终端上输入字符串消息行,就可以在Consumer终端上看到消费者消费的消息内容。
也可以参考Kafka的Producer和Consumer的Java API,通过API编码的方式来实现消息生产和消费的处理逻辑。
6.启动集群命令
bin/kafka-server-start.sh config/server.properties &
7.停止集群命令
bin/kafka-server-stop.sh
8.删除一个topic
bin/kafka-topics.sh --delete --zookeeper 192.168.1.11:2181/kafka --topic TEST_123
说明:
(1)配置文件server.properties中必须设置delete.topic.enable=true,否则只会标记为删除,而不是真正删除。
(2)执行此脚本的时候,topic的数据会同时被删除。如果由于某些原因导致topic的数据不能完全删除(如其中一个broker down了),此时topic只会被marked for deletion,而不会真正删除。此时创建同名的topic会有冲突。
9.修改topic
(1)修改分区数量:
bin/kafka-topics.sh --alter --zookeeper 192.168.1.11:2181/kafka --topic TEST_123 --partitions 4
(2)增加、修改或者删除一个配置参数:
bin/kafka-topics.sh —alter --zookeeper 192.168.1.11:2181/kafka --topic TESt_123 --config key=value bin/kafka-topics.sh —alter --zookeeper 192.168.1.11:2181/kafka --topic my_topic_name --deleteConfig key
相关推荐
kafka对主题、分区、副本的一些常用命令。
介绍 今天来实现一个Storm数据流处理综合案例的第一部分,Storm集群向Kafka集群源源不断写入数据...Zookeeper启动需要一定时间,建议等一分钟再操作其他命令 cd /usr/local/kafka/zookeeper ./bin/zkServer.sh start
该文档是kafka生产实际操作文档,翼支付内部据此来维护生产kafka集群的升级以及日常运维
第 2 步 - 启动kafka集群,就像我们在Installation of Kafka所做的那样。 假设主题为test 第 3 步 - 按照以下命令启动消费者服务。 第 4 步 - 执行以下命令。 这将发送This is the First Message I am sending ...
直接访问kubernetes集群中的kafka集群 安装 您可以安装预编译的二进制文件或从源代码编译。 安装预编译的二进制文件 捕捉: snap install kafkactl 自制: # install tap repostory once brew tap deviceinsight/...
首先,您需要一个Kafka集群。 您可以按照的说明进行操作,或者如果在计算机上安装了docker docker-compose up则可以运行docker-compose up 。 启动应用程序 可以使用以下命令启动该应用程序: mvn quarkus:dev 终点...
Kafka安装配置、快速启动及基本操作1、Kafka下载2、启动服务扩展知识:进程守护方法和前后台进程切换3、创建一个主题扩展知识:bootstrap-server和zookeeper使用区别4、删除主题5、发送消息6、消费消息7、设置多个...
07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 10.MapReduce MP过程进阶 11.MapReduce IO操作 12.序列化框架 13.深入MapReduce应用开发 14.Hadoop集群配置 15.Hive 16.Hive操作 17.Hive查询 18.HBase 19....
集群资源管理器:YARN 单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的...
卡夫卡集群首先,您需要一个Kafka集群。 您可以按照的说明进行操作,或者如果在计算机上安装了docker docker-compose up则可以运行docker-compose up 。启动应用程序可以使用以下命令启动该应用程序: mvn quarkus:...
官方网站:http://kafka.apache.org/ 一、概述 ...日志收集:在实际开发中,我们应用程序的日志会输出到本地磁盘,排查问题需要通过linux操作,如果应用程序组成了负载均衡集群,并且集成的机器较多,那
HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 Hive Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区...
exec-memory-kafka.sinks=kafka-sink #指定sink(数据到哪⼉去) exec-memory-kafka.channels=memory-channel #指定channel #source详细配置 exec-memory-kafka.sources.exec-source.type=exec 执⾏操作系统命令 exec...
大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共21页).pptx 大数据与云计算教程课件 优质大数据课程 08.HDFS文件接口(共41页).pptx 大数据与云计算教程课件 优质大数据课程 09.MapReduce序列化(共...
07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 10.MapReduce MP过程进阶 11.MapReduce IO操作 12.序列化框架 13.深入MapReduce应用开发 14.Hadoop集群配置 15.Hive 16.Hive操作 17.Hive查询 18.HBase 19....
07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 10.MapReduce MP过程进阶 11.MapReduce IO操作 12.序列化框架 13.深入MapReduce应用开发 14.Hadoop集群配置 15.Hive 16.Hive操作 17.Hive查询 18.HBase 19....
07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 10.MapReduce MP过程进阶 11.MapReduce IO操作 12.序列化框架 13.深入MapReduce应用开发 14.Hadoop集群配置 15.Hive 16.Hive操作 17.Hive查询 18.HBase 19....
153_kafka集群安装与启动4 ^; K& j3 @6 p0 M 154_kafka创建主题以及查看主题结构 155_考察zk中kafka结构9 N: Y8 u4 {# m/ z1 d3 H 156_kafka分区服务器服务方式 157_kafka编程API实现生产者和消费者+ w9 l1 N( D8 E%...
Apache Kafka的开源监视工具目录特征用户友好的GUI 深入了解集群代理,主题和分区 控制器和分区运行状况监视 用户选择指标的实时图形显示 克鲁斯特行动输入您的Kafka实例运行所在的Broker和Exporter端口 成功提交后...
大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共21页).pptx 大数据与云计算教程课件 优质大数据课程 08.HDFS文件接口(共41页).pptx 大数据与云计算教程课件 优质大数据课程 09.MapReduce序列化(共...