Kafka进阶之幂等性以及分区分配策略 Kafka

Exactly Once语义: 将服务器的ACK级别设置为-1,可以保证Producer到Server之间不会丢失数据,即At Least Once 语义。相对的,将服务器ACK级别设置为0,可以保证生产者每条消息只会被发送一次,即At Most Once语义。 At Least Once可以保证数据不丢失,但是不能保证数据不重复;相对的, At Least...
晨曦 发布于 

Kafka常用命令 Kafka

kafka启动:bin/kafka-server-start.sh -daemon config/server.properties kafka停止:bin/kafka-server-stop.sh 选项说明: --topic topic名称 --replication-factor 副本数 --partitions 分区数 --zookeeper 本机ip...
晨曦 发布于 

Zookeeper+Kafka集群部署 Kafka

1.下载zookeeper和kafka: zk下载地址:http://archive.apache.org/dist/zookeeper/ kafka下载地址:https://kafka.apache.org/downloads.html 本次搭建下载的zk和kafka版本是(zookeeper-3.4.14.tar.gz/kafka_2.11-0.11.0...
晨曦 发布于 

Kafka事务 Kafka

Kafka从0.11版本开始引入了事务支持。事务可以保证Kafka在Exactly Once语义的基础上,生产和消费可以跨分区和会话,要么全部成功,要么全部失败 。 Producer事务: 为了实现跨分区跨会话的事务,需要引入一个全局唯一的Transaction ID,并将Producer获得的PID和Transaction ID绑定。这样当Producer...
晨曦 发布于 

Kafka-Eagle搭建可视化工具 Kafka

集群三台机器 在Hosts文件中建立域名和IP的映射配置(方便解析): vim /etc/hosts 192.168.0.1                     master 192.168.0.2                     slave1 192.168.0.3                     slave2 配置环境变量:vim /...
晨曦 发布于 

Kafka框架基础概念 Kafka

Kafka是一个分布式流平台,高吞吐量的分布式发布/订阅模式的消息队列(系统),它可以处理消费者在网站中的所有动作流数据,应用于大数据处理领域。 消息队列的好处: 1.灵活性&峰值处理能力 在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使...
晨曦 发布于