Kafka进阶之幂等性以及分区分配策略 Kafka
Exactly Once语义:
将服务器的ACK级别设置为-1,可以保证Producer到Server之间不会丢失数据,即At Least Once 语义。相对的,将服务器ACK级别设置为0,可以保证生产者每条消息只会被发送一次,即At Most Once语义。
At Least Once可以保证数据不丢失,但是不能保证数据不重复;相对的, At Least...
Zookeeper+Kafka集群部署 Kafka
1.下载zookeeper和kafka:
zk下载地址:http://archive.apache.org/dist/zookeeper/
kafka下载地址:https://kafka.apache.org/downloads.html
本次搭建下载的zk和kafka版本是(zookeeper-3.4.14.tar.gz/kafka_2.11-0.11.0...
Kafka-Eagle搭建可视化工具 Kafka
集群三台机器
在Hosts文件中建立域名和IP的映射配置(方便解析): vim /etc/hosts
192.168.0.1 master
192.168.0.2 slave1
192.168.0.3 slave2
配置环境变量:vim /...
Kafka框架基础概念 Kafka
Kafka是一个分布式流平台,高吞吐量的分布式发布/订阅模式的消息队列(系统),它可以处理消费者在网站中的所有动作流数据,应用于大数据处理领域。
消息队列的好处:
1.灵活性&峰值处理能力
在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使...