kafka安装与应用

¶kafka介绍

¶kafka文档

1. 官网下载地址：https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz
2. 国内源下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz
3. 官方文档：https://kafka.apache.org/documentation/
4. 中文文档：https://kafka.apachecn.org/

¶kafka与zookeeper

zookeeper是kafka不可分割的一部分，是kafka实现分布式下一致性的关键部件(kafka只实现了高可用性和分区容错性)。
zookeeper+kafka组合实现了分布式的CAP理论(C:一致性+A:高可用性+P:分区容错性)。
zookeeper存储了kafka的consumer和borker的信息，可以让kafka实现一致性。

¶kafka安装

¶kafka下载

curl https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz -o kafka_2.13-2.6.0.tgz
sudo tar -xvf kafka_2.13-2.6.0.tgz -C /opt/
cd /opt/kafka_2.13-2.6.0

¶单机安装

¶集群安装

¶kafka实现思想

¶kafka术语

1. broker
2. topic
3. partation
4. segment
5. replication

¶kafka原理图

¶kafka功能

¶kafka connect

¶kafka streams

¶kafka admin

¶kafka集群配置与问题

¶脑裂问题

¶kafka应用

¶kafka用于收集日志

¶kafka用于消息队列