kakfa:
1.简介
1.定义：
kafka是一个分布式、支持分区(paritition)、多副本的，基于zookeeper协调的分布式消息系统
2.能做什么
可以实时的处理大量数据，满足各种场景需求。hadoop批处理，spark/storm流式处理等
3.kafka的特性：
3.1 高吞吐、低延迟
kafka每秒可以处理几十万的消息,延迟最低只有几毫秒
每个topic可以分多个partition，consumer group对partition进行consume操作
3.2 可扩展性
kafka集群支持热扩展
3.3 持久性、可靠性
消息被持久化到本地磁盘，并且支持数据备份防止数据丢失
3.4 容错性
允许集群中节点失败(如果副本数n,允许n-1个节点失败)
3.5 高并发
支持数千个客户端同时读写
4.使用场景
4.1 日志收集
4.2 消息系统
4.3 流式处理
5.流程
producers 往brokers里面的指定topic写消息
consumer 从brokers里面拉取指定topic的消息进行业务处理
2.生产
3.消费