Kafka压力测试官方自带

1、Kafka压测

用Kafka官方自带的脚本,对Kafka进行压测。Kafka压测时,可以查看到哪个地方出现了瓶颈(cpu,内存,网络IO)。

一般都是网络IO达到瓶颈。

kafka-consumer-perf-test.sh

kafka-producer-perf-test.sh

2、Kafka Producer压力测试

在.../kafka/bin目录下

[duoduo@hadoop100 kafka_2.11-2.4.0]$ bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=hadoop100:9092,hadoop102:9092,hadoop101:9092

说明:

  • record-size:一条信息有多大,单位字节
  • num-records:总共发送多少条信息
  • throughput:每秒多少条信息,设置成-1,表示不限流,可测生产者最大吞吐量

结果:

100000 records sent, 27495.188342 records/sec (2.62 MB/sec), 1461.75 ms avg latency, 2183.00 ms max latency, 1696 ms 50th, 2103 ms 95th, 2177 ms 99th, 2181 ms 99.9th.

解析:

  • 一共写入10万条消息
  • 吞吐量为2.62 MB/sec
  • 每次写入的平均延迟为1461.75ms
  • 最大延迟2183.00 ms

3、Kafka Consumer 压力测试

consumer测试,如果这四个指标(IO,cpu,内存,网络)都不能改变,考虑增加分区数来提升性能

[duoduo@hadoop100 kafka_2.11-2.4.0]$ bin/kafka-consumer-perf-test.sh --broker-list hadoop100:9092 --topic test --fetch-size 10000 -messages 10000000 --threads 1

参数说明:

  • broker-list:节点地址
  • topic:指定topic名称
  • fetch-size:指定每个fetch的数据大小
  • messages:总共要消费的消息个数

结果:

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec

2020-06-27 13:17:57:490, 2020-06-27 13:18:11:751, 20.0272, 1.4043, 210000, 14725.4751, 1593235077858, -1593235063597, -0.0000, -0.0001

解释:

  • 开始时间
  • 结束时间
  • 共消费数据:20.0272M
  • 吞吐量:1.4043MB/s
  • 共消费数据:210000条
  • 平均每秒消费:14725.4751条

4、Kafka机器数量计算

Kafka机器数=2 *(峰值生产速度 * 副本数 / 100)+1

比如:峰值生产速度为50M/s,副本为2

Kafka机器数=2*(50*2/100)+1=3(台)

相关文章

# 前言 现有主流消息中间件都是生产者-消费者模型,主要角色...
错误的根源是:kafka版本过高所致,2.2+=的版本,已经不需要...
DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic...
不多BB讲原理,只教你怎么用,看了全网没有比我更详细的了,...
终于写完了,其实最开始学kafka的时候是今年2月份,那时候还...
使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录(...