前言
在大数据、高并发的系统中,为了突破瓶颈,会将系统进行水平扩展和垂直拆分,形成独立的服务。每个独立的服务背后,可能是一个集群在对外提供服务。这就会碰到一个问题,整个系统是由多个服务(子系统)组成的,数据需要在各个服务中不停流转。如果数据在各个子系统中传输时,速度过慢,就会形成瓶颈,降低整个系统的性能。从而就形成了以Kafka为中心的解决方案!
因为阅读Kafka源码重要性就不言而喻,今天小编就分享一份拼多多Kafka的源码笔记,现已面向大众全面开源!(为了不影响大家的阅读体验,免费获取方式放在了文末!)
这份笔记从Kafka的应用场景、源码环境搭建开始逐步深人,不仅介绍Kafka的核心概念,而且对Kafka生产者、消费者、服务端的源码进行深人的剖析,最后介绍Kafka常用的管理脚本实现,让读者不仅从宏观设计上了解Kafka,而且能够深人到Kafka的细节设计之中。在源码分析的过程中,还穿插了笔者工作积累的经验和对Kafka设计的理解,希望读者可以举一反三, 不仅知其然,而且知其所以然。
Java并发编程
3、什么是多线程中的上下文切换?
4、死锁与活锁的区别,死锁与饥饿的区别?
5、Java中用到的线程调度算法是什么?
6、什么是线程组,为什么在Java中不推荐使用?
》7、为什么使用Executor框架?
8、在Java中Executor和Executors的区别?
9.如何在Windows和Linux上查找哪个线程使用的cpu时间最长?
10、什么是原子操作?在Java Concurrency API中有哪些原子类(atomic cla
11、Java Concurrency API中的Lock接口(Lock interface)是什么
12、什么是Executors框架?
13.什么是阻塞队列?阻塞队列的实现原理是什么?如何使用阻塞队列来实现生产者消费者模型?
14、什么是Callable和Future?
15.什么是FutureTask?使用ExecutorService启动任务。
16.什么是并发容器的实现?
17.多线程同步和互斥有几种实现方法,都是什么?
18、 什么是竞争条件?你怎样发现和解决竞争?
19、你将如何使用thread dump?你将如何分析Thread dump?
20、为什么我们调用start0方法时会执行run0方法,为什么我们不能直接调用run0方法?
21、Java中你怎样唤醒一个阻塞的线程?
22、在Java中CycliBarriar和CountdownLatch有什么区别?
23、什么是不可变对象,它对写并发应用有什么帮助?
24、什么是多线程中的上下文切换?
25、Java中用到的线程调度算法是什么?
26.什么是线程组,为什么在Java中不推荐使用?
27、为什么使用Executor框架比使用应用创建和管理线程好?
29、如何停止一个正在运行的线程?
30. notifyO和notifyAIl0有什么区别?
31、什么是Daemon线程?它有什么意义?
32、java如何实现多线程之间的通讯和协作?
33、什么是可重入锁(reentrantlock) ?
34.当一 个线程进入某个对象的一个synchronized的实例方法后,其
它线程是否可进入此对象的其
35、乐观锁和悲观锁的理解及如何实现,有哪些实现方式?
36、SynchronizedMap和ConcurrentHashMap有什么区别?
37、copyOnWriteArrayList可以用于什么应用场暴?
38、什么叫线程安全? servlet是线程安全吗?
39、volatile有什么用? 能否用一句话说明 下volatile的应用场景?
40.为什么代码会重排序?
41、在java中wait和sleep方法的不同?
42、用Java实现阻塞队列
43、-个线程运行时发生异常会怎样?
44、如何在两个线程间共享数据?
45、Java中notify 和noftifyAll有什么区别44、 如何在两个线程间共享数据?
46.为什么wait, notify 和ntfifAll这些万0ux四
47.什么是ThreadLocal变量?
48、Java中interrupted 和isInterrupted方法的区别?
50、为什么你应该在循环中检查等待条件?
51、Java中的同步集合与并发集合有什么区别?
52、什么是线程池?为什么要使用它?
53、怎么检测一个线程是否拥有锁?
54、 你如何在Java中获取线程堆栈?
56、Thread类中的yield方法有什么作用?
57. Java中ConcurrentHashMap的并发度是什么?
58、Java中Semaphore是什么?
59. Java线程池中submit0和execute0方法有什么区别?
60.什么是阻塞式方法?
61、Java中的ReadWriteLock是什么?
62、volatile 变量和atomic变量有什么不同?
64、如何让正在运行的线程暂停一段时间?
65、你对线程优先级的理解是什么?
Spring面试题
1.一般问题
1.1.不同版本的Spring Framework有哪些主要功能?
1.2.什么是Spring Framework? …
1.3.列举Spring Framework的优点。
1.4. Spring Framework有哪些不同的功能?
1.5. Spring Framework中有多少个模块,它们分别是什么
1.6.什么是Spring配置文件?
1.7. Spring 应用程序有哪些不同组件? … …
1.8.使用Spring有哪些方式?
2.依赖注入(Ioc)
2.1、什么是Spring IOC容器?
2.2.什么是依赖注入?
2.3.可以通过多少种方式完成依赖注入?
2.4.区分构造函数注入和setter 注入。
2.5. spring 中有多少种I0C 容器?
2.6.区分beanfactory 和ApplicationContext.
2.7、列举loC 的一-些好处。
2.8、Spring loC的实现机制。
3.1.什么是spring bean?
3.2. spring 提供了哪些配置方式?
3.4. spring bean容器的生命周期是什么样的?
3.5.什么是spring的内部bean?
3.6.什么是spring装配.
3.7、自动装配有哪些方式?
3.8、自动装配有什么局限?
Spring Boot面试题
1.什么是Spring Boot?
2、Spring Boot有哪些优点?
3、什么是JavaConfig?
4.如何重新加载Spring Boot上的更改,而无需重新启动服务器?
5、Spring Boot中的监视器是什么? …
6.如何在Spring Boot中禁用Actuator端点安全性?
7.如何在自定义端口上运行Spring Boot应用程序?
8.什么是YAML? …
9.如何实现Spring Boot应用程序的安全性?
10、如何集成Spring Boot和ActiveMQ?
11、如何使用Spring Boot实现分页和排序?
12.什么是Swagger?你用Spring Boot实现了它吗?
13.什么是Spring Profiles?
14.什么是Spring Batch?
15. 什么是FreeMarker模板?
16. 如何使用Spring Boot实现异常处理?
17、您使用了哪些starter maven依赖项?
18、什么是CSRF攻击?
19. 什么是WebSockets?
20、什么是AOP? .
21、什么是Apache Kafka?
22、我们如何监视所有Spring Boot微服务?
Spring Cloud面试题.
1.什么是Spring Cloud?
2.使用Spring Cloud有什么优势?
3.服务注册和发现是什么意思? Spring Cloud如何实现?
4.负载平衡的意义什么?
5.什么是Hytrix?它如何实现容错?
6、什么是Hystrix断路器?我们需要它吗?
7、什么是Netlix Feign?它的优点是什么?
8、什么是Spring Cloud Bus?我们需要它吗?
RabbitMQ面试题
1.什么是rabbitm…
2、为什么要使用rabitmq.
3.使用rabbitmq的场景.
4、如何确保消息正确地发送至RabbitMQ?如何确保消息接收
费了消息?
5.如何避免消息重复投递或重复消费?
6.消息基于什么传输?
7.消息如何分发?
8.消息怎么路由?
9.如何确保消息不丢失?
10.使用RabbitMQ有什么好处?
11、RabbitMQ 的集群.
12、ma的缺点
kafka面试题
2、生产者和消费者的命令行是什么?
3. consumer 是推还是拉?
4.讲讲kafka维护消费状态跟踪的方法.
5.讲一下主从同步.
6.为什么需要消息系统,MysqL 不能满足需求吗?
7、Zookeeper对于Kafka的作用是什么?
8、数据传输的事务定义有哪三种?
9. Kafka 判断-个节点是否还活着有那两个条件?
10、Kafka 与传统MQ消息系统之间有三个关键区…
11.讲-讲kafka的ack的三种机制
13.消费者故障,出现活锁问题如何解决?
14.如何控制消费的位置.
15. kafka 分布式(不是单机)的情况下,如何保证消息的顺序消
16. kafka 的高可用机制是什么?
17. kafka 如何减少数据丢失
18、kafka 如何不消费重复数据?比如扣款,我们不能重复的扣。
MyBatis面试题
1.什么是Mybatis? …
2、Mybaits 的优点:
3. MyBatis 框架的缺点:
4. MyBatis 框架适用场合:
5. MyBatis 与Hibemate有哪些不同?
6. #0和$0的区别是什么?
8、模糊查询like语句该怎么写?.
9.通常一个Xml映射文件,都会写一个Dao接口与之对应,请
这个Dao接口的工作原理是什么? Dao接口里的方法,参数不同方法能重载吗?
10、 Mybatis是如何进行分页的?分页插件的原理是什么?
11、Mybatis 是如何将sql执行结果封装为目标对象井返回的?哪些映射形式?
12.如何执行批量插入?..
14. 在mapper中如何传递多个参…
15、 Mybatis动态sql有什么用?执行原理?有哪些动态sq!?
16. Xml映射文件中,除了常见的selectinsertlupdaeldelete标外,还有哪些标签? … . … . …
18.为什么说Mybatis是半自动ORM映射工具?它与全自动的在哪里?
19. -对一、一对多的关联查询?
20、MyBatis 实现-对一有几种方式?具体怎么操作的?
21、MyBatis 实现- -对多有几种方式怎么操作的?
22. Mybatis 是否支持延迟加载?如果支持,它的实现原理是什么
23. Mybatis 的-级、二级缓存…
24.什么是MyBatis的接口绑定?有哪些实现方式?
25.使用MyBatis的mapper接口调用时有哪些要求?
26. Mapper 编写有哪几种方式?
27.简述Mybatis的插件运行原理,以及如何编写一个插件。
ZooKeeper面试题
1. ZooKeeper面试题?
2. ZooKeeper提供了什么?
3. Zookeeper文件系…
4. ZAB协议?
5.四种类型的数据节点Zno.e… …
6. Zookeeper Watcher机制-数据变更通…
7.客户端注册Watcher实现…
8.服务端处理Watcher实现
9.客户端回调Wartcer…_…
10. ACL权限控制机制
11. Chroot特性
12.会话管理.
13.服务器角色
14. Zookeeper下Server工作状态
15.数据同步
16. zookeeper是如何保证事务的顺序一致性的?
17.分布式集群中为什么会有Master?
18. zk节点宕机如何处理?
19. zookeeper负载均衡和Nginx负载均衡区别…
20. Zookeeper有哪几种几种部署模式?
21.集群最少要几台机器,集群规则是怎样的?..
23. Zookeeper对节点的watch监听通知是永久的吗?为什么久的.?..
24. Zookeeper的java客户端都有哪些?
25. chubby是什么,和zookeeper比你怎么看?
26.说几个zookeeper常用的命令。
27. ZAB和paxos算法的联系与区别?
28. Zookeeper的典型应用场景
dubbo面试题
1.为什么要用dubbo?
2、dubbo 的整体架构设计有哪些分层…
3、默认使用的是什么通信框架,还有别的选择吗?
4.服务调用是阻塞的吗?
5. - 般使用什么注册中心?还有别的选择吗?
6.默认使用什么序例化框架,你知道的还有哪些? …
7、服务提供者能实现失效踢出是什么原理?
8.服务上线怎么不影响旧版本?
10.说说核心的配置有哪些?
11. dubbo推荐用什么协议?
13.画一画服务注册与发现的流程图?
14. dubbo集群容错有几种方案?
15、dubbo 服务降级,失败重试怎么做?
16、dubbo 使用过程中都遇到了些什么问题?
17、dubbo Monitor实现原理?
18、dubbo 用到哪些设计模式?
20. dubbo SPI和Java SPI区别?
22. dubbo 可以对结果进行缓存吗?
23.服务上线怎么兼容旧版本?
24、dubbo 必须依赖的包有哪些?
25. dubbo telnet命令能做什么?
27. dubbo 如何优雅停机?
29、dubbo 和Spring Cloud的区别?
30、你还了解别的分布式框架吗?
Elasticsearch面试题.
1. elasticsearch 了解多少,说说你们公司es的集群架构,索引楼大小,分片有多少,以及-些调优手段.
2、elasticsearch 的倒排索引是什么
3. elasticsearch 索引数据多了怎么办,如何调优,部署.
4、elasticsearch 是如何实现master选举的.
5.详细描述-下Elasticsearch索引文档的过程.
6.详细描述-下Elasticsearch搜索的过程? … .
7. Elasticsearch 在部署时,对Linux的设置有哪些优化方法… … .
8. lucence 内部结构是什么?
9. Elasticsearch 是如何实现Master选举的? .
10、Elasticsearch 中的节点(比如共20个) ,其中的10个选了一master,另外10个选了另-个master,怎么办? …
11、客户端在和集群连接时,如何选择特定的节点执行请求的?
12.详细描述-下Elasticsearch索引|文档的过程。
13、详细描述-下Elasticsearch更新和删除文档的过程。
14、详细描述-下Elasticsearch搜索的过程。…
15.在Elasticsearch中,是怎么根据一个词找到对应的倒排索引|的
16、Elasticsearch 在部署时,对Linux的设置有哪些优化方法?
17.对于GC方面,在使用Elasticsearch时要注意什么? … 9
18. Elasticsearch对于大数据量(上亿量级)的聚合如何实现?
19.在并发情况下,Elasticsearch如果保证读写-致?
20、如何监控Elasticsearch集群状态?
21.介绍下你们电商搜索的整体技术架构。
22. 介绍一;下你们的个性化搜索方案? …
23.是否了解字典树?
24、拼写纠错是如何实现的?
Memcached面试题
1、Memcached 是什么,有什么作用?
2、Memcached 服务分布式集群如何实现?
3、Memcached 服务特点及工作原理是什么?
4、简述Memcached内存管理机制原理?
5、memcached 是怎么工作的?
6、memcached 最大的优势是什么?
7、memcached 和MysqL的query.
8、memcached和服务器的local cache
9. memcached 的cache机制是怎样的?
10、memcached如何实现冗余机制?
11. memcached 如何处理容错的?
12.如何将memcached中item批量导入导出?
13.如果缓存数据在导出导入之间过期了,您又怎么处理这些数据听
14、memcached 是如何做身份验证的?
15. memcached的多线程是什么?如何使用它们?
16. memcached 能接受的key的最大长度是多少?
17. memcached 最大能存储多大的单个item?
18、memcached 能够更有效地使用内存吗?
19.什么是二进制协议,我该关注吗?
20、memcached 的内存分配器是如何工作的?为什么不适
malloc/free! ?为何要使用slabs?
21. memcached 是原子的吗?
22.如何实现集群中的session共享存储?
23、memcached 与redis的区别?
Redis面试题
1、什么是Redis
2、Redis 的数据类型?
3.使用Redis有哪些好处?
4、Redis 相比Memcached有哪些优势?
5、Memcache 与Redis的区别都有哪些?
6、Redis 是单进程单线程的?
7. -个字符串类型的值能存储最大容量是多少?
8、Redis 的持久化机制是什么?各自的优缺点?
11. Redis 的回收策略(淘汰策略) ?..
12.为什么edis需要把所有数据放到内存中?
13、Redis 的同步机制了解么?
14、Pipeline 有什么好处,为什么要用pipeline?
15. 是否使用过Redis集群,集群的原理是什么?
16、Redis集群方案什么情况下会导致整个集群不可用?
17. Redis 支持的Java客户端都有哪些?官方推荐用哪个?
19、Redis如何设置密码及验证密码?
20、说说Redis哈希槽的概念?
21. Redis 集群的主从复制模型是怎样的?
22、Redis 集群会有写操作丢失吗?为什么?
23、Redis 集群之间是如何复制的?
24、Redis 集群最大节点个数是多少?
26、怎么测试Redis的连通性?
27.怎么理解Redis事务?
28. Redis 事务相关的命令有哪几个?
29. Redis key的过期时间和永久有效分别怎么设置?
30、Redis 如何做内存优化?
31. Redis 回收进程如何工作的?
32、都有哪些办法可以降低Redis的内存使用情况呢?
33、Redis 的内存用完了会发生什么?
34、一个Redis实例最多能存放多少的keys? List. Set. Sorted:他们最多能存放多少元素?
MysqL面试题
1、MysqL 中有哪几种锁?
2、MysqL 中有哪些不同的表格?
3.简述在MysqL数据库中MyISAM和InnoDB的区别… :
4、MysqL中InnoDB支持的四种事务隔离级别名称,以及逐级之的区别?
5、CHAR和VARCHAR的区别?
6、主键和候选键有什么区别?
7、myisamchk 是用来做什么的?
8、如果-个表有一列定义为TIMESTAMP,将发生什么?
9.你怎么看到为表格定义的所有索引?
10、LIKE 声明中的%和是什么意思?
11.列对比运算符是什么?
12. BLOB 和TEXT有什么区别? …
13. MysqL _fetch. array 和MysqL fetch. object 的区别是什么?
14、MylSAM 表格将在哪里存储,并且还提供其存储格式?
16.如何显示前50行?
17.可以使用多少列创建索引?
18、Now () 和CURRENT. DATE ()有什么区别?
19.什么是非标准字符串类型?
22、MysqL 里记录货币用什么字段类型…
23. MysqL 有关权限的表都有哪几个?
总结:绘上一张Kakfa架构思维大纲脑图(xmind)
其实关于Kafka,能问的问题实在是太多了,扒了几天,最终筛选出44问:基础篇17问、进阶篇15问、高级篇12问,个个直戳痛点,不知道如果你不着急看答案,又能答出几个呢?
若是对Kafka的知识还回忆不起来,不妨先看我手绘的知识总结脑图(xmind不能上传,文章里用的是图片版)进行整体架构的梳理
梳理了知识,刷完了面试,如若你还想进一步的深入学习解读kafka以及源码,那么接下来的这份《手写“kafka”》将会是个不错的选择。
-
Kafka入门
-
为什么选择Kafka
-
Kafka的安装、管理和配置
-
Kafka的集群
-
第一个Kafka程序
-
Kafka的生产者
-
Kafka的消费者
-
深入理解Kafka
-
可靠的数据传递
-
Spring和Kafka的整合
-
SpringBoot和Kafka的整合
-
Kafka实战之削峰填谷
-
数据管道和流式处理(了解即可)
支持事务吗?
22、MysqL 里记录货币用什么字段类型…
23. MysqL 有关权限的表都有哪几个?
[外链图片转存中…(img-gmt2rWM1-1623300101152)]
总结:绘上一张Kakfa架构思维大纲脑图(xmind)
[外链图片转存中…(img-sEmFGDHX-1623300101153)]
其实关于Kafka,能问的问题实在是太多了,扒了几天,最终筛选出44问:基础篇17问、进阶篇15问、高级篇12问,个个直戳痛点,不知道如果你不着急看答案,又能答出几个呢?
若是对Kafka的知识还回忆不起来,不妨先看我手绘的知识总结脑图(xmind不能上传,文章里用的是图片版)进行整体架构的梳理
梳理了知识,刷完了面试,如若你还想进一步的深入学习解读kafka以及源码,那么接下来的这份《手写“kafka”》将会是个不错的选择。
-
Kafka入门
-
为什么选择Kafka
-
Kafka的安装、管理和配置
-
Kafka的集群
-
第一个Kafka程序
-
Kafka的生产者
-
Kafka的消费者
-
深入理解Kafka
-
可靠的数据传递
-
Spring和Kafka的整合
-
SpringBoot和Kafka的整合
-
Kafka实战之削峰填谷
-
数据管道和流式处理(了解即可)