作者归档
Loading...
跟我学Kafka之Controller控制器详解
作者：小程
我们的kafka源码分享已经进行过很多期了，主要的内容也都分享的差不多了，那么在今后的分享中，主要集中在kafka性能优化和使用。
Kafka集群中的其中一个Broker会被选举为Controller，主要负责Partition管理和副本状态管理，也会执行类似于重分配Partition之类的管理任务。如果当前的Controller失败，会从其他正常的Broker中重新选举Controller。
跟我学Kafka之NIO通信机制
很久没有做技术方面的分享了，今天闲来有空写一篇关于Kafka通信方面的文章与大家共同学习。
一、Kafka通信机制的整体结构
这个图采用的就是我们之前提到的SEDA多线程模型，链接如下：
http://www.jianshu.com/p/e184fdc0ade4
1、对于broker来说，客户端连接数量有限，不会频繁新建大量连接。因此一个Acceptor thread线程处理新建连接绰绰有余。
2、Kafka高吐吞量，则要求broker接收和发送数据必须快速，因此用proccssor thread线程池处理，并把读取客户端数据转交给缓冲区，不会导致客户端请求大量堆积。
3、Kafka磁盘操作比较频繁会且有io阻塞或等待，IO Thread线程数量一般设置为proccssor thread num两倍，可以根据运行环境需要进行调节。
http://www.jianshu.com/p/e184fdc0ade4
1、对于broker来说，客户端连接数量有限，不会频繁新建大量连接。因此一个Acceptor thread线程处理新建连接绰绰有余。
2、Kafka高吐吞量，则要求broker接收和发送数据必须快速，因此用proccssor thread线程池处理，并把读取客户端数据转交给缓冲区，不会导致客户端请求大量堆积。
3、Kafka磁盘操作比较频繁会且有io阻塞或等待，IO Thread线程数量一般设置为proccssor thread num两倍，可以根据运行环境需要进行调节。
使用Redis作为一个LRU缓存
原文链接 译者：flychao88
当用Redis作为一个LRU存储时，有些时候是比较方便的，在你增添新的数据时会自动驱逐旧的数据。这种行为在开发者论坛是非常有名的，因为这是流行的memcached系统的默认行为。
LRU实际上只是支持驱逐的方式之一。这页包含更多一般的Redis maxmemory指令的话题用于限制内存使用到一个定额，同时它也深入的涵盖了Redis所使用的LRU算法，实际上是精确LRU的近似值。
扫码关注公众号
- 版权所有 © 并发编程网 – ifeve.com
- ICP号: 浙ICP备12046809号
-
浙公网安备 33010602005873号