消息队列二三事
最近在看kafka的代码，就免不了想看看消息队列的一些要点：服务质量（QOS）、性能、扩展性等等，下面一一探索这些概念，并谈谈在特定的消息队列如kafka或者mosquito中是如何具体实现这些概念的。
作者归档
Loading...源码分析Kafka之Producer
Kafka是一款很棒的消息系统，可以看看我之前写的 后端好书阅读与推荐来了解一下它的整体设计。今天我们就来深入了解一下它的实现细节（我fork了一份代码），首先关注Producer这一方。
要使用kafka首先要实例化一个KafkaProducer，需要有brokerIP、序列化器等必要Properties以及acks（0、1、n）、compression、retries、batch.size等非必要Properties，通过这个简单的接口可以控制Producer大部分行为，实例化后就可以调用send方法发送消息了。
核心实现是这个方法：
public Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) {
// intercept the record, which can be potentially modified; this method does not throw exceptions
ProducerRecord<K, V> interceptedRecord = this.interceptors.onSend(record);//①
return doSend(interceptedRecord, callback);//②
}
通过不同的模式可以实现发送即忘（忽略返回结果）、同步发送（获取返回的future对象，回调函数置为null）、异步发送（设置回调函数）三种消息模式。
Raft论文读书笔记
Raft是当前分布式领域最重要的一致性算法之一，今天我们就来好好研究研究这个算法的[论文][1], 还有对应[网站][2], [动画][3], 不想看英文的也有中文的[翻译][4]，所以我这边就不翻译了，主要还是记录一下论文重点和自己的心得。
计算机科学中抽象的好处与问题—伪共享实例分析
David John Wheeler有一句名言“计算机科学中的任何问题都可以通过加上一层间接层来解决”，一层不够就再加一层。后半句是我加的 (*￣︶￣) ，虽然有点玩笑的意思，但是也的确能说明一些问题。计算机科学的确是靠着一层又一层的抽象与封装解决了巨量的问题。
实现高可用的两种方案与实战
我之前在一片文章 用Nginx+Redis实现session共享的均衡负载 中做了一个负载均衡的实验，其主要架构如下：
把debian1作为调度服务器承担请求分发的任务，即用户访问的是debian1，然后debain1把请求按照一定的策略发送给应用服务器：debian2或者debain3，甚至更多的debain4、5、6……
基于一致性哈希的分布式内存键值存储——CHKV
Consistent Hashing based Key-Value Memory Storage
基于一致性哈希的分布式内存键值存储——CHKV。
系统设计
- NameNode : 维护key与节点的映射关系（Hash环），用心跳检测DataNode（一般被动，被动失效时主动询问三次），节点增减等系统信息变化时调整数据并通知Client；
- DataNode : 存储具体的数据，向NameNode主动发起心跳并采用请求响应的方式来实现上下线，便于NameNode挪动数据
- Client : 负责向NameNode请求DataNode数据和Hash算法等系统信息并监听其变化，操纵数据时直接向对应DataNode发起请求就行，暂时只包含set,get,delete三个操作
扫码关注公众号
- 版权所有 © 并发编程网 – ifeve.com
- ICP号: 浙ICP备12046809号
-
浙公网安备 33010602005873号