《Spark 官方文档》在Mesos上运行Spark
spark-1.6.0 [原文地址]
在Mesos上运行Spark
Spark可以在由Apache Mesos 管理的硬件集群中运行。
在Mesos集群中使用Spark的主要优势有:
- 可以在Spark以及其他框架(frameworks)之间动态划分资源。
- 可以同时部署多个Spark实例,且各个实例间的资源分配可以调整。
MariaDB 源码调试
作者:王成瑞 南京华泰证券信息技术部架构师 2837796568@@qq.com
MariaDB 源码编译
[root@jg-72 source]# pwd
/data/source
[root@jg-72 source]# ls
mariadb-10.1.11.tar.gz
先将源码压缩包解压缩
tar -zxvf mariadb-10.1.11.tar.gz
《Spark 官方文档》在Amazon EC2上运行Spark
Spark 1.6.0
在Amazon EC2上运行Spark
Spark的ec2目录下有一个spark-ec2脚本,可以帮助你在Amazon EC2上启动、管理、关闭Spark集群。该脚本能在EC2集群上自动设置好Spark和HDFS。本文将会详细描述如何利用spark-ec2脚本来启动和关闭集群,以及如何在集群提交作业。当然,首先你必须在Amazon Web Services site上注册一个EC2的账户。
阅读全文
《Spark 官方文档》Spark独立模式
Spark独立模式
Spark除了可以在Mesos和YARN集群上运行之外,还支持一种简单的独立部署模式。独立部署模式下,你既可以手工启动(手动运行master和workers),也可以利用我们提供的启动脚本(launch scripts)。同时,独立部署模式下,你可以在单机上运行这些程序,以方便测试。
图解微服务架构演进
图解服务化架构演进
前言
来自dubbo的用户手册中的一句话:
随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。
跟我学Kafka之Controller控制器详解
作者:小程
我们的kafka源码分享已经进行过很多期了,主要的内容也都分享的差不多了,那么在今后的分享中,主要集中在kafka性能优化和使用。
Kafka集群中的其中一个Broker会被选举为Controller,主要负责Partition管理和副本状态管理,也会执行类似于重分配Partition之类的管理任务。如果当前的Controller失败,会从其他正常的Broker中重新选举Controller。
跟我学Kafka之NIO通信机制
很久没有做技术方面的分享了,今天闲来有空写一篇关于Kafka通信方面的文章与大家共同学习。
一、Kafka通信机制的整体结构
![](http://upload-images.jianshu.io/upload_images/1049928-555d9378abb34495.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
http://www.jianshu.com/p/e184fdc0ade4
1、对于broker来说,客户端连接数量有限,不会频繁新建大量连接。因此一个Acceptor thread线程处理新建连接绰绰有余。
2、Kafka高吐吞量,则要求broker接收和发送数据必须快速,因此用proccssor thread线程池处理,并把读取客户端数据转交给缓冲区,不会导致客户端请求大量堆积。
3、Kafka磁盘操作比较频繁会且有io阻塞或等待,IO Thread线程数量一般设置为proccssor thread num两倍,可以根据运行环境需要进行调节。