《Spark 官方文档》在Mesos上运行Spark
spark-1.6.0 [原文地址]
在Mesos上运行Spark
Spark可以在由Apache Mesos 管理的硬件集群中运行。
在Mesos集群中使用Spark的主要优势有:
- 可以在Spark以及其他框架(frameworks)之间动态划分资源。
- 可以同时部署多个Spark实例,且各个实例间的资源分配可以调整。
MariaDB 源码调试
作者:王成瑞 南京华泰证券信息技术部架构师 2837796568@@qq.com
MariaDB 源码编译
[root@jg-72 source]# pwd
/data/source
[root@jg-72 source]# ls
mariadb-10.1.11.tar.gz
先将源码压缩包解压缩
tar -zxvf mariadb-10.1.11.tar.gz
《Spark 官方文档》在Amazon EC2上运行Spark
Spark 1.6.0
在Amazon EC2上运行Spark
Spark的ec2目录下有一个spark-ec2脚本,可以帮助你在Amazon EC2上启动、管理、关闭Spark集群。该脚本能在EC2集群上自动设置好Spark和HDFS。本文将会详细描述如何利用spark-ec2脚本来启动和关闭集群,以及如何在集群提交作业。当然,首先你必须在Amazon Web Services site上注册一个EC2的账户。
阅读全文
《Spark 官方文档》Spark独立模式
Spark独立模式
Spark除了可以在Mesos和YARN集群上运行之外,还支持一种简单的独立部署模式。独立部署模式下,你既可以手工启动(手动运行master和workers),也可以利用我们提供的启动脚本(launch scripts)。同时,独立部署模式下,你可以在单机上运行这些程序,以方便测试。
图解微服务架构演进
图解服务化架构演进
前言
来自dubbo的用户手册中的一句话:
随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。
跟我学Kafka之Controller控制器详解
作者:小程
我们的kafka源码分享已经进行过很多期了,主要的内容也都分享的差不多了,那么在今后的分享中,主要集中在kafka性能优化和使用。
Kafka集群中的其中一个Broker会被选举为Controller,主要负责Partition管理和副本状态管理,也会执行类似于重分配Partition之类的管理任务。如果当前的Controller失败,会从其他正常的Broker中重新选举Controller。