Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API：SQL语句、DataFrame API和最新的Dataset API。不过真正运行计算的时候，无论你使用哪种API或语言，Spark SQL使用的执行引擎都是同一个。这种底层的统一，使开发者可以在不同的API之间来回切换，你可以选择一种最自然的方式，来表达你的需求。
本文中所有的示例都使用Spark发布版本中自带的示例数据，并且可以在spark-shell、pyspark shell以及sparkR shell中运行。
一般性问题
Spark有好几种计算资源调度的方式。首先，回忆一下集群模式概览（cluster mode overview）中每个Spark应用（包含一个SparkContext实例）中运行了一些其独占的执行器（executor）进程。集群管理器提供了Spark应用之间的资源调度（scheduling across applications）。其次，在各个Spark应用内部，各个线程可能并发地通过action算子提交多个Spark作业（job）。如果你的应用服务于网络请求，那这种情况是很常见的。在Spark应用内部（对应同一个SparkContext）各个作业之间，Spark默认FIFO调度，同时也可以支持公平调度（fair scheduler）。
阅读全文
Spark目前已经支持以共享秘钥的方式进行身份认证。开启身份认证配置参数为 spark.authenticate 。这个配置参数决定了Spark通讯协议是否使用共享秘钥做身份验证。验证过程就是一个基本的握手过程，确保通讯双方都有相同的秘钥并且可以互相通信。如果共享秘钥不同，双方是不允许通信的。共享秘钥可用以下方式创建：
SLF4J-dev邮件列表上的一个讨论产生了一种开源项目叫做CAL10N或编译器辅助定位 。
正如其名所表示的，CAL10N专注于Java应用程序本地化/国际化的问题。
在CALI0N上，附带SLF4J-EXT-1.7.21.jar的org.slf4j.cal10n包的顶部增加了一个非常薄的一层包以提供本地化的日志记录。
原文链接 译者：小村长
本项目是 Apache Spark1.6.1方文档的中文翻译版，之前翻译过spark1.5，由于网站有组织翻译Spark1.6.1所以我又重新翻译了一下，我翻译的这一章和spark1.5一样。本次翻译主要针对对Spark感兴趣和致力于从事大数据方法开发的人员提供有价值的中文资料，希望能够对大家的工作和学习有所帮助。
这个翻译本应该在二月份完成，由于一直出差加上加班导致短短一篇文章迟迟没有完成，在此想大家表示深深的歉意。同时也希望有能力的童鞋能够一起努力推动大数据在中国的发展，让天下没有难学的技术谢谢大家。
原文网址：The Build Lifecycle
Maven是以构建生命周期这个核心概念为基础。构建生命周期是指为一个工程进行项目构建和分发的过程。
为了构建一个工程，有必要去学习一系列构建Maven项目的命令，并且POM文件会确保他们能够得到想要的结果。
Maven中内置了三个构建生命周期：default，clean和site。default生命周期处理工程的部署，clean生命周期处理工程的清理，而site生命周期则负责创建工程的站点文档。
原文地址 译者：Tyrian
依赖机制是Maven最为用户熟知的特性之一，同时也是Maven所擅长的领域之一。单个项目的依赖管理并不难，
但是当你面对包含数百个模块的多模块项目和应用时，Maven能帮你保证项目的高度控制力和稳定性。
大纲：
原文链接 译者：logan
尽管很少存在这样的情况，有时在你的构建过程中，需要将第三方jar包添加到本地仓库中，因为它并存在于像Maven中央仓库或其它的公共仓库中。为了让Maven能够正确获取到jar包，第三方jar包必须放置到本地仓库的正确位置上。Maven已经提供了maven-install-plugin这样的插件能够使Jar包的安装过程更加容易、更少出错。可以用下面的命令安装一个JAR包到本地仓库。
mvn install:install-file -Dfile= -DgroupId= -DartifactId= -Dversion= -Dpackaging=
这节主要讨论了可选的依赖排除功能。这将帮助用户理解它们是什么，怎么使用它们，它们是怎么工作的，和使用它们的最好的方式。同样也解释了为什么排除是在每个依赖的基础上，而不是在POM级别。
由于大部分Spark计算都是在内存中完成的，所以Spark程序的瓶颈可能由集群中任意一种资源导致，如：CPU、网络带宽、或者内存等。最常见的情况是，数据能装进内存，而瓶颈是网络带宽；当然，有时候我们也需要做一些优化调整来减少内存占用，例如将RDD以序列化格式保存（storing RDDs in serialized form）。本文将主要涵盖两个主题：1.数据序列化（这对于优化网络性能极为重要）；2.减少内存占用以及内存调优。同时，我们也会提及其他几个比较小的主题。
阅读全文
原文网址：The POM
POM(project object model)包含了工程信息和工程的配置细节，Maven使用POM文件来构建工程。POM文件包含了工程中的大部分默认值。举个例子，target是默认的构建目录，src/main/java是默认的源码目录，src/test/java是默认的测试源码目录，等等。
Maven2中的pom.xml就是Maven1中的project.xml。相比于在maven.xml中包含可执行的goal，现在goals和plugins都可以在pom.xml中配置。当执行一个task或者goal时，Maven会在当前目录下寻找并读取pom.xml来获取配置信息，然后执行goal。
能在pom.xml中声明的配置包括工程依赖(project dependencies)，插件(plugins)，可执行的目标(goals)，构建配置(build profiles)等等。其他信息，比如工程版本，描述，开发者，邮件列表等等也可以在pox.xml中声明。
(6 votes, average: 4.33 out of 5)
Loading...
(4 votes, average: 4.00 out of 5)