J.U.C并发框架

作者：Doug Lea
SUNY Oswego
Oswego NY 13126

dl@cs.oswego.edu

翻译：书卷多情

在J2SE1.5中，java.util.concurrent包下的大部分同步工具（锁、屏障等）以AbstractQueuedSynchronizer类为基础来构建。这个框架提供了一些常用机制用于自动管理并发状态、阻塞及非阻塞线程，以及队列。本论文描述了该框架的根源、设计、实现、用法及性能。 阅读全文

原文地址，译文地址，作者: Benjamin Winterberg，译者：Autumn，校对：李任

2014年3月16日

“Java is still not dead—and people are starting to figure that out.”

欢迎阅读我对 Java 8 的介绍。本指南将一步步地通过所有的新的语言特性来引导你认识Java 8。在简短的示例代码的帮助下，你将会学习到如何使用默认的接口方法、lambda表达式、方法引用以及可重复的注解。在文章的最后，你将会熟悉最新的API变化，例如：streams、函数式接口、map 扩展以及新的 Date API。

没有过多的文本 — 仅仅是一些具有注释的代码片段。一起享受吧！

阅读全文

对于进程有两个幻觉：一认为自己独享内存；二以为自己独享处理器。我们对于一台机器上的多个进程的幻觉是感觉他们是同时运行。

我们来依次解释下上面的三个幻觉：
关于独享内存不是我们的重点，简单说说。独享内存是指我们每个进程都独享虚拟内存。而虚拟内存地址最终是通过MMU翻译成实际的物理地址。这样做只是为了提供一种逻辑上的连续性，屏蔽内存碎片或是规避因内存有限而扩展到硬盘的各种问题，这样不用考虑实际的的限制从而使应用程序开发变得容易。还有一个值得注意的问题是在这个虚拟内存中如果这个进程是多线程的，那么将共享改空间，除了各自的堆栈、寄存器和所谓的虚拟处理器。这样会导致一个问题就是多个线程的stacksize对进程栈空间的要求呈线性增长，与复杂的多层级递归运算类似，导致stackoverflow。这也是好多语言比如Java的线程模型要求线程创建时指定好stacksize大小的原因。

阅读全文

原文链接，译文链接，译者：俞升兵，校对：周可人

1.1.1 性能

一个运行在P个处理上的应用程序的加速度是它在单个处理器上的执行时间和在P个处理器的执行时间的比值。这是一种评价应用程序对于机器资源利用程度的衡量。理想情况下，我们想要的结果是线性加速度：当我们使用P个处理器的时候,我们希望可以获得P的加速度(译者注:例如一个应用程序在单处理器的执行时间是10秒,那么在双处理的执行时间理想情况下是5秒)。加速度随着P一起增加的数据结构我们称之为可扩展的数据结构。在设计可扩展的数据结构的时候,我们必须注意：为了同步使用简单的方法会严重破坏扩展性。
阅读全文

本文翻译自《Getting Started With Storm》  译者：吴京润   编辑：方腾飞

第5章 Bolts

正如你已经看到的，bolts是一个Storm集群中的关键组件。你将在这一章学到bolt生命周期，一些bolt设计策略，以及几个有关这些内容的例子。

Bolt生命周期

Bolt是这样一种组件，它把元组作为输入，然后产生新的元组作为输出。实现一个bolt时，通常需要实现IRichBolt接口。Bolts对象由客户端机器创建，序列化为拓扑，并提交给集群中的主机。然后集群启动工人进程反序列化bolt，调用prepare，最后开始处理元组。
阅读全文

本文翻译自《Getting Started With Storm》  译者：吴京润   编辑：方腾飞

你将在本章了解到spout作为拓扑入口和它的容错机制相关的最常见的设计策略。

可靠的消息 VS 不可靠的消息

在设计拓扑结构时，始终在头脑中记着的一件重要事情就是消息的可靠性。当有无法处理的消息时，你就要决定该怎么办，以及作为一个整体的拓扑结构该做些什么。举个例子，在处理银行存款时，不要丢失任何事务报文就是很重要的事情。但是如果你要统计分析数以百万的tweeter消息，即使有一条丢失了，仍然可以认为你的结果是准确的。

对于Storm来说，根据每个拓扑的需要担保消息的可靠性是开发者的责任。这就涉及到消息可靠性和资源消耗之间的权衡。高可靠性的拓扑必须管理丢失的消息，必然消耗更多资源；可靠性较低的拓扑可能会丢失一些消息，占用的资源也相应更少。不论选择什么样的可靠性策略，Storm都提供了不同的工具来实现它。

要在spout中管理可靠性，你可以在分发时包含一个元组的消息ID（collector.emit(new Values(…),tupleId)）。在一个元组被正确的处理时调用ack方法，而在失败时调用fail方法。当一个元组被所有的靶bolt和锚bolt处理过，即可判定元组处理成功（你将在第5章学到更多锚bolt知识）。
阅读全文

原文链接，译文链接，译者：董明鑫，校对：周可人

随着多个处理器共享同一内存的机器在商业上的广泛使用，并发编程的艺术也产生了巨大的变化。当前的趋势向着低功耗芯片级多线程（CMT）发展，所以这样的机器一定会更加广泛的被使用。

共享内存多处理器是指并发的执行多个线程的系统，这些线程在共享的内存中通过数据结构通讯和同步。这些数据结构的效率对于性能是很关键的，而目前熟练掌握为多处理器机器设计高效数据结构这一技术的人并不多。对大多数人来说，设计并发的数据结构比设计单线程的难多了，因为并发执行的线程可能会多种方式地交错运行他们的指令，每一种方式会带来不同的，甚至不符合预期的输出。这就要求设计者改变他们对运算的认识，理解新的设计方法，采用新的编程工具集。此外，设计可扩展的并发数据结构，使得当机器执行越来越多的并发线程时依旧表现良好也是新的挑战。本文主要介绍设计并发数据结构的相关挑战，和一些重要的数据结构相关内容的总结。我们的总结绝不是全面的；相反，我们特意选取了一些能说明设计的关键问题的流行的数据结构，希望我们提供了足够的背景和知识，让有兴趣的读者接触那些我们没有提到的内容。
阅读全文

原文地址，译文地址，译者： 李杰聪，校对：郑旭东

原文作者：

• Irina Calciu         Brown University        irina@cs.brown.edu
• Dave Dice          Oracle Labs             dave.dice@oracle.com
• Yossi Lev           Oracle Labs             yossi.lev@oracle.com
• Victor Luchangco    Oracle Labs              victor.luchangco@oracle.com
• Virendra J. Marathe   Oracle Labs             virendra.marathe@oracle.com
• Nir Shavit           MIT                   shanir@csail.mit.edu

摘要

因为多核和多芯片计算机的快速增长，非一致性内存访问(NUMA)架构在主流计算机系统中的地位越来越重要。为了在这些新系统上获取最好的性能，我们需要重新修改当前程序组成部分的并发算法和同步原语。这篇论文重新设计了很关键的同步原语——读写锁。

据我们所知，本文论述的读写锁是第一个专门为NUMA架构设计的，以及这个读写锁的变种。这些变种考虑了在高并发读的情况下的读和写的公平性以及在同一个NUMA节点上让写批量运行。我们的算法利用群组所技术来处理写者之间的同步，比较适合NUMA架构，同时使用二进制标志来协调读者和写者，利用简化的读者计数器，可以在NUMA上使读者间取得更好的并发性。最经过我们的基准程序测试之后，这些简单的NUMA锁算法竟然比目前比较出色的读-写锁的效率还高出10倍以上。为了了评估在真实环境中我们算法的效率，我们也提供了用基准程序 kccachetest测试的结果。Kccachetest属于Kyoto-Cabinet 发行版，这是一个开源的数据库使用了大量的 pthread 线程库的读写锁。跟最好的锁比，我们的锁也把kccachetest的效率提升了40%。 阅读全文

本文翻译自《Getting Started With Storm》  译者：吴京润   编辑：方腾飞

在这一章，你将学到如何在同一个Storm拓扑结构内的不同组件之间传递元组，以及如何向一个运行中的Storm集群发布一个拓扑。

数据流组

设计一个拓扑时，你要做的最重要的事情之一就是定义如何在各组件之间交换数据（数据流是如何被bolts消费的）。一个数据流组指定了每个bolt会消费哪些数据流，以及如何消费它们。

NOTE：一个节点能够发布一个以上的数据流，一个数据流组允许我们选择接收哪个。

数据流组在定义拓扑时设置，就像我们在第二章看到的：

···
    builder.setBolt("word-normalizer", new WordNormalizer())
           .shuffleGrouping("word-reader");
···

在前面的代码块里，一个bolt由TopologyBuilder对象设定， 然后使用随机数据流组指定数据源。数据流组通常将数据源组件的ID作为参数，取决于数据流组的类型不同还有其它可选参数。

NOTE：每个InputDeclarer可以有一个以上的数据源，而且每个数据源可以分到不同的组。
阅读全文

原文链接  译文链接   翻译：丁一   下载：JSR133中文版

本文是JSR-133规范，即Java^TM内存模型与线程规范，由JSR-133专家组开发。本规范是JSR-176（定义了Java^TM平台 Tiger（5.0）发布版的主要特性）的一部分。本规范的标准内容将合并到Java^TM语言规范、Java^TM虚拟机规范以及java.lang包的类说明中。本JSR-133规范将不再通过JCP维护和修改。未来所有对这些标准化内容的更新、修正以及说明都会出现在上述这些文档中。

本规范的标准化内容包含在第5, 7, 9.2, 9.3, 11, 12, 14, 15以及16节。其它章节，以及上述提到的章节的部分内容，属非标准化内容，用于解释和说明标准化内容。如果标准化内容和非标准化内容有冲突，以标准化内容为准。

本规范的讨论与开发异常复杂且专业性强，需要对一些学术论题有深刻的见解并了解它们的发展过程。这些讨论在JMM web站点上都有存档。该站点提供了额外的信息，可以帮助理解本规范形成的过程。
阅读全文

感谢网友【蒋小强】投稿。

如何合理地估算线程池大小？

这个问题虽然看起来很小，却并不那么容易回答。大家如果有更好的方法欢迎赐教，先来一个天真的估算方法：假设要求一个系统的TPS（Transaction Per Second或者Task Per Second）至少为20，然后假设每个Transaction由一个线程完成，继续假设平均每个线程处理一个Transaction的时间为4s。那么问题转化为：

如何设计线程池大小，使得可以在1s内处理完20个Transaction？

计算过程很简单，每个线程的处理能力为0.25TPS，那么要达到20TPS，显然需要20/0.25=80个线程。

很显然这个估算方法很天真，因为它没有考虑到CPU数目。一般服务器的CPU核数为16或者32，如果有80个线程，那么肯定会带来太多不必要的线程上下文切换开销。
阅读全文

原文地址，译文地址，译者: 董明鑫，校对：郑旭东

上下文切换（有时也称做进程切换或任务切换）是指 CPU 从一个进程或线程切换到另一个进程或线程。
进程（有时候也称做任务）是指一个程序运行的实例。在 Linux 系统中，线程就是能并行运行并且与他们的父进程（创建他们的进程）共享同一地址空间（一段内存区域）和其他资源的轻量级的进程。
上下文是指某一时间点 CPU 寄存器和程序计数器的内容。寄存器是 CPU 内部的数量较少但是速度很快的内存（与之对应的是 CPU 外部相对较慢的 RAM 主内存）。寄存器通过对常用值（通常是运算的中间值）的快速访问来提高计算机程序运行的速度。程序计数器是一个专用的寄存器，用于表明指令序列中 CPU 正在执行的位置，存的值为正在执行的指令的位置或者下一个将要被执行的指令的位置，具体依赖于特定的系统。
稍微详细描述一下，上下文切换可以认为是内核（操作系统的核心）在 CPU 上对于进程（包括线程）进行以下的活动：（1）挂起一个进程，将这个进程在 CPU 中的状态（上下文）存储于内存中的某处，（2）在内存中检索下一个进程的上下文并将其在 CPU 的寄存器中恢复，（3）跳转到程序计数器所指向的位置（即跳转到进程被中断时的代码行），以恢复该进程。 阅读全文

本文翻译自《Getting Started With Storm》  译者：吴京润   编辑：方腾飞

准备开始

在本章，我们要创建一个Storm工程和我们的第一个Storm拓扑结构。

NOTE: 下面假设你的JRE版本在1.6以上。我们推荐Oracle提供的JRE。你可以到http://www.java .com/downloads/下载。

操作模式

开始之前，有必要了解一下Storm的操作模式。有下面两种方式。

本地模式

在本地模式下，Storm拓扑结构运行在本地计算机的单一JVM进程上。这个模式用于开发、测试以及调试，因为这是观察所有组件如何协同工作的最简单方法。在这种模式下，我们可以调整参数，观察我们的拓扑结构如何在不同的Storm配置环境下运行。要在本地模式下运行，我们要下载Storm开发依赖，以便用来开发并测试我们的拓扑结构。我们创建了第一个Storm工程以后，很快就会明白如何使用本地模式了。

阅读全文

原文链接，译文链接，原文作者： Sarma Swaranga，本文最早发表于deepinmind，校对：郑旭东

这篇文章里我们主要讨论下如何在Java里实现一个对象池。最近几年，Java虚拟机的性能在各方面都得到了极大的提升，因此对大多数对象而言，已经没有必要通过对象池来提高性能了。根本的原因是，创建一个新的对象的开销已经不像过去那样昂贵了。

阅读全文

原书下载地址 译者：吴京润   编辑：方腾飞

译者注：本文翻译自《Getting Started With Storm》，本书中所有Storm相关术语都用斜体英文表示。 这些术语的字面意义翻译如下，由于这个工具的名字叫Storm，这些术语一律按照气象名词解释

• spout 龙卷，读取原始数据为bolt提供数据
• bolt 雷电，从spout或其它bolt接收数据，并处理数据，处理结果可作为其它bolt的数据源或最终结果
• nimbus 雨云，主节点的守护进程，负责为工作节点分发任务。

下面的术语跟气象就没有关系了

• topology 拓扑结构，Storm的一个任务单元
• define field(s) 定义域，由spout或bolt提供，被bolt接收

本文是该书的第一章。

基础知识

Storm是一个分布式的，可靠的，容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。你可以想象一下，一个Storm集群就是在一连串的bolt之间转换spout传过来的数据。 阅读全文