本文翻译自《BIG DATA ANALYTICS BEYOND HADOOP》译者：许巧辉
首先，我要衷心感谢Vineet Tyagi、AVP和Impetus的创新实验室主管。Vineet对我帮助很大，并促使我写这本书。在6、7月份，每个工作日他给我3个小时的时间写作本书，这是帮助我完成本书的关键。任何学术活动都要专门花费很多时间——这时候就得加倍努力，因为我必须在工作之余写作。Vineet令写作成为我工作的一部分。
我也想对Pankaj Mittal、CTO和SVP、Impetus表示感谢，他对研发的全心支持，像我这样的研发全职工作。荣誉对他来说，就是Impetus能够有一个无支付和收入压力的研发团队。这真的释放了我并有助于我专注于研发。在IT行业工作，写书是一个艰巨的任务。感谢Pankaj实现这点及类似的活动。
阅读全文
本文翻译自《Getting Started With Storm》译者：吴京润 编辑：郭蕾 方腾飞
译者注：有些软件的最新版本已有变化，译文不会完全按照原文翻译，而是列出当前最新版本的软件。
首先，从下述GitHub的URL克隆这个例子：
本文翻译自《Getting Started With Storm》译者：吴京润 编辑：郭蕾 方腾飞
正如书中之前所提到的，使用Storm编程，可以通过调用ack和fail方法来确保一条消息的处理成功或失败。不过当元组被重发时，会发生什么呢？你又该如何砍不会重复计算？ 
Storm0.7.0实现了一个新特性——事务性拓扑，这一特性使消息在语义上确保你可以安全的方式重发消息，并保证它们只会被处理一次。在不支持事务性拓扑的情况下，你无法在准确性，可扩展性，以空错性上得到保证的前提下完成计算。
Lambdas项目是即将发布（译者注：原作者写本文的时候JAVA8尚未发布）的JAVA8中重要主题，同时它应该也是众多JAVA开发者最期待的功能。还有一个非常有意思的功能同Lambda表达式一起被加入到了JAVA中，它就是Defender方法。在这篇博文中，我想去探究一些更深层次的东西——JAVA如何在运行期表达Lambda表达式的和那些字节码指令在方法调度时被调用。
虽然JAVA8尚未发布，但你仍然可以通过“下载未正式发布版本”来体验JAVA8的魅力。
当客户端和Web Service服务器进行通信时，他们交换消息。客户端发送请求消息到Web Service服务器。 Web Service服务器响应并返回消息。这就像普通的HTTP，浏览器发送一个HTTP请求到Web服务器， Web服务器会提供一个HTTP响应。
最初唯一可用的Web Service消息格式是SOAP，后来出现了REST式的Web Service，它采用纯XML和HTTP。随着REST的兴起，出现了很多人使用JSON（JavaScript对象符号）作为消息格式。另外一个很简单的远程协议被称为XML-RPC（XML远程过程调用）。 对最常见的是SOAP协议我不会在这里详述消息格式细节，因为在后续的教程中会提到。在这里，我只是简单提一下。
客户端发送请求到web服务，并且接收web服务的响应
Web service是一种可以跨网络访问的服务，例如通过全球互联网访问。通常，这些Web服务及其客户端通过HTTP等网络协议进行通信。
这篇教程谈到的Web Service主要是从一个比较宏观的角度来看，涉及到服务重用、服务组合、企业服务总线等问题。 它并不包括SOAP，WSDL，REST等具体的细节，这些将在后面的文章中提到。
最近我们看到各种各样新的工具，能够帮助你搞定日志。开源的项目如Scribe和LogStash，在线的工具如Splunk，托管的服务如Sumologic和PaperTrail。这些工具可以帮你减少大量日志数据。
但是有一个东西它们都无法帮到你，它们都依赖你实际放入日志中的数据。获得更多、更高质量数据的任务就落在你身上了。所以，在关键时刻你需要调试部分代码和丢失的日志数据，你可能要取消晚饭了。
为了减少以上情况发生的次数，我要给你分享5件事情，当你在生产环境使用日志的时候你必须紧记在心： 阅读全文
自旋锁和互斥锁是多线程程序中的重要概念。 它们被用来锁住一些共享资源， 以防止并发访问这些共享数据时可能导致的数据不一致问题。 但是它们的不同之处在哪里？ 我们应该在什么时候用自旋锁代替互斥锁？
理论分析
从理论上说， 如果一个线程尝试加锁一个互斥锁的时候没有成功， 因为互斥锁已经被锁住了， 这个未获取锁的线程会休眠以使得其它线程可以马上运行。 这个线程会一直休眠， 直到持有锁的线程释放了互斥锁， 休眠的线程才会被唤醒。 如果一个线程尝试获得一个自旋锁的时候没有成功， 该线程会一直尝试加锁直到成功获取锁。 因此它不允许其它线程运行(当然， 操作系统会在该线程所在的时间片用完时， 强制切换到其它线程)。 阅读全文
《Concurrent Data Structures》（并发数据结构）一文是Mark Moir和Nir Shavit所撰写的一篇有关并发数据结构的综述性文章。这篇文章从多核处理器基础开始，理清了并发数据结构的基础设计理念和技巧，介绍了数据结构算法相关的正确性证明，并列举了栈，链表，队列，树等常用并发数据结构的设计思路。
为了促进大家对并发数据结构基础概念的了解，并发编程网组织译者翻译该论文。由于时间仓促，如有不到位的地方，还请各位指出。
感谢下列译者：董明鑫，俞升兵，Noodles，张军，huavben，iDestiny，郭振斌 阅读全文
考虑支持插入，删除和查找操作的并发数据结构实现。如果这些操作只处理键值（译者注：而不处理具体值），这样的数据结构会是一个集合。如果一个数据值与每一个键关联起来，我们就得到了一部数据字典。由于他们都是密切相关的数据结构，一个并发的集合通常能够经过适当修改来实现一部字典。在接下来的三个小节中，我们将专注于利用linked lists，hash tables，和trees这三种不同的数据结构来实现集合。
实现高效并发栈和队列的大部分挑战来自于一个被插入的元素可以被删除这一需求。并发池是一种支持插入和删除操作的数据结构，它允许删除操作移除任何一个已经被插入的，并且没有在随后被删除的元素。这样的弱需求提供了提高并发性能的机会。
一个高效的并发池可以使用任意静态一致的计数器来构建。在这样的并发池中，元素被置于数组当中，fetch-and-inc操作决定插入操作在哪个位置存储元素，同样的，fetch-and-inc操作决定删除操作在哪个位置获得元素。每一个数组元素都包含了一个表示满/空的比特位或者等效的机制，来表明在相应的位置，将要删除的元素已经存在。在这种策略下，使用combining tree，combining funnel，counting network，diffracting tree中的任何一个技术都可以并行化共享技术器，解决这一主要的瓶颈来创建出一个高吞吐量的共享并发池。此外，一个类似栈的池可以使用一个允许增加和减少操作的计数器来实现，然后利用以上技术中的一种来并行化.
阅读全文
任何查找树的并发实现都可以通过用一个独占锁保护来完成。通过使用读写锁对并发性能有一定提升，读写锁允许所有只读（查找）操作并发地执行，因为读操作是以共享模式持有锁，然而更新（插入或删除）操作持有独占模式的锁，从而排斥其他所有操作。如果更新操作比较少，这还能接受，但是只要有适量的更新操作，那么更新操作所持有的独占锁将产生线性的瓶颈，从而大大降低性能。通过使用细粒度的锁策略——比如每个节点一个锁，而不是整棵树使用同一个锁——这样我们进一步地提升了并发性能。
阅读全文
典型可扩展的哈希表即一个可调整大小的桶数组(buckets), 每一个桶存放预期数量的元素，因此哈希表平均在常量时间内进行插入，删除，查询操作。哈希表调整大小的主要成本—–在于新旧桶(buckets)之间进行重新分配操作，该操作被分摊到所有表操作上，所以平均操作时间也是常量的。哈希表调整大小就是扩容，在实践中，哈希表仅需要增加数组大小即可。
Michael实现了一个可并发，不可扩展的哈希表(通过对哈希表中每个桶进行读写锁约束)。然而，为了保证元素数量增长时的性能，哈希表必须可扩展。
阅读全文
原文地址 译者：何一昕 校对：方腾飞
概述
当你使用synchronized关键字的时候，是通过互斥器来保障线程安全以及对共享资源的同步访问。线程间也经常需要更进一步的协调执行，来完成复杂的并发任务，比如wait/notify模式就是一种在多线程环境下的协调执行机制。
通过API来获取和释放锁（使用互斥器）或者调用wait/notify等方法都是底层调用的方式。进一步来说，有必要为线程同步创建更高层次的抽象。通常用到的同步辅助类，就是对2个或多个线程间的同步活动机制做进一步封装，其内部原理是通过使用现有的底层API来实现复杂的线程间的协调。
Loading...
