Storm入门之附录A

本文翻译自《Getting Started With Storm》译者:吴京润    编辑:郭蕾 方腾飞

安装Storm客户端

Storm客户端能让我们使用命令管理集群中的拓扑。按照以下步骤安装Storm客户端:

  1. 从Storm站点下载最新的稳定版本(https://github.com/nathanmarz/storm/downloads)当前最新版本是storm-0.8.1。(译者注:原文是storm-0.6.2,不过翻译的时候已经是storm-0.8.1了)
  2. 把下载的文件解压缩到/usr/local/bin/storm的Storm共享目录。
  3. 把Storm目录加入PATH环境变量,这样就不用每次都输入全路径执行Storm了。如果我们使用了/usr/local/bin/storm,执行export PATH=$PATH:/usr/local/bin/storm
  4. 最后,创建Storm本地配置文件:~/.storm/storm.yaml,在配置文件中按如下格式加入nimbus主机:

[code lang=”yaml”]
      nimbus.host:"我们的nimbus主机"
[/code]

阅读全文

《Netty 权威指南》—— NIO创建的TimeServer源码分析

声明:本文是《Netty 权威指南》的样章,感谢博文视点授权并发编程网站发布样章,禁止以任何形式转载此文。

我们将在TimeServer例程中给出完整的NIO创建的时间服务器源码:

阅读全文

《Netty 权威指南》—— 服务端序列图

声明:本文是《Netty 权威指南》的样章,感谢博文视点授权并发编程网站发布样章,禁止以任何形式转载此文。

下面,我们对NIO服务端的主要创建过程进行讲解和说明,作为NIO的基础入门,我们将忽略掉一些在生产环境中部署所需要的一些特性和功能。

步骤一:打开ServerSocketChannel,用于监听客户端的连接,它是所有客户端连接的父管道,代码示例如下:

阅读全文

《Netty 权威指南》—— NIO类库简介

声明:本文是《Netty 权威指南》的样章,感谢博文视点授权并发编程网站发布样章,禁止以任何形式转载此文。

在介绍NIO编程之前,我们首先需要澄清一个概念,NIO到底是什么的简称?有人称之为New IO,因为它相对于之前的IO类库是新增的,所以被称为New IO,这是它的官方叫法。但是,由于之前老的IO类库是阻塞IO,New IO类库的目标就是要让JAVA支持非阻塞IO,所以,更多的人喜欢称之为非阻塞IO(Non-block IO),由于非阻塞IO更能够体现NIO的特点,所以本书使用的NIO都指的是非阻塞IO。

与Socket类和ServerSocket类相对应,NIO也提供了SocketChannel和ServerSocketChannel两种不同的套接字通道实现。这两种新增的通道都支持阻塞和非阻塞两种模式。阻塞模式使用非常简单,但是性能和可靠性都不好,非阻塞模式正好相反。开发人员一般可以根据自己的需要来选择合适的模式,一般来说,低负载、低并发的应用程序可以选择同步阻塞IO以降低编程复杂度。但是对于高负载、高并发的网络应用,需要使用NIO的非阻塞模式进行开发。
下面的小节首先介绍NIO编程中的一些基本概念,然后通过NIO服务端的序列图和源码讲解,让大家快速的熟悉NIO编程的关键步骤和API的使用。如果你已经熟悉了NIO编程,可以跳过2.3章节继续学习后面的章节。

阅读全文

《Netty 权威指南》—— 伪异步IO编程

声明:本文是《Netty 权威指南》的样章,感谢博文视点授权并发编程网站发布样章,禁止以任何形式转载此文。

为了解决同步阻塞IO面临的一个链路需要一个线程处理的问题,后来有人对它的线程模型进行了优化,后端通过一个线程池来处理多个客户端的请求接入,形成客户端个数M:线程池最大线程数N的比例关系,其中M可以远远大于N,通过线程池可以灵活的调配线程资源,设置线程的最大值,防止由于海量并发接入导致线程耗尽。 下面,我们结合连接模型图和源码,对伪异步IO进行分析,看它是否能够解决同步阻塞IO面临的问题。

阅读全文

Storm入门之第8章事务性拓扑

本文翻译自《Getting Started With Storm》译者:吴京润    编辑:郭蕾 方腾飞

正如书中之前所提到的,使用Storm编程,可以通过调用ack和fail方法来确保一条消息的处理成功或失败。不过当元组被重发时,会发生什么呢?你又该如何砍不会重复计算?

 

Storm0.7.0实现了一个新特性——事务性拓扑,这一特性使消息在语义上确保你可以安全的方式重发消息,并保证它们只会被处理一次。在不支持事务性拓扑的情况下,你无法在准确性,可扩展性,以空错性上得到保证的前提下完成计算。

 

阅读全文

《Netty 权威指南》—— 传统的BIO编程

声明:本文是《Netty 权威指南》的样章,感谢博文视点授权并发编程网站发布样章,禁止以任何形式转载此文。

网络编程的基本模型是Client/Server模型,也就是两个进程之间进行相互通信,其中服务端提供位置信息(绑定的IP地址和监听端口),客户端通过连接操作向服务端监听的地址发起连接请求,通过三次握手建立连接,如果连接建立成功,双方就可以通过网络套接字(Socket)进行通信。

在基于传统同步阻塞模型开发中,ServerSocket负责绑定IP地址,启动监听端口,Socket负责发起连接操作,连接成功之后,双方通过输入和输出流进行同步阻塞式通信。

阅读全文

《Netty 权威指南》样章

声明:本文是《Netty 权威指南》的样章目录,感谢博文视点授权并发编程网站发布样章,禁止以任何形式转载此文。

第 2 章  NIO入门

在本章节,我们分别对JDK的BIO、NIO和JDK1.7最新提供的NIO2.0的使用进行详细说明,通过流程图和代码讲解,让大家体会到随着Java IO类库的不断发展和改进,基于Java的网络编程会变得越来越简单,随着异步IO功能的增强,基于Java NIO开发的网络服务器甚至不逊色于采用C++开发的网络程序。

本章主要内容包括:

  •  传统的同步阻塞式IO编程
  • 基于NIO的非阻塞编程
  • 基于NIO2.0 的异步非阻塞(AIO)编程
  • 为什么要使用NIO编程
  • 为什么选择Netty

阅读全文

JAVA 8:Lambdas表达式初体验

原文链接译文链接,译者:郑旭东

Lambdas项目是即将发布(译者注:原作者写本文的时候JAVA8尚未发布)的JAVA8中重要主题,同时它应该也是众多JAVA开发者最期待的功能。还有一个非常有意思的功能同Lambda表达式一起被加入到了JAVA中,它就是Defender方法。在这篇博文中,我想去探究一些更深层次的东西——JAVA如何在运行期表达Lambda表达式的和那些字节码指令在方法调度时被调用。

虽然JAVA8尚未发布,但你仍然可以通过“下载未正式发布版本”来体验JAVA8的魅力。

阅读全文

hashCode()方法的性能优化

原文链接译文链接,原文作者: Robert Nystrom,译者:有孚

本文主要讨论下不同的hashCode()的实现对应用程序的性能影响。

hashCode()方法的一个主要作用就是使得对象能够成为哈希表的key或者散列集的成员。但同时这个对象还得实现equals(Object)方法,它和hashCode()的实现必须是一致的:

  • 如果a.equals(b)那么a.hashCode == b.hashCode()
  • 如果hashCode()在同一个对象上被调用两次,它应该返回的是同一个值,这表明这个对象没有被修改过。

阅读全文

面向GC的Java编程

感谢同事【沐剑】的投稿

Java程序员在编码过程中通常不需要考虑内存问题,JVM经过高度优化的GC机制大部分情况下都能够很好地处理堆(Heap)的清理问题。以至于许多Java程序员认为,我只需要关心何时创建对象,而回收对象,就交给GC来做吧!甚至有人说,如果在编程过程中频繁考虑内存问题,是一种退化,这些事情应该交给编译器,交给虚拟机来解决。

阅读全文

Web Services 概述

原文链接译文链接,译者:朱张锁,校对:郭蕾

术语“web服务”经常用来描述一个客户端(计算机)可通过互联网进行远程调用一个服务,通过诸如HTTP的Web协议。比如调用不同机器上的一个方法、过程或函数。因此Web服务非常类似于是“远程过程调用”(或只是“远程”)协议。比如java的RMI,Windows DCOM,CORBA的IIOP等。这些Web服务的原理如下图所示:

web-service-overview-1

(一个客户端通过互联网调用Web服务)

阅读全文

Web Service 消息格式

原文链接译文链接,译者:朱张锁,校对:郭蕾

当客户端和Web Service服务器进行通信时,他们交换消息。客户端发送请求消息到Web Service服务器。 Web Service服务器响应并返回消息。这就像普通的HTTP,浏览器发送一个HTTP请求到Web服务器, Web服务器会提供一个HTTP响应。

最初唯一可用的Web Service消息格式是SOAP,后来出现了REST式的Web Service,它采用纯XML和HTTP。随着REST的兴起,出现了很多人使用JSON(JavaScript对象符号)作为消息格式。另外一个很简单的远程协议被称为XML-RPC(XML远程过程调用)。 对最常见的是SOAP协议我不会在这里详述消息格式细节,因为在后续的教程中会提到。在这里,我只是简单提一下。

web-service-overview-1

客户端发送请求到web服务,并且接收web服务的响应

阅读全文

Web 服务接口

原文链接译文链接,译者:朱张锁,校对:郭蕾 假设一个web服务可以被外面的客户端调用了,那么客户端就需要一个对接口的描述,除了接口的描述,如何知道要发送的数据是什么格式呢? 你可以把服务想像成java或者c#的接口,唯一需要的额外信息是该服务的位置(IP地址)和该服务的消息格式,下面是一个服务描述应该包含的信息: 阅读全文

Web Services 系列教程

原文链接译文链接,译者:朱张锁,校对:郭蕾

Web service是一种可以跨网络访问的服务,例如通过全球互联网访问。通常,这些Web服务及其客户端通过HTTP等网络协议进行通信。

这篇教程谈到的Web Service主要是从一个比较宏观的角度来看,涉及到服务重用、服务组合、企业服务总线等问题。 它并不包括SOAP,WSDL,REST等具体的细节,这些将在后面的文章中提到。

阅读全文

return top