2000字范文,分享全网优秀范文,学习好帮手!
2000字范文 > 深入解析MapReduce架构设计与实现原理–读书笔记(6)HadoopRPC概

深入解析MapReduce架构设计与实现原理–读书笔记(6)HadoopRPC概

时间:2022-01-10 07:48:43

相关推荐

深入解析MapReduce架构设计与实现原理–读书笔记(6)HadoopRPC概

数据库|mysql教程

深入,解析,MapReduce,架构,设计,实现,原理,读书

数据库-mysql教程

卡盟商城系统源码,ubuntu输入输出,Tomcat请求量过大崩溃,葡萄叶爬虫子,PHP工程师考试报名,seo课程推荐lzw

网络通信模块是分布式系统中最底层的模块。直接支撑了上层分布式环境下复杂的进程间通信(IPC)。是所有分布式系统的基

中国mmm互助源码,apt下载vscode,fstab ubuntu,无妨访问tomcat,mac配置sqlite3,兼容ie8的 jquery 日历插件,前端开发排名网站框架优化,学习网页爬虫的心得,php 匹配 数组,金华seo优化企业,自己建一个彩票网站,手机网页在线编辑,免费的好看的电影网站模板lzw

易语言浏览源码,ubuntu怎么强制关闭,python爬虫做成软件,php ,云南seo人员lzw

网络通信模块是分布式系统中最底层的模块。直接支撑了上层分布式环境下复杂的进程间通信(IPC)。是所有分布式系统的基础。远程过程调用RPC是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另外一台计算机的子程序,同时将网络的通信细节隐藏起来。

hadoop RPC特点

1.透明性

当用户在一台计算机的程序调用另外一台计算机上的子程序时,用户自身不会感觉到跨机器之间的调用。

2.高性能

hadoop的各个系统均采用Master/Slave结构,其中,Master实际是一个RPC Server,它负责处理集群中所有的slave发送的服务器请求。为了保证Master的并发能力,RPC Server应是一个高性能服务器,能够有效处理来自多个Client的并发RPC请求。

3.可控性

JDK自带了一个RPC框架RMI,但是hadoop考虑到其太重,所以并没有使用。而是完成了一个轻量级,高性能和可控性强的RPC框架。

hadoop RPC包括四个部分。序列化层,函数调用层,网络传输层,服务器端处理框架。

序列化层:将结构化对象专为字节流以便于通过网络进行传输或者写入持久存储。在RPC框架中,它主要用于将用户请求中的参数或者应答转化成字节流以便跨机器传输。

Hadoop自己实现了序列化框架,一个类只要实现Writable接口,即可支持对象序列化与反序列化。

函数调用层:定位要调用的函数并执行该函数。hadoop RPC采用java反射机制与动态代理实现了函数调用。

网络传输层:Client与Server之间消息传输的方式。Hadoop RPC采用了基于TCP/IP的Socket机制。

服务器端处理框架:网络IO模型。描述了客户端与服务器端信息交互的方式。它的设计直接决定着服务器端的并发处理能力。hadoop RPC采用了基于Reactor设计模式的事件驱动IO模型。

hadoop RPC分为2层。

第一层是一个基于Java NIO实现的客户机/服务器通信模型。

客户端将用户的调用方法及参数封装成请求包后发送到服务器端。服务器端收到请求包后,经解包、调用函数、打包结果等一系列操作后,将结果返回给服务器端。

第二层是供更上层程序直接调用的RPC接口,这些接口底层即为客户机/服务器通信模型。

原文地址:深入解析MapReduce架构设计与实现原理–读书笔记(6)HadoopRPC概述, 感谢原作者分享。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。