且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

《深入理解大数据:大数据处理与编程实践》一一2.1 Hadoop系统安装方法简介

更新时间:2022-09-30 22:13:14

本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第2章,第2.1节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.1 Hadoop系统安装方法简介

Hadoop可以用三种不同的方式进行安装。第一种方式是单机方式,它允许在一台运行Linux或Windows下虚拟Linux的单机上安装运行Hadoop系统。该方式通常适用于程序员先在本地编写和调试程序。第二种方式是单机伪分布方式,它允许在一台运行Linux或Windows下虚拟Linux的单机上,用伪分布方式,以不同的Java进程模拟分布运行环境中的NameNode、DataNode、JobTracker、TaskTracker等各类节点。第三种方式是集群分布模式,它是在一个真实的集群环境下安装运行Hadoop系统,集群的每个节点可以运行Linux或Windows下的虚拟Linux。单机和单机伪分布模式下编写调试完成的程序通常不需修改即可在真实的分布式Hadoop集群下运行,但通常需要修改配置。
在Windows下安装运行Hadoop,首先需要安装Cygwin来模拟Linux环境。通常,如果用户需要在自己的Windows环境单机上安装运行Hadoop时可以这样做;但如果是真实的集群环境建议不要用这种方式,因为Windows环境下模拟虚拟Linux环境运行Hadoop会比较复杂,而且运行效率将大为下降。