简介
本文介绍了如何在华为云上使用弹性云服务器的Ｌｉｎｕｘ实例手工搭建Ｈａｄｏｏｐ环境。Ｈａｄｏｏｐ是一款由Ａｐａｃｈｅ基金会用Ｊａｖａ语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。Ｈａｄｏｏｐ的核心部件是ＨＤＦＳ（Ｈａｄｏｏｐ Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ）和ＭａｐＲｅｄｕｃｅ：
ＨＤＦＳ：是一个分布式文件系统，可对应用程序数据进行分布式储存和读取。
ＭａｐＲｅｄｕｃｅ：是一个分布式计算框架，ＭａｐＲｅｄｕｃｅ的核心思想是把计算任务分配给集群内的服务器执行。通过对计算任务的拆分（Ｍａｐ计算和Ｒｅｄｕｃｅ计算），再根据任务调度器（ＪｏｂＴｒａｃｋｅｒ）对任务进行分布式计算。
更多信息，请参见Ｈａｄｏｏｐ官网。
前提条件
已购买一台弹性云服务器，且已为其绑定弹性公网ＩＰ。
弹性云服务器所在安全组添加了如下表所示的安全组规则，具体步骤参见为安全组添加安全组规则。
表１ 安全组规则
为了更好的获取和更新系统和软件，建议您更新镜像源为华为云镜像源，详细操作，请参见如何使用自动化工具配置华为云镜像源（ｘ８６＿６４和ＡＲＭ）？。
操作流程
Ｌｉｎｕｘ实例手工搭建Ｈａｄｏｏｐ环境的具体操作步骤如下：
安装ＪＤＫ
安装Ｈａｄｏｏｐ
配置Ｈａｄｏｏｐ
配置ＳＳＨ免密登录
启动Ｈａｄｏｏｐ
实施步骤
安装ＪＤＫ
登录弹性云服务器。
执行以下命令，下载ｊｄｋ软件包。
以ｊｄｋ１７为例，在列表中查看可用的ＪＤＫ软件包版本，以ｊｄｋ－１７＿ｌｉｎｕｘ－ｘ６４＿ｂｉｎ．ｔａｒ．ｇｚ安装包为例，执行以下命令。
ｗｇｅｔ ｈｔｔｐｓ：／／ｄｏｗｎｌｏａｄ．ｏｒａｃｌｅ．ｃｏｍ／ｊａｖａ／１７／ｌａｔｅｓｔ／ｊｄｋ－１７＿ｌｉｎｕｘ－ｘ６４＿ｂｉｎ．ｔａｒ．ｇｚ
解压ｊｄｋ安装包到ｏｐｔ目录下。
ｔａｒ －ｘｖｆ ｊｄｋ－１７＿ｌｉｎｕｘ－ｘ６４＿ｂｉｎ．ｔａｒ．ｇｚ －Ｃ ／ｏｐｔ／
配置环境变量。
ｖｉｍ ／ｅｔｃ／ｐｒｏｆｉｌｅ
在底部添加以下内容。
＃ｓｅｔ ｊａｖａ ｅｎｖｉｒｏｎｍｅｎｔ
ｅｘｐｏｒｔ ＪＡＶＡ＿ＨＯＭＥ＝／ｏｐｔ／ｊｄｋ－１７．０．ｘ
ｅｘｐｏｒｔ ＰＡＴＨ＝＄ＰＡＴＨ：＄ＪＡＶＡ＿ＨＯＭＥ／ｂｉｎ
说明：
“ｊｄｋ－１７．０．ｘ”表示ｊｄｋ安装包的具体版本，实际值需要从步骤３的返回值中获取。
例如：ｊｄｋ－１７．０．８
按“Ｅｓｃ”退出编辑模式。
执行以下命令保存并退出。
：ｗｑ
执行以下命令使／ｅｔｃ／ｐｒｏｆｉｌｅ里的配置生效。
ｓｏｕｒｃｅ ／ｅｔｃ／ｐｒｏｆｉｌｅ
验证安装。
ｊａｖａ －ｖｅｒｓｉｏｎ
回显信息如下表示ｊｄｋ安装成功。
ｊａｖａ ｖｅｒｓｉｏｎ ＂１７．０．８＂ ２０２３－０７－１８ ＬＴＳ
Ｊａｖａ（ＴＭ） ＳＥ Ｒｕｎｔｉｍｅ Ｅｎｖｉｒｏｎｍｅｎｔ （ｂｕｉｌｄ １７．０．８＋９－ＬＴＳ－２１１）
Ｊａｖａ ＨｏｔＳｐｏｔ（ＴＭ） ６４－Ｂｉｔ Ｓｅｒｖｅｒ ＶＭ （ｂｕｉｌｄ １７．０．８＋９－ＬＴＳ－２１１， ｍｉｘｅｄ ｍｏｄｅ， ｓｈａｒｉｎｇ）
安装Ｈａｄｏｏｐ
执行以下命令，下载Ｈａｄｏｏｐ软件包。此处以２．１０．ｘ版本为例。
说明：
以下命令中，需要将“２．１０．ｘ”中的“ｘ”替换为具体的软件版本号。
ｗｇｅｔ ｈｔｔｐｓ：／／ｍｉｒｒｏｒｓ．ｂｆｓｕ．ｅｄｕ．ｃｎ／ａｐａｃｈｅ／ｈａｄｏｏｐ／ｃｏｍｍｏｎ／ｈａｄｏｏｐ－２．１０．ｘ／ｈａｄｏｏｐ－２．１０．ｘ．ｔａｒ．ｇｚ
解压Ｈａｄｏｏｐ安装包到ｏｐｔ目录下。
ｔａｒ －ｘｖｆ ｈａｄｏｏｐ－２．１０．ｘ．ｔａｒ．ｇｚ －Ｃ ／ｏｐｔ／
配置环境变量。
ｖｉｍ ／ｅｔｃ／ｐｒｏｆｉｌｅ
在底部添加以下内容。
＃ｓｅｔ ｈａｄｏｏｐ ｅｎｖｉｒｏｎｍｅｎｔ
ｅｘｐｏｒｔ ＨＡＤＯＯＰ＿ＨＯＭＥ＝／ｏｐｔ／ｈａｄｏｏｐ－２．１０．ｘ
ｅｘｐｏｒｔ ＰＡＴＨ＝＄ＰＡＴＨ：＄ＨＡＤＯＯＰ＿ＨＯＭＥ／ｂｉｎ：＄ＨＡＤＯＯＰ＿ＨＯＭＥ／ｓｂｉｎ：＄ＰＡＴＨ
ｅｘｐｏｒｔ ＨＤＦＳ＿ＮＡＭＥＮＯＤＥ＿ＵＳＥＲ＝ｒｏｏｔ
ｅｘｐｏｒｔ ＨＤＦＳ＿ＤＡＴＡＮＯＤＥ＿ＵＳＥＲ＝ｒｏｏｔ
ｅｘｐｏｒｔ ＨＤＦＳ＿ＳＥＣＯＮＤＡＲＹＮＡＭＥＮＯＤＥ＿ＵＳＥＲ＝ｒｏｏｔ
按“Ｅｓｃ”退出编辑模式。
执行以下命令保存并退出。
：ｗｑ
执行以下命令使／ｅｔｃ／ｐｒｏｆｉｌｅ里的配置生效。
ｓｏｕｒｃｅ ／ｅｔｃ／ｐｒｏｆｉｌｅ
执行以下命令，修改配置文件ｙａｒｎ－ｅｎｖ．ｓｈ和ｈａｄｏｏｐ－ｅｎｖ．ｓｈ中ＪＡＶＡ＿ＨＯＭＥ的路径。
ｅｃｈｏ ＂ｅｘｐｏｒｔ ＪＡＶＡ＿ＨＯＭＥ＝／ｏｐｔ／ｊｄｋ－１７．０．８＂ ＞＞ ／ｏｐｔ／ｈａｄｏｏｐ－２．１０．ｘ／ｅｔｃ／ｈａｄｏｏｐ／ｙａｒｎ－ｅｎｖ．ｓｈ
ｅｃｈｏ ＂ｅｘｐｏｒｔ ＪＡＶＡ＿ＨＯＭＥ＝／ｏｐｔ／ｊｄｋ－１７．０．８＂ ＞＞ ／ｏｐｔ／ｈａｄｏｏｐ－２．１０．ｘ／ｅｔｃ／ｈａｄｏｏｐ／ｈａｄｏｏｐ－ｅｎｖ．ｓｈ
验证安装。
ｈａｄｏｏｐ ｖｅｒｓｉｏｎ
回显信息如下所示表示Ｈａｄｏｏｐ安装成功。
Ｈａｄｏｏｐ ２．１０．ｘ
Ｓｕｂｖｅｒｓｉｏｎ ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ａｐａｃｈｅ／ｈａｄｏｏｐ －ｒ １８２７４６７ｃ９ａ５６ｆ１３３０２５ｆ２８５５７ｂｆｃ２ｃ５６２ｄ７８ｅ８１６
Ｃｏｍｐｉｌｅｄ ｂｙ ｃｅｎｔｏｓ ｏｎ ２０２０－０９－１４Ｔ１３：１７Ｚ
Ｃｏｍｐｉｌｅｄ ｗｉｔｈ ｐｒｏｔｏｃ ２．５．０
Ｆｒｏｍ ｓｏｕｒｃｅ ｗｉｔｈ ｃｈｅｃｋｓｕｍ ３１１４ｅｄｅｆ８６８ｆ１ｆ３８２４ｅ７ｄ０ｆ６８ｂｅ０３６５０
Ｔｈｉｓ ｃｏｍｍａｎｄ ｗａｓ ｒｕｎ ｕｓｉｎｇ ／ｏｐｔ／ｈａｄｏｏｐ－２．１０．ｘ／ｓｈａｒｅ／ｈａｄｏｏｐ／ｃｏｍｍｏｎ／ｈａｄｏｏｐ－ｃｏｍｍｏｎ－２．１０．ｘ．ｊａｒ
配置Ｈａｄｏｏｐ
修改Ｈａｄｏｏｐ配置文件ｃｏｒｅ－ｓｉｔｅ．ｘｍｌ。
执行以下命令，进入编辑页面。
ｖｉｍ ／ｏｐｔ／ｈａｄｏｏｐ－２．１０．ｘ／ｅｔｃ／ｈａｄｏｏｐ／ｃｏｒｅ－ｓｉｔｅ．ｘｍｌ
输入ｉ，进入编辑模式。
在＜ｃｏｎｆｉｇｕｒａｔｉｏｎ＞＜／ｃｏｎｆｉｇｕｒａｔｉｏｎ＞节点内，插入如下内容。
＜ｐｒｏｐｅｒｔｙ＞
＜ｎａｍｅ＞ｈａｄｏｏｐ．ｔｍｐ．ｄｉｒ＜／ｎａｍｅ＞
＜ｖａｌｕｅ＞ｆｉｌｅ：／ｏｐｔ／ｈａｄｏｏｐ－２．１０．ｘ／ｔｍｐ＜／ｖａｌｕｅ＞
＜ｄｅｓｃｒｉｐｔｉｏｎ＞ｌｏｃａｔｉｏｎ ｔｏ ｓｔｏｒｅ ｔｅｍｐｏｒａｒｙ ｆｉｌｅｓ＜／ｄｅｓｃｒｉｐｔｉｏｎ＞
＜／ｐｒｏｐｅｒｔｙ＞
＜ｐｒｏｐｅｒｔｙ＞
＜ｎａｍｅ＞ｆｓ．ｄｅｆａｕｌｔＦＳ＜／ｎａｍｅ＞
＜ｖａｌｕｅ＞ｈｄｆｓ：／／ｌｏｃａｌｈｏｓｔ：９０００＜／ｖａｌｕｅ＞
＜／ｐｒｏｐｅｒｔｙ＞
按“Ｅｓｃ”退出编辑模式。
执行以下命令保存并退出。
：ｗｑ
修改Ｈａｄｏｏｐ配置文件ｈｄｆｓ－ｓｉｔｅ．ｘｍｌ。
执行以下命令，进入编辑页面。
ｖｉｍ ／ｏｐｔ／ｈａｄｏｏｐ－２．１０．ｘ／ｅｔｃ／ｈａｄｏｏｐ／ｈｄｆｓ－ｓｉｔｅ．ｘｍｌ
输入ｉ，进入编辑模式。
在＜ｃｏｎｆｉｇｕｒａｔｉｏｎ＞＜／ｃｏｎｆｉｇｕｒａｔｉｏｎ＞节点内，插入如下内容。
＜ｐｒｏｐｅｒｔｙ＞
＜ｎａｍｅ＞ｄｆｓ．ｒｅｐｌｉｃａｔｉｏｎ＜／ｎａｍｅ＞
＜ｖａｌｕｅ＞１＜／ｖａｌｕｅ＞
＜／ｐｒｏｐｅｒｔｙ＞
＜ｐｒｏｐｅｒｔｙ＞
＜ｎａｍｅ＞ｄｆｓ．ｎａｍｅｎｏｄｅ．ｎａｍｅ．ｄｉｒ＜／ｎａｍｅ＞
＜ｖａｌｕｅ＞ｆｉｌｅ：／ｏｐｔ／ｈａｄｏｏｐ－２．１０．ｘ／ｔｍｐ／ｄｆｓ／ｎａｍｅ＜／ｖａｌｕｅ＞
＜／ｐｒｏｐｅｒｔｙ＞
＜ｐｒｏｐｅｒｔｙ＞
＜ｎａｍｅ＞ｄｆｓ．ｄａｔａｎｏｄｅ．ｄａｔａ．ｄｉｒ＜／ｎａｍｅ＞
＜ｖａｌｕｅ＞ｆｉｌｅ：／ｏｐｔ／ｈａｄｏｏｐ－２．１０．ｘ／ｔｍｐ／ｄｆｓ／ｄａｔａ＜／ｖａｌｕｅ＞
＜／ｐｒｏｐｅｒｔｙ＞
按“Ｅｓｃ”退出编辑模式。
执行以下命令保存并退出。
：ｗｑ
配置ＳＳＨ免密登录
执行以下命令，创建公钥和私钥。
ｓｓｈ－ｋｅｙｇｅｎ －ｔ ｒｓａ
按三次回车后回显信息如下图所示，表示创建公钥和私钥成功。
执行以下命令，将公钥添加到ａｕｔｈｏｒｉｚｅｄ＿ｋｅｙｓ文件中。
ｃａｔ ～／．ｓｓｈ／ｉｄ＿ｒｓａ．ｐｕｂ ＞＞ ～／．ｓｓｈ／ａｕｔｈｏｒｉｚｅｄ＿ｋｅｙｓ
ｃｈｍｏｄ ０６００ ～／．ｓｓｈ／ａｕｔｈｏｒｉｚｅｄ＿ｋｅｙｓ
启动Ｈａｄｏｏｐ
执行以下命令，初始化ｎａｍｅｎｏｄｅ。
ｈａｄｏｏｐ ｎａｍｅｎｏｄｅ －ｆｏｒｍａｔ
依次执行以下命令，启动Ｈａｄｏｏｐ。
ｓｔａｒｔ－ｄｆｓ．ｓｈ
在回显信息中，依次输入ｙｅｓ。
ｓｔａｒｔ－ｙａｒｎ．ｓｈ
回显信息如下图所示。
执行以下命令，可查看成功启动的进程。
ｊｐｓ
成功启动的进程如下所示。
９１３８ ＮａｍｅＮｏｄｅ
９８７６ Ｊｐｓ
９２７５ ＤａｔａＮｏｄｅ
９４５５ ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ
打开浏览器访问ｈｔｔｐ：／／服务器弹性公网ＩＰ地址：８０８８和ｈｔｔｐ：／／服务器弹性公网ＩＰ地址：５００７０。
若显示如下界面，表示Ｈａｄｏｏｐ环境搭建完成。
华为云共建智能世界云底座[52] 华为公有云专属云主机DeH服务[51] 华为云场景化解决方案[49] 华为公有云产品[44] 华为云云主机[43] 华为云产品服务[43] 华为云服务器应用[43] 华为弹性云服务器[39] 华为公有云架构解决方案[38] 华为云提供的服务[37] 华为虚拟私有云vpc[37] 华为公有云介绍[32] 华为公有云提供哪些计算服务[30] 华为云漏洞扫描[27] 华为云软件开发服务[27] 华为公有云和私有云区别[27] 华为云域名注册[26] 华为云官网登陆[26] 华为公有云解决方案[26] 华为私有云产品有哪些[26] 华为私有云服务[25] 华为云数据库[23] 华为云安全[22] 华为公有云官网[22] 华为私有云的搭建方案[22] 华为云弹性云服务器应用[21] 华为公有云平台[20] 华为公有云行业解决方案[20] 华为私有云解决方案服务定制领导者[20] [19] 华为私有云服务器[19] 华为私有云网格结构[19] 华为公有云视讯解决方案[18] 华为云官网[17] 华为云速建站[17] 华为私有云架构[17] 华为云优势[16] 华为云服务器[16] 华为私有云部署架构[16] 华为云企业邮箱服务 (SAAS[15] 华为云邮箱[15] 华为公有云是什么[15] 华为公有云架构[15] 华为云迁移解决方案[14] 华为公有云解决方案服务定制领导者[14] 华为私有云解决方案[14] 云邮箱）[13] 华为云园区解决方案[13] 华为云服务总代理[13] 华为云速智能客服[13] 华为公有云服务[13] 华为私有云搭建方案[13] 云与计算咨询服务[12] 云与计算培训服务[11] 华为云备份[11] 华为云服务器配置[11] 华为云服务服务中心[11] 华为云服务核心分销商[11] 华为公有云[11] 华为私有云搭建[11] 云迁移与运营支撑服务[10] 公有云私有云混合云[10] 华为云服务器ECS[10] 华为云服务器成功案例[10] 华为云解决方案[10] 华为公有云通用解决方案[9] 华为智慧云课堂解决方案[9] 华为云数据解决方案[8] 华为云是什么[8] 华为私有云平台[8] 云与计算客户支持与运维使能服务[7] 华为云官网网站[7] 华为云智慧教育解决方案[7] 华为云智慧校园解决方案[7] 华为云桌面系统集成商[7] 华为云经销商[7] 华为代理公司有哪些[7] 华为私有云方案[7] 智慧教育云平台解决方案[7] 华为云服务器试用[6] 华为云网站建设服务器[6] 华为手机代理加盟[6] 华为私有云[6] 大数据使能服务[6] 智慧教育云计算解决方案[6] 华为云云主机 [5] 华为云智慧***解决方案[5] 华为云桌面总代理商[5] 云与计算客户支持服务[4] 华为云产品介绍[4] 华为云智慧制造解决方案[4] 华为云场景化解决方案[3] 华为公有云官网[3] 华为公有云通用解决方案[3] 华为弹性云服务器[3] 华为公有云产品 [3] 华为云产品服务[2] 华为云域名注册[2] 华为云数据库[2] 华为云智慧校园解决方案[2] 华为云服务器应用[2] 华为云服务器成功案例[2] 华为云软件开发服务[2] 华为公有云产品[2] 华为公有云介绍[2] 华为公有云和私有云区别[2] 华为公有云服务[2] 华为公有云架构[2] 华为公有云架构解决方案[2] 华为公有云视讯解决方案[2] 华为公有云解决方案[2] 华为私有云产品有哪些[2] 华为私有云服务[2] 华为私有云架构[2] 智慧教育云计算解决方案[2] 云规划设计与实施服务[2] 云邮箱[2] 华为云产品报价[2] 华为公有云通用解决方案 [2] 华为云服务器成功案例[1] 华为云桌面系统集成商[1] 云与计算客户支持与运维使能服务[1] 云迁移与运营支撑服务[1] 云迁移与运营支撑服务 [1] 华为云共建智能世界云底座[1] 华为云备份[1] 华为云安全[1] 华为云官网登陆[1] 华为云弹性云服务器应用[1] 华为云提供的服务[1] 华为云数据解决方案[1] 华为云智慧制造解决方案[1] 华为云服务器[1] 华为云服务核心分销商 [1] 华为云漏洞扫描[1] 华为云迁移解决方案 [1] 华为云速智能客服[1] 华为云邮箱[1] 华为公有云专属云主机DeH服务[1] 华为公有云是什么[1] 华为公有云行业解决方案[1] 华为私有云搭建[1] 华为私有云方案[1] 华为私有云服务.华为公有云专属云主机DeH服务.华为云产品报价[1] 华为私有云的搭建方案[1] 华为私有云网格结构[1] 华为私有云解决方案[1] 华为私有云部署架构[1] 为云产品服务[1] 云与计算咨询服务 [1] 云与计算客户支持与运维使能服务 [1] 云与计算客户支持与运维使能服务 云与计算客户支持服务[1] 华为云是什么 [1] 华为云软件开发服[1] 华为云速智能客服 [1] 华为代理加盟[1] 华为公有云架构解决方案 [1] 华为公有云解决方案服务定制领导者 [1] 华为弹性云[1] 华为弹性云服务器 华为云域名注册 华为云服务器应用[1] 华为私有云搭建 [1] 华为私有云搭建方案 [1] 华为私有云部署架构 [1] 大数据使能服务 [1] 撒[1]
