您现在的位置:首页 >> Java书籍 >> 基础书籍 >> 内容

搭建伪分布模式Hadoop PDF 电子书下载

时间:2020-4-13 9:26:39

  核心提示:搭建伪分布模式Hadoop PDF 下载本站整理下载:链接:https://pan.baidu.com/s/1fO5GVjRxntqe96b9-xHUUA提取码:9v78主要内容:(3)解压JDK并重...
搭建伪分布模式Hadoop PDF 下载

本站整理下载:
提取码:9v78
 
主要内容:
(3)解压JDK并重命名
mkdir -p /export/server //创建一个专用目录
cd /export/server
tar -zxvf /root/jdk-8u131-liux-x64.tar.gz //解压jdk安装包 Tab键可以补全版本号
mv jdk1.8.0_131/ jdk1.8 //重命名jdk
(4)配置JAVA环境变量
pwd //显示java安装路径
vi /etc/profile //使用vi编辑器编辑配置文件 按i进入编辑
JAVA_HOME=/export/server/jdk1.8 //JAVA_HOME=jdk路径
export PATH=$PATH:$JAVA_HOME/bin //统一这么写
//按Esc退出编辑 shift+wq保存并退出
source /etc/profile //使设置的环境变量生效
(5)检查JDK是否安装成功
java -version //若成功则会出现jdk版本号信息
3.安装Hadoop
 分区 Hadoop环境搭建 的第 2 页 
3.安装Hadoop
(1)上传Hadoop安装包至Linux
过程与上传jdk类似
a.进入官网下载安装包:[hadoop官网](http://hadoop.apache.org/)
b.使用WinSCP软件上传
(2)解压Hadoop安装包
cd /export/server //进入专用目录
tar -zxvf /root/hadoop-2.7.2.tar.gz
(3)配置Hadoop环境变量
cd hadoop-2.7.2/
pwd //显示hadoop安装路径
vi /etc/profile //按i进入编辑
JAVA_HOME=/export/server/jdk1.8 //已有不用写
HADOOP_HOME=/export/server/hadoop-2.7.2 //HADOOP_HOME=hadoop安装路径
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME HADOOP_HOME PATH
//按Esc退出编辑 shift+wq保存并退出
source /etc/profile //使设置的环境变量生效
(4)检查Hadoop是否安装成功
hadoop version //若成功则会出现hadoop版本号信息
2.搭建伪分布式模式Hadoop
(1)hadoop-env.sh
该文件为Hadoop的运行环境配置文件,Hadoop的运行需要依赖JDK,
将其中的export JAVA_HOME的值改为我们安装JDK的路径
1.到hadoop目录中
cd /export/srever //到hadoop环境安装目录中
cd hadoop-2.7.2/ //到hadoop安装目录中
cd etc/hadoop/ //到hadoop文件配置目录中
 分区 Hadoop环境搭建 的第 3 页 
cd etc/hadoop/ //到hadoop文件配置目录中
2.修改hadoop-env.sh配置文件
(2)core-site.xml
该文件用于定义系统级别的参数
1.修改core-site.xml配置文件
vi core-site.xml
//不想自己写的同学可以直接复制此代码到<configuration></configuration>中,但请注意填入自己的主机名
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://主机名:9000</value>
</property>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/export/server/hadoop-2.7.2/tmp</value>
</property>
(3)hdfs-site.xml
该文件为HDFS核心配置文件,如:文件副本的个数,块大小及是否使用强制权限等
1.修改hdfs-site.xml配置文件
vi hdfs-site.xml
//不想自己写的同学可以直接复制此代码到<configuration></configuration>中,但请注意填入自己的主机名
<property>
 <name>dfs.replication</name>
 <value>1</value>
 分区 Hadoop环境搭建 的第 4 页 
 <value>1</value>
</property>
<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>主机名:50090</value>
</property>
(4)mapred-site.xml
这个文件本不存在,但有一个模板文件mapred-site.xml.template,
我们将模板文件改名为mapred-site.xml,然后进行编辑
mv mapred-site.xml.template mapred-site.xml //将mapred-site.xml.template改名为mapred-site.xml
vi mapred-site.xml
//不想自己写的同学可以直接复制此代码到<configuration></configuration>中
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
(5)yarn-site.xml
该文件为YARN框架配置文件,配置ResourceManager,nodeManager的通信端口,web监控端口等
1.修改yarn-site.xml配置文件
vi yarn-site.xml
//不想自己写的同学可以直接复制此代码到<configuration></configuration>中
<property>
 分区 Hadoop环境搭建 的第 5 页 
<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>ky002</value>
</property>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
4.启动与关闭分布式Hadoop
(1)格式化DFS(Distributed File System)
hdfs namenode -format
如果在格式化的日志中看到succefully format字样,就证明格式化成功。反之,失败。
(2)启动DFS及Yarn
start-dfs.sh
start-yarn.sh
在启动过程中,需要输入几次root账号的密码
(3)关闭DFS及Yarn
stop-dfs.sh
stop-yarn.sh
5.配置SSH免密登入
(1)什么是SSH?
SSH是Secure Shell的缩写,由IETF的网络工作小组所制定。
SSH是建立在应用层和传输基础上的安全协议,专为远程登录会话和其他网络服务提供安全的协议,即
利用SSH协议可以有效防止远程管理过程中的信息泄露问题,目前SSH较可靠。
(2)为什么Hadoop集群需要配置SSH免密登录
1.Hadoop集群之间的交互是不用密码的,如果每次通信都必须输入密码会非常麻烦。
2.Hadoop运行过程中需要管理远程Hadoop守护进程,在Hadoop启动后,
NameNode是通过SSH来无密码登录,启动和停止各个DataNode上的各个守护进程的。
同理,DataNode也能使用SSH无密码登录到NameNode。
3.SSH免密登录是让几台主机(或虚拟机)之间能够相互免密访问,虽然伪分布式模式Hadoop只安装在一台主机上,但
伪分布模拟了多个节点进程运行在这台主机上,所以进程间的访问需要配置SSH免密登录
(3)SSH免密登录原理
 

Java免费学习   Java自学网 http://www.javalearns.com

关注微信号:javalearns   随时随地学Java

或扫一扫

随时随地学Java

作者:不详 来源:网络
    你是从哪里知道本网站的?
  • 网友介绍的
  • 百度搜索的
  • Google搜索的
  • 其它搜索过来的
  • 网址输错了进来的
  • 太忙了不记得了
共有评论 0相关评论
发表我的评论
  • 大名:
  • 内容:
  • java学习网(www.javalearns.com) © 2014 版权所有 All Rights Reserved.
  • Email:javalearns@163.com 站长QQ:1356121699 晋ICP备14003680号-3
  • java学习网部分内容来自网络或网友发布,如侵犯了您利益,请发邮件至:javalearns@126.com,我们尽快处理!
  • Java学习网
  • 网站统计
  • 晋公网安备 14042902000001号