Hadoop网络配置以及集群搭建(一)

   日期:2020-07-13     浏览:106    评论:0    
核心提示:网络配置,虚拟机克隆(Centos7)1.在/etc/hostname 修改主机名称2.在/etc/sysconfig/network-scripts里面syscfg-ens33里面有相关的网络配置3.ifconfig检查ip地址是否正确1.scp 安全拷贝可以实现服务器与服务器之间的数据拷贝语法:scp -r pdir/pdir/pdir/fname user@hadoopuser@hadoopuser@hadoophost:pdir/pdir/pdir/fname递归

网络配置,虚拟机克隆(Centos7)
1.在/etc/hostname 修改主机名称
2.在/etc/sysconfig/network-scripts里面syscfg-ens33里面有相关的网络配置
3.ifconfig检查ip地址是否正确

1.scp 安全拷贝
可以实现服务器与服务器之间的数据拷贝
语法:
scp -r p d i r / pdir/ pdir/fname u s e r @ h a d o o p user@hadoop user@hadoophost: p d i r / pdir/ pdir/fname
递归 文件路径/名称 目的用户@主机:目的路径/名称
在101上把opt/module的软件拷贝到102上
scp -r /opt/module root@hadoop102:/opt/module
在103上从101中拿取软件
sudo scp -r root@hadoop101/opt/module ./ #103的当前目录下
在103上从101中拿取软件给104
sudo scp -r root@hadoop101/opt/module root@hadoop104:/opt/module

2.rsync 远程同步工具 (只对差异的文件做更新) 用于备份和镜像。速度快,避免复制相同内容,支持符号链接
rsync -rvl p d i r / pdir/ pdir/fname u s e r @ h a d o o p user@hadoop user@hadoophost: p d i r / pdir/ pdir/fname
命令 递归,显示复制过程,拷贝符号链接

3.xsync 集群的分发脚本
需求:循环复制文件到所有节点的相同目录下
#!/bin/bash
#1获取输入参数个数
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2获取文件名称
p1=$1
fname=basename $p1 #basename是拿到文件名
echo fname=$fname
#3获取上级目录到绝对路径
pdir=cd -P $(dirname $p1); pwd #dirname是获取绝对路径
echo pdir=KaTeX parse error: Expected 'EOF', got '#' at position 6: pdir #̲4后去当前用户名称 user=…host--------------
rsync -rvl p d i r / pdir/ pdir/fname u s e r @ n o d e user@node user@nodehost:$pdir
done

4.集群配置

NameNode和SecondaryNode占用的内存几乎为1:1 所以不能放在同一个虚拟机上

在node2上面启动NameNode之后node4上面会有辅助NameNode
但需要在其他虚拟机上启动datanode(这是按照自己安排好的集群配置启动的,只能有一个namenode)

4.ssh无秘钥登录(在对应的虚拟机上会有相应的秘钥文件,可以进行查看)
在进行ssh无秘钥设置之后,可以随意切换虚拟机
可以直接访问都是访问authorized_keys这个文件,对自己的虚拟机也需要配置

在node2中有NameNode节点,所以需要有免密登陆。同样在node3中因为有resoursemanager这个节点所以他也需要配置免密登陆
=.ssh文件下的文件功能解释
known_hosts:记录ssh访问过得计算机的公钥
id_rsa:生成的私钥
id_rsa.pub:生成的公钥
authorized_keys:存放授权过得无秘登录服务器公钥==

 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服