网络配置,虚拟机克隆(Centos7)
1.在/etc/hostname 修改主机名称
2.在/etc/sysconfig/network-scripts里面syscfg-ens33里面有相关的网络配置
3.ifconfig检查ip地址是否正确
1.scp 安全拷贝
可以实现服务器与服务器之间的数据拷贝
语法:
scp -r p d i r / pdir/ pdir/fname u s e r @ h a d o o p user@hadoop user@hadoophost: p d i r / pdir/ pdir/fname
递归 文件路径/名称 目的用户@主机:目的路径/名称
在101上把opt/module的软件拷贝到102上
scp -r /opt/module root@hadoop102:/opt/module
在103上从101中拿取软件
sudo scp -r root@hadoop101/opt/module ./ #103的当前目录下
在103上从101中拿取软件给104
sudo scp -r root@hadoop101/opt/module root@hadoop104:/opt/module
2.rsync 远程同步工具 (只对差异的文件做更新) 用于备份和镜像。速度快,避免复制相同内容,支持符号链接
rsync -rvl p d i r / pdir/ pdir/fname u s e r @ h a d o o p user@hadoop user@hadoophost: p d i r / pdir/ pdir/fname
命令 递归,显示复制过程,拷贝符号链接
3.xsync 集群的分发脚本
需求:循环复制文件到所有节点的相同目录下
#!/bin/bash
#1获取输入参数个数
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2获取文件名称
p1=$1
fname=basename $p1
#basename是拿到文件名
echo fname=$fname
#3获取上级目录到绝对路径
pdir=cd -P $(dirname $p1); pwd
#dirname是获取绝对路径
echo pdir=KaTeX parse error: Expected 'EOF', got '#' at position 6: pdir #̲4后去当前用户名称 user=…host--------------
rsync -rvl p d i r / pdir/ pdir/fname u s e r @ n o d e user@node user@nodehost:$pdir
done
4.集群配置
NameNode和SecondaryNode占用的内存几乎为1:1 所以不能放在同一个虚拟机上
在node2上面启动NameNode之后node4上面会有辅助NameNode
但需要在其他虚拟机上启动datanode(这是按照自己安排好的集群配置启动的,只能有一个namenode)
4.ssh无秘钥登录(在对应的虚拟机上会有相应的秘钥文件,可以进行查看)
在进行ssh无秘钥设置之后,可以随意切换虚拟机
可以直接访问都是访问authorized_keys这个文件,对自己的虚拟机也需要配置
在node2中有NameNode节点,所以需要有免密登陆。同样在node3中因为有resoursemanager这个节点所以他也需要配置免密登陆
=.ssh文件下的文件功能解释
known_hosts:记录ssh访问过得计算机的公钥
id_rsa:生成的私钥
id_rsa.pub:生成的公钥
authorized_keys:存放授权过得无秘登录服务器公钥==