- Hadoop + Spark生态系统操作与实战指南
- 余辉
- 992字
- 2021-03-12 19:20:33
2.2 虚拟机配置
1.前期准备
本节主要讲解如何在VMware中配置三台虚拟机互通且联网。
读者可以从【百度云盘】Hadoop集群目录中直接下载作者配置好的虚拟机(Java为1.7版本,NAT互通,可以联网)。2.2节、2.3节操作已经全部完毕,只要虚拟机加载三台CentOS就可以直接跳到2.4节开始配置集群。解压后三台虚拟机如图2-1所示。
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0038_0001.jpg?sign=1739473438-nyFbxdTeamEu6108OOmJyjM9rgpWS6OE-0-35bdc209e6eab09f5882606c4c3fdc28)
图2-1 解压后三台虚拟机
• 用户名:root,密码:hadoop。
• 用户名:hadoop,密码:hadoop。
2.相关软件下载
下载CentOS6.7,作者已经建立好了一台Linux系统的虚拟机,读者只需在【百度云盘】Soft_BigData目录中下载解压。
• 系统为:CentOS6.7纯净版。
• 用户名:root,密码:hadoop。
• 用户名:hadoop,密码:hadoop。
其余相关软件下载路径如下:
• Hadoop和Spark程序员软件包
http://blog.csdn.net/silentwolfyh/article/details/50936459
• Java程序员软件包
http://blog.csdn.net/silentwolfyh/article/details/50936377
3.下载虚拟机
【百度云盘】Soft_BigData目录中使用VMware10.0.4版本。
4.加载三个Linux虚拟机
将下载的CentOS 6.7虚拟机加载出来三个,分别更名为CentOS01、CentOS02、CentOS03,使用VMware加载打开。虚拟机软件加载三台虚拟机整体展示如图2-2所示。
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0039_0001.jpg?sign=1739473438-k7MCXw2Ty3NFWJNiZPjVOTLxnsMWC58n-0-548dab55757a0c4d8f719c3d5145ac26)
图2-2 虚拟机软件加载三台虚拟机整体展示
5.配置多台虚拟机互通且上网
(1)多台配置注意事项
注意:配置过程中会出现一个问题:MAC地址冲突,所以虚拟机在开启的时候要使用【移动】,切勿使用【复制】。MAC地址冲突错误如图2-3所示。
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0039_0002.jpg?sign=1739473438-le5v1NycTpVc71OJOtVQ0nux8qDMldKd-0-471a588c554b83251db1f735cd184dad)
图2-3 MAC地址冲突错误
(2)多台虚拟机配置的架构图
多台虚拟机配置的架构图如图2-4所示,这张图是本节的核心,其中包括物理主机的配置、虚拟机软件的配置、三台虚拟主机的配置。
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0040_0001.jpg?sign=1739473438-KDvgg0wUdgfXMHPbOO8f5JvqHGlBkJPB-0-b0667db5dc5278e775b8ec910f3a4ef1)
图2-4 多台虚拟机配置的架构图
(3)物理主机的配置
物理主机的配置如图2-5所示。
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0041_0001.jpg?sign=1739473438-DltnPUmbE4FstvMnLVtWPNs85yHp6lB7-0-3c8573d86cabb234ca3676fc8b6afcb7)
图2-5 物理主机的配置
(4)虚拟机软件的配置
每台机器设置为NAT连接,具体操作如图2-6~图2-9所示。
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0041_0002.jpg?sign=1739473438-3kxMAOxKuY20Zh19SVAV1cVDQKax5zra-0-33896b4853f4894cebb4928e43185729)
图2-6 配置NAT连接一
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0042_0001.jpg?sign=1739473438-OBpIOS0S2lOgT50OmnCkyERJY3Fjgjaq-0-23ff49408e82e2793894470ce48e942b)
图2-7 配置NAT连接二
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0042_0002.jpg?sign=1739473438-yg0jBEC4ilkUycLckB43QeoIrwmgWy2v-0-88d7f2af0acd8fdc6f6f2ff5314a95b4)
图2-8 配置NAT连接三
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0042_0003.jpg?sign=1739473438-GRBC0ru5vNGPcbWYbbtkeZXod93km22u-0-198fb1a081189964a4c5f4ac28860dde)
图2-9 配置NAT连接四
(5)三台虚拟主机的配置
开启虚拟机的时候注意:配置过程中会出现下面一个问题:MAC地址冲突,所以虚拟机在开启的时候要使用移动,切勿使用复制。选择移动,如图2-10所示。
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0043_0001.jpg?sign=1739473438-aMgXjpQkvfapsjAO2nwnJY59zJn4B1wr-0-1a449b85c7ebefe3a1f8a173afed029e)
图2-10 选择移动
如果选择“我已移动该虚拟机”,则这台机器网卡(物理地址)只有一个。
如果选择“我已复制该虚拟机”,则这台机器网卡(物理地址)还需要重新配置,比较麻烦。
进入虚拟机之后配置网络IP,步骤如图2-11~2-14所示。
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0043_0002.jpg?sign=1739473438-hPyd98nLQQh2ZP9hjjTQBHxo9kXbtMTw-0-b06e4fc8c5d0c59feba061937dad675d)
图2-11 配置网络IP一
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0043_0003.jpg?sign=1739473438-Nw7PSGQqvDzF5eukrNFKNmHZkD3K8Okc-0-665e4de75d06f5b88eb99160ed1a9063)
图2-12 配置网络IP二
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0044_0001.jpg?sign=1739473438-CDxraY9t0wJULr3umMklpsYrDH6JoQU5-0-e5da6d09d1d9fb2f7a21ff0911bb7090)
图2-13 配置网络IP三
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0044_0002.jpg?sign=1739473438-tJXaPPOMNlMn0BhY0GjHYwOlZwObESJc-0-17f895b88458c69bd2896c86674e819f)
图2-14 配置网络IP四
(6)关闭防火墙
• 重启后生效。
开启:chkconfig iptables on
关闭:chkconfig iptables off
• 即时生效,重启后失效。
开启: service iptables start
关闭: service iptables stop
防火墙关闭如图2-15所示。
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0044_0003.jpg?sign=1739473438-htonN0vrWrr725RFOPz2Sn5jiZvdMa5E-0-5a475bd54251994dcd1e9856063f4250)
图2-15 同防火墙关闭
(7)测试多台虚拟机互通结果(如图2-16所示)
![](https://epubservercos.yuewen.com/B9965C/15367246104193406/epubprivate/OEBPS/Images/figure_0045_0001.jpg?sign=1739473438-4AWPZcvqFck6mzJ8AWQTnqajrByaXojn-0-fed4f8741244486626dafb91d63afc94)
图2-16 测试多台虚拟机互通结果