Hadoop集群搭建】Hadoop運(yùn)行環(huán)境配置——虛擬機(jī)準(zhǔn)備（CentOS 8）

2020-02-11 16:57 作者：admin 瀏覽量：

 
這次的肺炎疫情對(duì)中國的中小企業(yè)將會(huì)是沉重的打擊，據(jù)釘釘和微信兩個(gè)辦公平臺(tái)數(shù)據(jù)統(tǒng)計(jì)現(xiàn)有2億左右的人在家遠(yuǎn)程辦公，那么對(duì)于中小企業(yè)的員工來說不懂IT技術(shù)將會(huì)讓他們面臨的最大挑戰(zhàn)和困難。
 
電腦不亮了怎么辦？系統(tǒng)藍(lán)屏如何處理？辦公室的電腦在家如何連接？網(wǎng)絡(luò)應(yīng)該如何設(shè)置？VPN如何搭建？數(shù)據(jù)如何對(duì)接？服務(wù)器如何登錄？數(shù)據(jù)安全如何保證？數(shù)據(jù)如何存儲(chǔ)？視頻會(huì)議如何搭建？業(yè)務(wù)系統(tǒng)如何開啟等等一系列的問題，都會(huì)困擾著并非技術(shù)出身的您。
   
好消息是當(dāng)您看到這篇文章的時(shí)候，就不用再為上述的問題而苦惱，您只需撥打艾銻無限的全國免費(fèi)熱線電話:400 650 7820，就會(huì)有我們的遠(yuǎn)程工程師為您解決遇到的問題，他們可以遠(yuǎn)程幫您處理遇到的一些IT技術(shù)難題。
 
如遇到免費(fèi)熱線占線，您還可以撥打我們的24小時(shí)值班經(jīng)理電話:15601064618或技術(shù)經(jīng)理的電話:13041036957，我們會(huì)在第一時(shí)間接聽您的來電，為您提供適合的解決方案，讓您無論在家還是在企業(yè)都能無憂辦公。
 
那艾銻無限具體能為您的企業(yè)提供哪些服務(wù)呢？ 艾銻無限始創(chuàng)于2005年，歷經(jīng)15年服務(wù)了5000多家中小企業(yè)并保障了幾十萬臺(tái)設(shè)備的正常運(yùn)轉(zhuǎn)，積累了豐富的企業(yè)IT緊急問題和特殊故障的解決經(jīng)驗(yàn)，制定了相對(duì)應(yīng)的解決方案。我們?yōu)槟钠髽I(yè)提供的IT服務(wù)分為三大版塊:
 
第一版塊是保障性IT外包服務(wù):如電腦設(shè)備運(yùn)維，辦公設(shè)備運(yùn)維，網(wǎng)絡(luò)設(shè)備運(yùn)維，服務(wù)器運(yùn)維等綜合性企業(yè)IT設(shè)備運(yùn)維服務(wù)。
 
第二版塊是功能性互聯(lián)網(wǎng)外包服務(wù):如網(wǎng)站開發(fā)外包，小程序開發(fā)外包，APP開發(fā)外包，電商平臺(tái)開發(fā)外包，業(yè)務(wù)系統(tǒng)的開發(fā)外包和后期的運(yùn)維外包服務(wù)。
 
第三版塊是增值性云服務(wù)外包:如企業(yè)郵箱上云，企業(yè)網(wǎng)站上云，企業(yè)存儲(chǔ)上云，企業(yè)APP小程序上云，企業(yè)業(yè)務(wù)系統(tǒng)上云，阿里云產(chǎn)品等后續(xù)的云運(yùn)維外包服務(wù)。
 
您要了解更多服務(wù)也可以登錄艾銻無限的官網(wǎng):www.bjitwx.com查看詳細(xì)說明，在疫情期間，您企業(yè)遇到的任何困境只要找到艾銻無限，能免費(fèi)為您提供服務(wù)的我們絕不收一分錢，我們?nèi)w艾銻人承諾此活動(dòng)直到中國疫情結(jié)束,我們將這次活動(dòng)稱為——春雷行動(dòng)。  
以下還有我們?yōu)槟峁┑囊恍┘夹g(shù)資訊，以便可以幫助您更好的了解相關(guān)的IT知識(shí)，幫您渡過疫情中辦公遇到的困難和挑戰(zhàn)，艾銻無限愿和中國中小企業(yè)一起共進(jìn)退，因?yàn)槲覀兿嘈湃f物同體，能量合一，只要我們一起齊心協(xié)力，一定會(huì)成功。再一次祝福您和您的企業(yè)，戰(zhàn)勝疫情，您和您的企業(yè)一定行。
 
【Hadoop集群搭建】Hadoop運(yùn)行環(huán)境配置——虛擬機(jī)準(zhǔn)備（CentOS 8）
主要步驟：
1.修改靜態(tài)IP
2.修改主機(jī)名稱
3.關(guān)閉防火墻
4.創(chuàng)建具有root權(quán)限的普通用戶
5.安裝jdk和hadoop
6.關(guān)機(jī)快照克隆并配置克隆虛擬機(jī)
事先準(zhǔn)備
 
VMware Workstation Pro 15(可變)
CentOS 8 64位(可變，但使用別的linux版本后續(xù)操作會(huì)有幾處不同)
Xshell 6(終端模擬軟件，比起直接操作虛擬機(jī)終端方便很多，具體安裝和連接方法可上網(wǎng)學(xué)習(xí))1.改一下靜態(tài)IP
首先在VM工具欄打開“編輯—虛擬網(wǎng)絡(luò)編輯器”，選擇VMnet8，分別打開DHCP設(shè)置/NAT設(shè)置，記住IP地址范圍 / 子網(wǎng)IP / 子網(wǎng)掩碼 / 網(wǎng)關(guān)IP。  
建議root用戶登陸，編輯網(wǎng)絡(luò)配置文件（不同版本CentOS這里的網(wǎng)絡(luò)配置文件名稱有所不同）
 
vim /etc/sysconfig/network-scripts/ifcfg-ens33
1
將BOOTPROTO從“dhcp”（動(dòng)態(tài)ip）改為“static”（靜態(tài)ip）
ONBOOT設(shè)置為“yes”（在系統(tǒng)啟動(dòng)時(shí)激活網(wǎng)卡）
然后依次添加的是IP地址/子網(wǎng)掩碼/網(wǎng)關(guān)IP/DNS1和DNS2，其中IP地址網(wǎng)段必須與上面的一致，并處于范圍內(nèi)，這里設(shè)為192.168.65.131，子網(wǎng)掩碼/網(wǎng)關(guān)IP與上面一致，主備用DNS可自行決定。  
2.再改一下主機(jī)名
vim /etc/sysconfig/network
1
這里設(shè)置HOSTNAME為hadoop100  
vim /etc/hosts
1
這里是集群機(jī)器主機(jī)名和IP地址的映射，規(guī)劃好所有集群機(jī)器的IP地址，這里我就規(guī)劃四臺(tái)機(jī)器，按順序規(guī)劃主機(jī)名和對(duì)應(yīng)IP地址。 同時(shí)也要修改Windows下的hosts文件（C:\Windows\System32\drivers\etc下），添加相同主機(jī)名-IP映射。 ps:如果沒有保存修改權(quán)限可以修改文件屬性-安全，為Users添加相應(yīng)權(quán)限(如下)。
 
全部完成后我們重啟網(wǎng)絡(luò)服務(wù)以使配置生效。
（CentOS 7的重啟網(wǎng)絡(luò)服務(wù)命令是systemctl start network.service或者service network restart）
 
nmcli c reload
1
當(dāng)然，個(gè)人經(jīng)驗(yàn)是好像沒啥用，不如reboot一下來的簡單粗暴>_<。
 
那么我們重啟機(jī)器后查看主機(jī)名：
 
hostname
1
發(fā)現(xiàn)是hadoop100，很好，如果還有問題使用命令hostnamectl set-hostname hadoop100并再次重啟。
 
 
至此我們的網(wǎng)絡(luò)就配置好了。（不難吧，就是煩了點(diǎn)，已經(jīng)好了一半了，奧里給！）
 
3.關(guān)一下防火墻
此步驟一定要在root用戶進(jìn)行。
 
首先查看防火墻狀態(tài)
 
systemctl status firewalld
1
我這里已經(jīng)關(guān)閉過了，如果是active就意味著防火墻打開。
 
以下命令關(guān)閉防火墻
 
systemctl stop firewalld #停止firewall
systemctl disable firewalld.service #禁止firewall開機(jī)啟動(dòng)
1
2
也可以執(zhí)行 vim /etc/selinux/config修改參數(shù)SELINUX=disabled來禁止開機(jī)啟動(dòng)。
 
ping一下
我們?cè)趆adoop100上ping3次外網(wǎng)，ping3次主機(jī)，如下說明網(wǎng)絡(luò)配置好了
ps:如果不加次數(shù)會(huì)一直ping下去，可使ctrl+c停止命令。
 
再在主機(jī)上ping一下hadoop100，無丟包現(xiàn)象。
 
這樣我們的網(wǎng)絡(luò)配置就沒問題啦。
 
4.建一個(gè)普通用戶并使其具有root權(quán)限
由于日常使用中往往使用普通用戶而非root用戶（當(dāng)然個(gè)人覺得root用戶往往比較方便權(quán)限比較大，但是一般情況下都不推薦使用root，最好單獨(dú)建立一個(gè)普通的用戶。因?yàn)閞oot用戶有等同于操作系統(tǒng)的權(quán)限，假設(shè)你不小心誤操作或黑客黑進(jìn)來rm -rf一下你的系統(tǒng)就完嘍）那有root權(quán)限的普通用戶和root用戶有區(qū)別嗎？懂的小伙伴答一下~~
 
創(chuàng)建并進(jìn)入一個(gè)普通用戶，添加用戶到root權(quán)限組
 
vim /etc/sudoers
1
添加這么一行命令，最前面是你的用戶名
 
 
5.裝個(gè)JDK和Hadoop
首先rpm -qa | grep java查看是否有已安裝的jdk，如果發(fā)現(xiàn)jdk版本低于1.7或是系統(tǒng)自帶的openjdk需要sudo rpm -e 軟件包卸載。
我下載的jdk1.8和Hadoop2.7.2，Hadoop我不知道，jdk1.8我是真的覺得這個(gè)版本比較穩(wěn)定，在其他項(xiàng)目中我使用過最新版本的jdk13會(huì)遇到問題，1.8就沒問題，推薦！（當(dāng)然我們也要了解最新版本的新特性）Hadoop已經(jīng)出到了3點(diǎn)幾，這里也是使用比較穩(wěn)定的版本。
我在根目錄下的opt目錄創(chuàng)建一個(gè)module文件夾，用于存放解壓后Hadoop，jdk則存放在了之前的項(xiàng)目創(chuàng)建的/usr/java下，大家可以自行選擇路徑，只要便于管理就行。（下載解壓過程就不多說了）
下面來配置二者的環(huán)境變量。
vim /etc/profile打開配置文件，在文件末尾添加如下語句，紅框處改為你本機(jī)的jdk和hadoop的安裝路徑。
 
終端輸入命令java -version和hadoop version出現(xiàn)以下內(nèi)容則說明配置成功。
 
 
6. 關(guān)機(jī)-快照-克隆-配置
如題，快照是用于保存虛擬機(jī)現(xiàn)在的狀態(tài)，崩潰后便于恢復(fù)，也可略過。按照上面的規(guī)劃，我克隆了3臺(tái)，分別命名為hadoop101 / hadoop102 / hadoop103，每臺(tái)克隆虛擬機(jī)需要
 
按照之前的主機(jī)名-IP映射規(guī)劃修改**/etc/sysconfig/network-scripts/ifcfg-ens33**（不同版本系統(tǒng)文件名可能不同）中的IP地址；
更改相應(yīng)的主機(jī)名；
檢查防火墻是否關(guān)閉，并重啟網(wǎng)絡(luò)服務(wù)或重啟虛擬機(jī)使其生效。
你也可以每臺(tái)虛擬機(jī)都互ping一下，保證集群間的通信。