這篇文章主要介紹Hadoop中HA元數據如何備份,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
十年的館陶網站建設經驗,針對設計、前端、開發、售后、文案、推廣等六對一服務,響應快,48小時及時工作處理。全網整合營銷推廣的優勢是能夠根據用戶設備顯示端的尺寸不同,自動調整館陶建站的顯示方式,使網站能夠適用不同顯示終端,在瀏覽器中調整網站的寬度,無論在任何一種瀏覽器上瀏覽網站,都能展現優雅布局與設計,從而大程度地提升瀏覽體驗。成都創新互聯公司從事“館陶網站設計”,“館陶網站推廣”以來,每個客戶項目都認真落實執行。
NFS方式
一、Server 端配置 (root@hz-search-zookeeper-01)
su - hbase -c "mkdir /home/hbase/hadoop_nfs && chmod 777 /home/hbase/hadoop_nfs"
echo '/home/hbase/hadoop_nfs 172.37.0.202(rw)' >> /etc/exports
service nfs restart
二、Client 端配置 (hadoop namenode)
su - hbase -c "mkdir -p /home/hbase/hadoop_nfs/name"
/etc/init.d/nfslock start
mount -t nfs 172.37.0.201:/home/hbase/hadoop_nfs/ /home/hbase/hadoop_nfs/name
echo 'mount -t nfs 172.37.0.201:/home/hbase/hadoop_nfs/ /home/hbase/hadoop_nfs/name' >> /etc/rc.d/rc.local
三、配置dfs.name.dir為兩份,并重啟 hadoop 使其生效
QJM方式
http://hadoop.apache.org/docs/r2.4.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
配置ZK集群,參照我的另一篇博文ZooKeeper集群安裝配置
hdfs-site.xml
追加namenode服務名稱
追加namenode服務的節點,一個nameservice最多兩個節點
core-site.xml
在ZK上初期化HA,在一個namenode節點上執行就可以了
$ hdfs zkfc -formatZK
在每個節點上都得執行下面的命令, 啟動journalnode
hadoop-daemon.sh start journalnode
[root@slave2 logs]# jps
12821 JournalNode
在各個節點運行
hadoop namenode -format
運行start-dfs.sh
start-yarn.sh
察看狀態:namenode
16753 QuorumPeerMain
18743 ResourceManager
18634 DFSZKFailoverController
18014 JournalNode
18234 NameNode
15797 Bootstrap
19571 Jps
18333 DataNode
18850 NodeManager
Datanode
1715 DataNode
1869 NodeManager
1556 JournalNode
1142 QuorumPeerMain
2179 Jps
搭建好以后,jps查看相關進程,用kill -9 刪除active的nn,通過hdfs haadmin -DFSHAAdmin -getServiceState nn1可以查看以前standby的NN已經active,執行查看等操作也都正常。想要在啟動kill掉的namenode,用sbin/hadoop- daemon.sh start namenode
重新設置Hadoop HA
在namenode機器上停止
Stop-dfs.sh
Stop-yarn.sh
所有機器上停止ZK
zkServer.sh stop
刪除所有機器zk的臨時文件
rm -rf /tmp/hadoop-root/zookeeper/version-2
刪除所有機器JournalNode臨時文件
rm -rf /home/hadoop/hadoop-root/journal/node/local/data/*
刪除所有機器namenode,datanode文件
rm -rf /home/hadoop/hadoop-root/dfs/name/*
rm -rf /home/hadoop/hadoop-root/dfs/data/*
啟動所有機器的ZK
zkServer.sh start
在ZK上初期化HA,在一個namenode節點上執行就可以了
hdfs zkfc -formatZK
在每個節點上都得執行下面的命令, 啟動journalnode
hadoop-daemon.sh start journalnode
在namenode節點上運行
hadoop namenode -format
啟動hadoop
start-dfs.sh
start-yarn.sh
查看節點狀態
http://172.37.0.201:50070/dfshealth.jsp
http://172.37.0.202:50070/dfshealth.jsp
以上是“Hadoop中HA元數據如何備份”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注創新互聯行業資訊頻道!