精品专区-精品自拍9-精品自拍三级乱伦-精品自拍视频-精品自拍视频曝光-精品自拍小视频

網站建設資訊

NEWS

網站建設資訊

Hadoop中HA元數據如何備份

這篇文章主要介紹Hadoop中HA元數據如何備份,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!

十年的館陶網站建設經驗,針對設計、前端、開發、售后、文案、推廣等六對一服務,響應快,48小時及時工作處理。全網整合營銷推廣的優勢是能夠根據用戶設備顯示端的尺寸不同,自動調整館陶建站的顯示方式,使網站能夠適用不同顯示終端,在瀏覽器中調整網站的寬度,無論在任何一種瀏覽器上瀏覽網站,都能展現優雅布局與設計,從而大程度地提升瀏覽體驗。成都創新互聯公司從事“館陶網站設計”,“館陶網站推廣”以來,每個客戶項目都認真落實執行。

NFS方式
一、Server 端配置 (root@hz-search-zookeeper-01)
su - hbase -c "mkdir /home/hbase/hadoop_nfs && chmod 777 /home/hbase/hadoop_nfs"
echo '/home/hbase/hadoop_nfs 172.37.0.202(rw)' >> /etc/exports
   service nfs restart
二、Client 端配置 (hadoop namenode)
su - hbase -c "mkdir -p /home/hbase/hadoop_nfs/name"
/etc/init.d/nfslock start
mount -t nfs 172.37.0.201:/home/hbase/hadoop_nfs/ /home/hbase/hadoop_nfs/name
echo 'mount -t nfs 172.37.0.201:/home/hbase/hadoop_nfs/ /home/hbase/hadoop_nfs/name' >> /etc/rc.d/rc.local
三、配置dfs.name.dir為兩份,并重啟 hadoop 使其生效

dfs.name.dir
/home/admin/name/,/home/admin/hadoop_nfs/name
 

QJM方式

http://hadoop.apache.org/docs/r2.4.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

配置ZK集群,參照我的另一篇博文ZooKeeper集群安裝配置
hdfs-site.xml
追加namenode服務名稱

  dfs.nameservices
  mycluster

追加namenode服務的節點,一個nameservice最多兩個節點

  dfs.ha.namenodes.mycluster
  nn1,nn2


  dfs.namenode.rpc-address.mycluster.nn1
  172.37.0.202:8020


  dfs.namenode.rpc-address.mycluster.nn2
  172.37.0.201:8020


  dfs.namenode.http-address.mycluster.nn1
  172.37.0.202:50070


  dfs.namenode.http-address.mycluster.nn2
  172.37.0.201:50070


  dfs.namenode.shared.edits.dir
  qjournal://172.37.0.201:8485;172.37.0.202:8485;172.37.0.203:8485/mycluster


  dfs.client.failover.proxy.provider.mycluster
  org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider


  dfs.ha.fencing.methods
  sshfence


  dfs.ha.fencing.ssh.private-key-files
  /home/root/.ssh/id_rsa


   dfs.ha.automatic-failover.enabled
   true
 

core-site.xml

  fs.defaultFS
  hdfs://mycluster


  dfs.journalnode.edits.dir
  /path/to/journal/node/local/data


   ha.zookeeper.quorum
   172.37.0.201:2181,172.37.0.202:2181,172.37.0.203:2181
 

    
在ZK上初期化HA,在一個namenode節點上執行就可以了
$ hdfs zkfc -formatZK
在每個節點上都得執行下面的命令, 啟動journalnode
hadoop-daemon.sh start journalnode
   [root@slave2  logs]# jps
    12821 JournalNode
在各個節點運行
 hadoop namenode -format
運行start-dfs.sh
start-yarn.sh
察看狀態:namenode
16753 QuorumPeerMain
18743 ResourceManager
18634 DFSZKFailoverController
18014 JournalNode
18234 NameNode
15797 Bootstrap
19571 Jps
18333 DataNode
18850 NodeManager

Datanode
1715 DataNode
1869 NodeManager
1556 JournalNode
1142 QuorumPeerMain
2179 Jps

搭建好以后,jps查看相關進程,用kill -9 刪除active的nn,通過hdfs haadmin -DFSHAAdmin -getServiceState nn1可以查看以前standby的NN已經active,執行查看等操作也都正常。想要在啟動kill掉的namenode,用sbin/hadoop- daemon.sh start namenode

重新設置Hadoop HA
在namenode機器上停止
Stop-dfs.sh
Stop-yarn.sh

所有機器上停止ZK
zkServer.sh  stop

刪除所有機器zk的臨時文件
rm -rf /tmp/hadoop-root/zookeeper/version-2

刪除所有機器JournalNode臨時文件
rm -rf /home/hadoop/hadoop-root/journal/node/local/data/*
刪除所有機器namenode,datanode文件
rm -rf /home/hadoop/hadoop-root/dfs/name/*
rm -rf /home/hadoop/hadoop-root/dfs/data/*
啟動所有機器的ZK
zkServer.sh start
在ZK上初期化HA,在一個namenode節點上執行就可以了
 hdfs zkfc -formatZK
在每個節點上都得執行下面的命令, 啟動journalnode
hadoop-daemon.sh start journalnode
在namenode節點上運行
 hadoop namenode -format
啟動hadoop
start-dfs.sh
start-yarn.sh

查看節點狀態
http://172.37.0.201:50070/dfshealth.jsp
http://172.37.0.202:50070/dfshealth.jsp

以上是“Hadoop中HA元數據如何備份”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注創新互聯行業資訊頻道!


當前標題:Hadoop中HA元數據如何備份
分享網址:http://m.jcarcd.cn/article/jeocih.html
主站蜘蛛池模板: 日韩一区三区视频 | 国产美女在线观看 | 日韩欧美在线综合 | 日本一黄一区区 | 日本乱人| 国产精品专区四季 | 精品一区91 | 最新精品国偷自产在线美女足 | 国产疯狂女同互磨高 | 国产精品久热 | 国产又黄又爽视频 | 成人家庭影院 | 精品精品欲天堂导航 | 日韩欧美亚洲午夜 | 国产精品一二在线 | 日本成人免费网站 | 国产日韩在线精品 | 日本制服丝袜在线 | 国产色啪a∨在 | 午夜影院污 | 91最新国产| 精品国产美女 | 97人人超| 黑人在日 | 国产精品自拍一区 | 欧美日韩在线第一页 | 绿巨人污视频下载 | 午夜成人激情视频 | 人人香蕉 | 精品午夜福利日 | 国产剧情片视须资 | 成人中文字幕在线 | 国产日韩 | 另类图片欧美小 | 成人禁在线观看午 | 精品国产手机自 | 国产激情一区在线观 | 精品国产人成亚洲区 | 国产精品一二区 | 国产精品美乳免费看 | 午夜免费看片 |