<acronym id="feszb"></acronym>
    1. <span id="feszb"></span>
        <ol id="feszb"></ol>

        <input id="feszb"></input>

        <span id="feszb"><output id="feszb"><nav id="feszb"></nav></output></span>

          <optgroup id="feszb"><li id="feszb"><del id="feszb"></del></li></optgroup>

            好程序員-千鋒教育旗下高端IT職業教育品牌

            400-811-9990
            我的賬戶
            好程序員

            專注高端IT職業培訓

            親愛的猿猿,歡迎!

            已有賬號,請

            如尚未注冊?

            [BigData] 好程序員大數據高端班培訓 HDFS讀寫兩步教程

            [復制鏈接]
            290 0
            葉子老師 發表于 2019-5-20 14:36:39 | 只看該作者 |閱讀模式 打印 上一主題 下一主題
            好程序員大數據高端班培訓 HDFS讀寫兩步教程
            HDFS讀寫前提
              NameNode(元數據節點):存放元數據(名稱空間、副本數、權限、塊列表、集群配置信息),不包含數據節點。元數據節點將文件系統元數據存儲在內存中。
              1.DataNode(數據節點):真正存儲數據的地方,以數據塊為單位。默認數據塊大小為128M。數據節點周期性的將所有存儲塊信息發送給元數據節點。客戶端通過和NameNode節點溝通后,再向數據節點對數據讀出或寫入。
              2.SecondaryNameNode(從元數據節點):并不是元數據節點的備用節點,而是配合元數據節點工作,與元數據節點有不同的工作。SecondaryNameNode周期性地將元數據節點的命名空間鏡像文件和修改日志合并,幫助元數據節點將內存中元數據信息存儲到磁盤上。
              3.Client(客戶端):客戶端就是需要獲取HDFS系統中文件的應用程序和接口,引發HDFS的讀/寫等操作。
              值得注意的是:
              1.namenode實際客戶端只上傳一個datanode,其余兩個是namenode完成的。讓datenote自己復制的。然后復制完成以后逐級返回結果給namenode。如果2,3datanode復制失敗,再有namenode分配新的datanode地址。對于客戶端來說默認上傳一個datanode就可以了,其余的由datanode自己復制。
              2.datanode切片是由客戶端完成的。datanode第二三個副本的上傳和第一個上傳是異步的。
            HDFS中的寫流程:
              1.根namenode通信請求上傳文件,namenode檢查目標文件是否已存在,父目錄是否存在。
              2.namenode返回是否可以上傳。
              3.client請求第一個 block該傳輸到哪些datanode服務器上。
              4.namenode返回3個datanode服務器ABC。
              5.client請求3臺dn中的一臺A上傳數據(本質上是一個RPC調用,建立pipeline),A收到請求會繼續調用B,然后B調用C,將真個pipeline建立完成,逐級返回客戶端。
              6.client開始往A上傳第一個block(先從磁盤讀取數據放到一個本地內存緩存),以packet為單位,A收到一個packet就會傳給B,B傳給C;A每傳一個packet會放入一個應答隊列等待應答。
              7.當一個block傳輸完成之后,client再次請求namenode上傳第二個block的服務器。
            hdfs中的讀流程:
              1.跟namenode通信查詢元數據,找到文件塊所在的datanode服務器。
              2.挑選一臺datanode(就近原則,然后隨機)服務器,請求建立socket流。
              3.datanode開始發送數據。(從磁盤里面讀取數據放入流,以packet為單位來做校驗)
              4.客戶端以packet為單位接收,先在本地緩存,然后寫入目標文件。
            好程序員大數據高端培訓官網:http://www.p6223.com/bigdata.shtml

            精彩內容,一鍵分享給更多人!
            收藏
            收藏0
            轉播
            轉播
            分享
            淘帖0
            支持
            支持0
            反對
            反對0
            回復

            使用道具 舉報

            您需要登錄后才可以回帖

            本版積分規則

            關注我們
            好程序員
            千鋒好程序員

            北京校區(總部):北京市海淀區寶盛北里西區28號中關村智誠科創大廈

            深圳西部硅谷校區:深圳市寶安區寶安大道5010號深圳西部硅谷B座A區605-619

            杭州龍馳智慧谷校區:浙江省杭州市下沙經濟技術開發區元成路199號龍馳智慧谷B座7層

            鄭州校區:鄭州市二七區航海中路60號海為科技園C區10層、12層

            Copyright 2007-2019 北京千鋒互聯科技有限公司 .All Right

            京ICP備12003911號-5 京公安網11010802011455號

            請您保持通訊暢通1對1咨詢馬上開啟

            色七七影院网_色七七在线影院_色七七影视网