[發(fā)明專利]一種檢測(cè)慢節(jié)點(diǎn)的方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911065412.2
• 申請(qǐng)日: 2019-11-04
• 公開（公告）號(hào): CN110795314B
• 公開（公告）日: 2023-10-03
• 發(fā)明（設(shè)計(jì)）人: 黃海濱;孫立晟;張晨
• 申請(qǐng)（專利權(quán)）人: 北京小米移動(dòng)軟件有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F16/182
• 代理公司: 北京鉦霖知識(shí)產(chǎn)權(quán)代理有限公司 11722
• 代理人: 李志新;馮志云

本公開是關(guān)于一種檢測(cè)慢節(jié)點(diǎn)的方法、檢測(cè)慢節(jié)點(diǎn)的裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在該檢測(cè)慢節(jié)點(diǎn)方法中，針對(duì)第一存儲(chǔ)節(jié)點(diǎn)，獲取已生成記錄，已生成記錄中包括：存儲(chǔ)節(jié)點(diǎn)生成時(shí)刻、向除第一存儲(chǔ)節(jié)點(diǎn)外的其他第二存儲(chǔ)節(jié)點(diǎn)傳輸數(shù)據(jù)的次數(shù)及耗時(shí)；從已生成記錄中獲取有效記錄，有效記錄包括預(yù)設(shè)時(shí)間段內(nèi)的記錄，預(yù)設(shè)時(shí)間段位于生成時(shí)刻與當(dāng)前時(shí)刻之間的時(shí)間段內(nèi)；基于有效記錄包括的次數(shù)及耗時(shí)，確定第一存儲(chǔ)節(jié)點(diǎn)向每個(gè)第二存儲(chǔ)節(jié)點(diǎn)傳輸數(shù)據(jù)的平均耗時(shí)；基于平均耗時(shí)，在第二存儲(chǔ)節(jié)點(diǎn)中檢測(cè)慢節(jié)點(diǎn)。通過本公開的檢測(cè)慢節(jié)點(diǎn)方法，提高了檢測(cè)慢節(jié)點(diǎn)的準(zhǔn)確率。

技術(shù)領(lǐng)域

本公開涉及分布式存儲(chǔ)系統(tǒng)技術(shù)領(lǐng)域，尤其涉及檢測(cè)慢節(jié)點(diǎn)方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

分布式系統(tǒng)基本框架(Hadoop)具有存儲(chǔ)和分析海量數(shù)據(jù)的功能，多個(gè)Hadoop組成Hadoop集群。在Hadoop集群中包括存放文件元數(shù)據(jù)信息的服務(wù)器(NameNode)及實(shí)際存放數(shù)據(jù)的服務(wù)器(DataNode)。由于Hadoop集群處于不間斷工作狀態(tài)，因此經(jīng)常出現(xiàn)Hadoop集群中網(wǎng)絡(luò)傳輸數(shù)據(jù)變慢或磁盤讀寫數(shù)據(jù)變慢的DataNode，而每一DataNode對(duì)應(yīng)一個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，因此稱Hadoop集群中網(wǎng)絡(luò)傳輸數(shù)據(jù)變慢或磁盤讀寫數(shù)據(jù)變慢的DataNode對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)為慢節(jié)點(diǎn)。在Hadoop集群中，慢節(jié)點(diǎn)不易被發(fā)現(xiàn)，且會(huì)降低分布式系統(tǒng)基本框架的讀寫大數(shù)據(jù)的性能，因此檢測(cè)Hadoop集群中的慢節(jié)點(diǎn)是十分必要的。但是目前檢測(cè)Hadoop集群中數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)檢測(cè)慢節(jié)點(diǎn)的準(zhǔn)確率相對(duì)較低。

發(fā)明內(nèi)容

為克服相關(guān)技術(shù)中存在的問題，本公開提供一種檢測(cè)慢節(jié)點(diǎn)的方法、檢測(cè)慢節(jié)點(diǎn)的裝置、一種電子設(shè)備及一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

根據(jù)本公開實(shí)施例的第一方面，提供一種檢測(cè)慢節(jié)點(diǎn)方法，包括：針對(duì)第一存儲(chǔ)節(jié)點(diǎn)，獲取已生成記錄，已生成記錄中包括：存儲(chǔ)節(jié)點(diǎn)生成時(shí)刻、向除第一存儲(chǔ)節(jié)點(diǎn)外的其他第二存儲(chǔ)節(jié)點(diǎn)傳輸數(shù)據(jù)的次數(shù)及耗時(shí)；從已生成記錄中獲取有效記錄，有效記錄包括預(yù)設(shè)時(shí)間段內(nèi)的記錄，預(yù)設(shè)時(shí)間段位于生成時(shí)刻與當(dāng)前時(shí)刻之間的時(shí)間段內(nèi)；基于有效記錄包括的次數(shù)及耗時(shí)，確定第一存儲(chǔ)節(jié)點(diǎn)向每個(gè)第二存儲(chǔ)節(jié)點(diǎn)傳輸數(shù)據(jù)的平均耗時(shí)；基于所述平均耗時(shí)，在第二存儲(chǔ)節(jié)點(diǎn)中檢測(cè)慢節(jié)點(diǎn)。

一種實(shí)施方式中，第一方面所述檢測(cè)慢節(jié)點(diǎn)方法，還包括：響應(yīng)于檢測(cè)到慢節(jié)點(diǎn)，獲取慢節(jié)點(diǎn)報(bào)告，慢節(jié)點(diǎn)報(bào)告包括：慢節(jié)點(diǎn)的節(jié)點(diǎn)地址、向每個(gè)第二存儲(chǔ)節(jié)點(diǎn)傳輸數(shù)據(jù)的耗時(shí)及慢節(jié)點(diǎn)報(bào)告的生成時(shí)間；在管理頁面顯示慢節(jié)點(diǎn)報(bào)告。

另一種實(shí)施方式中，第一方面所述檢測(cè)慢節(jié)點(diǎn)方法，還包括：在到達(dá)預(yù)定時(shí)刻時(shí)，基于節(jié)點(diǎn)地址在已存在的慢節(jié)點(diǎn)中檢測(cè)新增慢節(jié)點(diǎn)；響應(yīng)于檢測(cè)到新增慢節(jié)點(diǎn)，向管理地址對(duì)應(yīng)的管理終端發(fā)送報(bào)警信息，管理地址包括以下至少一項(xiàng)：郵箱地址、指定終端地址。

又一種實(shí)施方式中，第一方面所述檢測(cè)慢節(jié)點(diǎn)方法，還包括：基于慢節(jié)點(diǎn)報(bào)告生成慢節(jié)點(diǎn)列表，慢節(jié)點(diǎn)列表中包括慢節(jié)點(diǎn)的節(jié)點(diǎn)地址和慢節(jié)點(diǎn)的過期時(shí)間；在到達(dá)預(yù)定時(shí)刻時(shí)，根據(jù)過期時(shí)間和生成時(shí)間確定已過期慢節(jié)點(diǎn)；從慢節(jié)點(diǎn)列表中移除已過期慢節(jié)點(diǎn)。

又一種實(shí)施方式中，第一方面所述檢測(cè)慢節(jié)點(diǎn)方法，還包括：若第二存儲(chǔ)節(jié)點(diǎn)為慢節(jié)點(diǎn)，則為第一存儲(chǔ)節(jié)點(diǎn)重新分配第二存儲(chǔ)節(jié)點(diǎn)；若第二存儲(chǔ)節(jié)點(diǎn)為非慢節(jié)點(diǎn)，則通過第一存儲(chǔ)節(jié)點(diǎn)向被分配的第二存儲(chǔ)節(jié)點(diǎn)寫數(shù)據(jù)。

根據(jù)本公開實(shí)施例的第二方面，提供一種檢測(cè)慢節(jié)點(diǎn)的裝置，包括：獲取單元，被配置為針對(duì)第一存儲(chǔ)節(jié)點(diǎn)，獲取已生成記錄，已生成記錄中包括：存儲(chǔ)節(jié)點(diǎn)生成時(shí)刻、向除第一存儲(chǔ)節(jié)點(diǎn)外的其他第二存儲(chǔ)節(jié)點(diǎn)傳輸數(shù)據(jù)的次數(shù)及耗時(shí)；查找單元，被配置為從已生成記錄中獲取有效記錄，有效記錄包括預(yù)設(shè)時(shí)間段內(nèi)的記錄，預(yù)設(shè)時(shí)間段位于生成時(shí)刻與當(dāng)前時(shí)刻之間的時(shí)間段內(nèi)；確定單元，被配置為基于有效記錄包括的次數(shù)及耗時(shí)，確定第一存儲(chǔ)節(jié)點(diǎn)向每個(gè)第二存儲(chǔ)節(jié)點(diǎn)傳輸數(shù)據(jù)的平均耗時(shí)；檢測(cè)單元，被配置為基于平均耗時(shí)，在第二存儲(chǔ)節(jié)點(diǎn)中檢測(cè)慢節(jié)點(diǎn)。