[發(fā)明專利]一種文件讀取方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010592657.7
• 申請(qǐng)日: 2020-06-24
• 公開(kāi)（公告）號(hào): CN113835613A
• 公開(kāi)（公告）日: 2021-12-24
• 發(fā)明（設(shè)計(jì)）人: 張波波
• 申請(qǐng)（專利權(quán)）人: 浙江宇視科技有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開(kāi)了一種文件讀取方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，其中方法包括：獲取目標(biāo)文件的讀取請(qǐng)求；通過(guò)預(yù)先創(chuàng)建的多線程請(qǐng)求隊(duì)列，并行下發(fā)讀取請(qǐng)求到各存儲(chǔ)節(jié)點(diǎn)；在接收到目標(biāo)存儲(chǔ)節(jié)點(diǎn)返回的成功讀取目標(biāo)文件的消息時(shí)，將目標(biāo)文件反饋給目標(biāo)文件請(qǐng)求方，并將其它存儲(chǔ)節(jié)點(diǎn)返回的讀取結(jié)果消息設(shè)置為無(wú)效。本發(fā)明實(shí)施例中，通過(guò)預(yù)先建立的多線程請(qǐng)求隊(duì)列，將獲取的讀取請(qǐng)求并行下發(fā)到各存儲(chǔ)節(jié)點(diǎn)后，若某一目標(biāo)存儲(chǔ)節(jié)點(diǎn)返回所請(qǐng)求的目標(biāo)文件，則立即將目標(biāo)文件立即返回請(qǐng)求方，其余存儲(chǔ)節(jié)點(diǎn)返回的讀取結(jié)果自動(dòng)失效處理，由此避免了因等待所有存儲(chǔ)節(jié)點(diǎn)完成讀取操作后返回最終結(jié)果，所導(dǎo)致的讀取文件耗時(shí)大的問(wèn)題，提升了文件的讀取效率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及云存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種文件讀取方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)、人工智能、云存儲(chǔ)等技術(shù)的進(jìn)步和不斷革新，視頻監(jiān)控、數(shù)字警務(wù)、智能助理、智慧城市等信息化業(yè)務(wù)在生活中的出現(xiàn)也越來(lái)越頻繁，這給我們的社會(huì)活動(dòng)和生產(chǎn)帶來(lái)了極大的方便。大規(guī)模的信息化應(yīng)用產(chǎn)生了海量的數(shù)據(jù)，這些數(shù)據(jù)可以是鍵值對(duì)數(shù)據(jù)、圖片、短視頻、文檔、表格等，這就對(duì)云存儲(chǔ)系統(tǒng)的高效性提出了更高的要求。一般海量數(shù)據(jù)的存儲(chǔ)采用云存儲(chǔ)系統(tǒng)進(jìn)行，其包含元數(shù)據(jù)管理服務(wù)器CDM和若干個(gè)虛擬存儲(chǔ)節(jié)點(diǎn)，在單個(gè)存儲(chǔ)節(jié)點(diǎn)中數(shù)據(jù)以文件的方式進(jìn)行組織和存儲(chǔ)。而在業(yè)務(wù)量不斷增長(zhǎng)的情況下性能問(wèn)題成為了一個(gè)極其關(guān)鍵的問(wèn)題，同等的存儲(chǔ)硬件，性能的提升有助于直接提高產(chǎn)品競(jìng)爭(zhēng)力和性價(jià)比。

通常，業(yè)務(wù)使用云存儲(chǔ)客戶端實(shí)現(xiàn)基本的文件操作功能，文件讀取時(shí)攜帶文件名稱獲取到所有在線的存儲(chǔ)節(jié)點(diǎn)，再向每個(gè)存儲(chǔ)節(jié)點(diǎn)發(fā)送讀取文件請(qǐng)求，等到所有節(jié)點(diǎn)上讀取操作完成后，業(yè)務(wù)層才能獲取到最終結(jié)果，也即存在已經(jīng)讀取成功但還是要等所有結(jié)果返回的情況，使得文件的讀取效率較低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種文件讀取方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，以達(dá)到提升文件讀取效率的效果。

第一方面，本發(fā)明實(shí)施例提供了一種文件讀取方法，應(yīng)用于云存儲(chǔ)系統(tǒng)中的數(shù)據(jù)產(chǎn)生設(shè)備，所述方法包括：

獲取目標(biāo)文件的讀取請(qǐng)求；

通過(guò)預(yù)先創(chuàng)建的多線程請(qǐng)求隊(duì)列，并行下發(fā)所述讀取請(qǐng)求到各存儲(chǔ)節(jié)點(diǎn)；

在接收到目標(biāo)存儲(chǔ)節(jié)點(diǎn)返回的成功讀取所述目標(biāo)文件的消息時(shí)，將所述目標(biāo)文件反饋給目標(biāo)文件請(qǐng)求方，并將其它存儲(chǔ)節(jié)點(diǎn)返回的讀取結(jié)果消息設(shè)置為無(wú)效。

第二方面，本發(fā)明實(shí)施例提供了一種文件讀取方法，應(yīng)用于云存儲(chǔ)系統(tǒng)中的存儲(chǔ)節(jié)點(diǎn)，所述方法包括：

響應(yīng)于對(duì)已經(jīng)存儲(chǔ)的目標(biāo)文件的讀取請(qǐng)求，在預(yù)先加載的目錄樹(shù)中確定所述目標(biāo)文件對(duì)應(yīng)的目標(biāo)目錄；

根據(jù)所述目標(biāo)目錄下預(yù)先創(chuàng)建的過(guò)濾器，判斷預(yù)先創(chuàng)建的過(guò)濾器中是否存在所述目標(biāo)文件信息，其中，所述過(guò)濾器中用于存儲(chǔ)所述目標(biāo)目錄下的部分文件塊中的文件信息；

若存在，則根據(jù)所述目標(biāo)文件信息，獲取對(duì)應(yīng)的目標(biāo)文件；

若不存在，則從存儲(chǔ)節(jié)點(diǎn)的磁盤中依次讀取所述目標(biāo)目錄下的其它文件塊，并將讀取過(guò)的文件塊的文件信息添加到過(guò)濾器中，直到查找到所述目標(biāo)文件對(duì)應(yīng)的目標(biāo)文件信息為止，其中，所述其它文件塊為所述目標(biāo)目錄下除了已存儲(chǔ)在過(guò)濾器中的文件塊以外的文件塊。

第三方面，本發(fā)明實(shí)施例提供了一種文件讀取裝置，配置于云存儲(chǔ)系統(tǒng)中的數(shù)據(jù)產(chǎn)生設(shè)備，所述裝置包括：

請(qǐng)求獲取模塊，用于獲取目標(biāo)文件的讀取請(qǐng)求；

請(qǐng)求下發(fā)模塊，用于通過(guò)預(yù)先創(chuàng)建的多線程請(qǐng)求隊(duì)列，并行下發(fā)所述讀取請(qǐng)求到各存儲(chǔ)節(jié)點(diǎn)；

消息處理模塊，用于在接收到目標(biāo)存儲(chǔ)節(jié)點(diǎn)返回的成功讀取所述目標(biāo)文件的消息時(shí)，將所述目標(biāo)文件反饋給目標(biāo)文件請(qǐng)求方，并將其它存儲(chǔ)節(jié)點(diǎn)返回的讀取結(jié)果消息設(shè)置為無(wú)效。