[發明專利]一種清單文件的生成方法、裝置、電子設備及介質

在審

• 申請號: 202110276066.3
• 申請日: 2021-03-15
• 公開（公告）號: CN113010478A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 張健
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/14;G06F16/172
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 高鶯然;馬敬

本發明實施例提供了一種清單文件的生成方法、裝置、電子設備及介質，涉及云存儲技術領域。該方法包括：掃描源存儲空間中預設掃描范圍內的文件的元數據信息，從掃描到的文件的元數據信息中，獲取每個文件的預設清單字段對應的字段內容，將獲取到的文件的預設清單字段對應的字段內容生成清單文件，然后將清單文件存儲于目標存儲空間。采用該方法可以提高獲取清單文件的效率。

技術領域

本發明涉及云存儲技術領域，特別是涉及一種清單文件的生成方法、裝置、電子設備及介質。

背景技術

公有云對象存儲是具有海量數據、可以無限擴容且存儲成本低廉的分布式數據存儲方式，基于超文本傳輸協議(Hypertext Transfer Protocol，HTTP)實現對公有云對象存儲中的文件的讀寫，能夠很好地實現跨平臺數據分享。

目前大多數的大數據平臺均支持將公有云對象存儲作為數據來源，且通過公有云對象存儲進行大數據備份。公有云對象存儲中數以萬計的文件數量，對使用者對文件的統計與分析帶來了難度。目前使用者可以通過公有云的文件列表接口獲取文件列表信息，然后再通過head接口逐個獲取文件列表信息中每個文件的元數據，從而生成包括每個文件元數據信息的清單文件。因文件列表信息涉及的文件數量較多，逐個獲取每個文件的元數據所需的時間較長，導致使用者獲取清單文件的效率較低。

發明內容

本發明實施例的目的在于提供一種清單文件的生成方法、裝置、電子設備及介質，以提高獲取清單文件的效率。具體技術方案如下：

第一方面，本申請實施例提供一種清單文件的生成方法，所述方法應用于云服務器，所述方法包括：

掃描源存儲空間中預設掃描范圍內的文件的元數據信息；

從掃描到的文件的元數據信息中，獲取每個文件的預設清單字段對應的字段內容；

將獲取到的文件的預設清單字段對應的字段內容生成清單文件；

將所述清單文件存儲于目標存儲空間。

在一種可能的實現方式中，在所述將獲取到的所有文件的預設清單字段對應的清單內容生成清單文件之后，所述方法還包括：

生成所述清單文件的描述文件，所述描述文件包括開始掃描所述源存儲空間的時間戳、所述清單文件包括的字段、所述清單文件的文件名、所述清單文件的文件大小、所述清單文件的校驗值、所述源存儲空間的標識、所述目標存儲空間的標識和清單版本中的任意一項或多項；

將所述清單文件的描述文件存儲于所述目標存儲空間。

在一種可能的實現方式中，在生成所述清單文件的描述文件之前，所述方法還包括：

根據掃描結束時刻的時間戳生成所述清單文件的文件名。

在一種可能的實現方式中，所述掃描源存儲空間中預設掃描范圍內的元數據信息，包括：

以預設掃描時間間隔為掃描周期，周期性掃描所述源存儲空間中預設掃描范圍內的元數據信息；

所述將獲取到的文件的預設清單字段對應的字段內容生成清單文件，包括：

將在當前掃描周期內獲取到的文件的預設清單字段對應的字段內容生成一個清單文件。

在一種可能的實現方式中，所述掃描源存儲空間中預設掃描范圍內的文件的元數據信息，包括：

若所述預設掃描范圍為所述源存儲空間，則掃描所述源存儲空間中所有文件的元數據信息；

若所述預設掃描范圍為所述源存儲空間中指定前綴的文件，則掃描所述源存儲空間中具有所述指定前綴的文件的元數據信息。

在一種可能的實現方式中，所述方法還包括：