[發明專利]一種數據存儲方法、裝置、設備及存儲介質

有效

• 申請號: 202010212580.6
• 申請日: 2020-03-24
• 公開（公告）號: CN111443867B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 李達統;曾楚偉;李斌
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/14;G06F16/13;G06F16/16;G06F16/174
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 常忠良

1.一種數據存儲方法，其特征在于，所述方法應用于數據存儲系統，所述數據存儲系統包括：熱數據存儲服務器和冷數據存儲服務器，所述熱數據存儲服務器中存儲磁盤的性能優于所述冷數據存儲服務器中存儲磁盤的性能；所述方法包括：

針對所述數據存儲系統接收的用戶數據，確定滿足預設下沉條件的用戶數據作為下沉數據；基于所述下沉數據生成下沉數據文件；

所述確定滿足預設下沉條件的用戶數據作為下沉數據，包括：若所述用戶數據對應的重要性等級未達到預設重要性等級，或者，所述用戶數據對應的敏感度等級未達到預設敏感度等級，則將所述用戶數據作為所述下沉數據；

所述用戶數據對應的重要性等級是通過第一數據分析模型對所述用戶數據中包含的信息進行語義識別，并根據所述語義識別的結果確定所述用戶數據的重要程度，進而為所述用戶數據配置的；其中，所述第一數據分析模型用于分析所述用戶數據中包含的信息的重要程度；

所述用戶數據對應的敏感度等級是通過第二數據分析模型對所述用戶數據中包含的所述信息進行語義識別，并根據所述語義識別的結果確定所述用戶數據的敏感程度，進而為所述用戶數據配置的；其中，所述第二數據分析模型用于分析所述用戶數據中包含的信息的敏感程度；

所述第一數據分析模型與所述第二數據分析模型為預先訓練好的神經網絡模型；

所述基于所述下沉數據生成下沉數據文件，包括：根據單個用戶賬號的下沉數據生成所述單個用戶賬號的子下沉數據文件，再基于各用戶賬號各自的子下沉數據文件生成能存儲至冷數據存儲服務器的下沉數據文件；

將所述下沉數據文件存儲至所述冷數據存儲服務器；

基于所述下沉數據文件中所述下沉數據在所述冷數據存儲服務器中的存儲位置，生成所述下沉數據對應的目標索引信息。

2.根據權利要求1所述的方法，其特征在于，在所述數據存儲系統接收的用戶數據默認先存儲至所述熱數據存儲服務器的情況下，所述確定滿足預設下沉條件的用戶數據作為下沉數據，包括：

掃描所述熱數據存儲服務器中存儲的用戶數據，確定所述熱數據存儲服務器中訪問熱度低于預設熱度閾值的用戶數據作為所述下沉數據；所述訪問熱度是根據以下任意一種或多種信息確定的：用戶數據的被訪問次數和用戶數據的存儲時間；

在所述將所述下沉數據文件存儲至所述冷數據存儲服務器之后，所述方法還包括：

刪除所述熱數據存儲服務器中的所述下沉數據。

3.根據權利要求2所述的方法，其特征在于，所述掃描所述熱數據存儲服務器中存儲的用戶數據，確定所述熱數據存儲服務器中訪問熱度低于預設熱度閾值的用戶數據作為所述下沉數據，包括：

針對所述熱數據存儲服務器中每個用戶賬號下的用戶數據，判斷該用戶賬號下的用戶數據是否超過預設數據量，若是，則將該用戶賬號下存儲時間在預設歷史時段內的用戶數據作為該用戶賬號的下沉數據。

4.根據權利要求3所述的方法，其特征在于，所述基于所述下沉數據生成下沉數據文件，包括：

累加多個用戶賬號的下沉數據，判斷累加后的下沉數據是否達到所述下沉數據文件對應的目標數據量；

若是，則針對所述多個用戶賬號中的每個用戶賬號，基于該用戶賬號的下沉數據生成該用戶賬號的子下沉數據文件；基于所述多個用戶賬號各自的子下沉數據文件生成所述下沉數據文件。

5.根據權利要求1所述的方法，其特征在于，所述數據存儲系統包括多個所述冷數據存儲服務器，在所述基于所述下沉數據生成下沉數據文件之后，所述方法還包括：

復制所述下沉數據文件，得到多份所述下沉數據文件；

所述將所述下沉數據文件存儲至所述冷數據存儲服務器，包括：

將多份所述下沉數據文件分別存儲至不同的所述冷數據存儲服務器。

6.根據權利要求1所述的方法，其特征在于，所述基于所述下沉數據文件中所述下沉數據在所述冷數據存儲服務器中的存儲位置，生成所述下沉數據對應的目標索引信息，包括：

確定所述下沉數據的消息序號、所述下沉數據文件的文件標識以及所述冷數據存儲服務器的設備標識之間的關聯關系，作為一級索引信息，將所述一級索引信息作為所述目標索引信息。