[發明專利]非結構化數據的處理方法、裝置、存儲介質和設備

在審

• 申請號: 202211047030.9
• 申請日: 2022-08-30
• 公開（公告）號: CN115391295A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 丁一斐;文國軍;張浩瑀;黃雅男;田心茹;王子琦;洪宇坤
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/16;G06F16/182;G06F11/14
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張東梅

1.一種非結構化數據的處理方法，其特征在于，包括：

對第一用戶上傳的非結構化數據進行解析，得到所述非結構化數據的類型、文件頭信息以及文件尾信息；

基于所述非結構化數據的類型、文件頭信息以及文件尾信息，獲得所述非結構化數據的多個文件分片；

將各個所述文件分片，分別存儲到不同的存儲節點中；

在接收到第二用戶發送的數據讀取指令后，從各個所述存儲節點中獲取符合預設要求的文件分片，標識為目標文件分片；所述預設要求為：文件分片包含有所述數據讀取指令所示文件頭信息和文件尾信息；

對于獲取得到的每個所述目標文件分片，在所述目標文件分片的文件屬性不符合預設條件的情況下，重復對所述目標文件分片進行讀取，以使所述文件屬性不斷更新，直至所述文件屬性符合所述預設條件；所述預設條件為：所述文件屬性所示的分辨率大于預設分辨率閾值，且所述文件屬性所示的碼率大于預設碼率閾值；

基于各個所述目標文件分片，生成目標非結構化數據，并將所述目標非結構化數據發送給所述第二用戶。

2.根據權利要求1所述的方法，其特征在于，所述基于所述非結構化數據的類型、文件頭信息以及文件尾信息，獲得所述非結構化數據的多個文件分片，包括：

在所述非結構化數據的類型為圖像的情況下，對所述非結構化數據所示的圖像進行特征提取，得到多個特征圖像；

對各個所述特征圖像進行下采樣，得到各個有效特征圖像；

對于每個所述有效特征圖像，將所述文件頭信息、所述文件尾信息以及所述有效特征圖像進行組合，生成所述非結構化數據的文件分片。

3.根據權利要求1所述的方法，其特征在于，所述基于所述非結構化數據的類型、文件頭信息以及文件尾信息，獲得所述非結構化數據的多個文件分片，包括：

在所述非結構化數據的類型為音頻和視頻的情況下，對所述非結構化數據進行時間采樣，得到播放時間相等、且內容不同的多個數據段；

對于每個所述數據段，將所述文件頭信息、所述文件尾信息以及所述數據段進行組合，生成所述非結構化數據的文件分片。

4.根據權利要求1所述的方法，其特征在于，所述將各個所述文件分片，分別存儲到不同的存儲節點中之后，還包括：

對于每個所述存儲節點，對所述存儲節點所存儲的文件分片進行備份，得到文件分片備份，并將所述文件分片備份存儲到其他存儲節點中。

5.一種非結構化數據的處理裝置，其特征在于，包括：

解析單元，用于對第一用戶上傳的非結構化數據進行解析，得到所述非結構化數據的類型、文件頭信息以及文件尾信息；

分片單元，用于基于所述非結構化數據的類型、文件頭信息以及文件尾信息，獲得所述非結構化數據的多個文件分片；

存儲單元，用于將各個所述文件分片，分別存儲到不同的存儲節點中；

獲取單元，用于在接收到第二用戶發送的數據讀取指令后，從各個所述存儲節點中獲取符合預設要求的文件分片，標識為目標文件分片；所述預設要求為：文件分片包含有所述數據讀取指令所示文件頭信息和文件尾信息；

讀取單元，用于對于獲取得到的每個所述目標文件分片，在所述目標文件分片的文件屬性不符合預設條件的情況下，重復對所述目標文件分片進行讀取，以使所述文件屬性不斷更新，直至所述文件屬性符合所述預設條件；所述預設條件為：所述文件屬性所示的分辨率大于預設分辨率閾值，且所述文件屬性所示的碼率大于預設碼率閾值；

發送單元，用于基于各個所述目標文件分片，生成目標非結構化數據，并將所述目標非結構化數據發送給所述第二用戶。

6.根據權利要求5所述的裝置，其特征在于，所述分片單元具體用于：

在所述非結構化數據的類型為圖像的情況下，對所述非結構化數據所示的圖像進行特征提取，得到多個特征圖像；

對各個所述特征圖像進行下采樣，得到各個有效特征圖像；

對于每個所述有效特征圖像，將所述文件頭信息、所述文件尾信息以及所述有效特征圖像進行組合，生成所述非結構化數據的文件分片。