[發明專利]基于本質計算的跨模態特征挖掘方法及組件

有效

• 申請號: 202011387490.7
• 申請日: 2020-12-01
• 公開（公告）號: CN112418428B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 段玉聰;樊珂
• 申請（專利權）人: 海南大學
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N5/02;G06K9/62;G06F16/2458
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉志紅

1.一種基于本質計算的跨模態特征挖掘方法，其特征在于，包括：

獲取至少兩種類型化資源；所述類型化資源包括數據資源、信息資源和知識資源；

對所述至少兩種類型化資源進行關聯融合處理，得到融合結果；

將所述融合結果確定為所述至少兩種類型化資源對應的跨模特征，以便利用所述跨模特征對所述至少兩種類型化資源進行處理；

其中，所述至少兩種類型化資源具體包括所述數據資源和所述信息資源；對所述至少兩種類型化資源進行關聯融合處理，得到融合結果，包括：

對所述數據資源和所述信息資源進行拼接，得到新數據資源；

或，按照特定方向，將所述對所述數據資源和所述信息資源合并，得到新數據資源和新信息資源；

或，對所述數據資源和所述信息資源進行歸納總結和抽象，得到構成基于類型/類級別的完整性抽象關系，并將所述完整性抽象關系確定為新知識資源；

其中，所述按照特定方向，將所述對所述數據資源和所述信息資源合并，得到新數據資源和新信息資源，包括：

按照形成對應關系、總結匹配、數值計算、表示個數、補充細節、邏輯計算、構建符合語句、邏輯推理、條件判斷和預測推理中的任意方向，將所述對所述數據資源和所述信息資源合并，得到對應的新數據資源和新信息資源；

所述利用所述跨模特征對所述至少兩種類型化資源進行處理包括：

若跨模特征包括數據資源，則利用該數據資源對原有的數據資源進行補充或替換；若跨模特征包括信息資源，則利用該信息資源對原有的信息資源進行補充或替換；所述數據資源包括符號、文字、數字、語音、圖像、視頻；所述信息資源作為坐標出現，表示預設實體的具體位置，所述信息資源出現一系列多個坐標，表達預設地理行動軌跡。

2.根據權利要求1所述的基于本質計算的跨模態特征挖掘方法，其特征在于，所述至少兩種類型化資源具體包括所述數據資源和所述知識資源；對所述至少兩種類型化資源進行關聯融合處理，得到融合結果，包括：

對所述數據資源和所述知識資源進行拼接，得到新數據資源；

或，利用所述知識資源對所述數據資源進行分析，得到新數據資源和新知識資源。

3.根據權利要求1所述的基于本質計算的跨模態特征挖掘方法，其特征在于，所述至少兩種類型化資源具體包括所述信息資源和所述知識資源；對所述至少兩種類型化資源進行關聯融合處理，得到融合結果，包括：

對所述信息資源和所述知識資源進行拼接，得到新數據資源；

或，利用所述知識資源對所述信息資源進行分析處理，得到新數據資源和新信息資源；

或，若所述信息資源為準確材料，或所述信息資源為對所述知識資源的內容補充，則對所述信息資源和所述知識資源進行關聯融合，得到新數據資源、新信息資源和新知識資源。

4.根據權利要求1所述的基于本質計算的跨模態特征挖掘方法，其特征在于，所述至少兩種類型化資源具體包括所述數據資源、所述信息資源和所述知識資源；對所述至少兩種類型化資源進行關聯融合處理，得到融合結果，包括：

將所述數據資源、所述信息資源和所述知識資源進行拼接，得到新數據資源；

或，若利用所述知識資源對問題進行解答，則融合所述數據資源、所述信息資源和所述知識資源，得到新數據資源和新信息資源；

或，若所述知識資源對問題進行解答并產生了新知識資源，則融合所述數據資源、所述信息資源和所述知識資源，得到新數據資源、新信息資源和新知識資源。

5.根據權利要求1所述的基于本質計算的跨模態特征挖掘方法，其特征在于，還包括：

對所述數據資源、所述信息資源或所述知識資源進行同模態資源融合，得到同模特征；

利用所述同模特征，對所述至少兩種類型化資源進行處理。