[發明專利]多媒體信息的標題修正方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010462562.3
• 申請日: 2020-05-27
• 公開（公告）號: CN111626049B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 陳小帥
• 申請（專利權）人: 深圳市雅閱科技有限公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F16/432;G06F16/45;G06F40/284
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 劉暉銘;張穎玲

1.一種基于人工智能的多媒體信息的標題修正方法，其特征在于，所述方法包括：

對多媒體信息進行類型識別處理，得到所述多媒體信息的類型；

對所述多媒體信息的標題進行錯誤識別處理，得到所述標題中的錯誤位置；

根據所述錯誤位置的文本搜索與所述類型對應的候選修正數據庫，得到用于修正所述錯誤位置的文本的多個候選修正文本；

對所述多個候選修正文本進行篩選，將篩選后得到的候選修正文本作為修正文本，其中，所述候選修正文本的語言通順程度大于與所述多媒體信息的類型對應的語言通順程度閾值，所述候選修正文本的語言通順程度是所述標題修正前后的最終通順程度的差值；

將所述標題的錯誤位置的文本替換為所述修正文本，以形成所述多媒體信息的正確標題；

其中，所述標題修正后的最終通順程度通過以下處理得到：通過類型個性化語言模型對修正后的所述標題進行通順程度預測處理，得到修正后的所述標題的第一通順程度；通過通用語言模型對修正后的所述標題進行通順度預測處理，得到修正后的所述標題的第二通順程度；對所述第一通順程度以及所述第二通順程度進行加權求和，以得到修正后的所述標題的最終通順程度。

2.根據權利要求1所述的方法，其特征在于，在所述對多媒體信息進行類型識別處理之前，所述方法還包括：

提取所述多媒體信息的多個模態的特征；

其中，當所述多媒體信息為視頻時，所述多個模態的特征包括：視頻融合特征、音頻融合特征和所述多媒體信息的標題的文本特征。

3.根據權利要求2所述的方法，其特征在于，所述提取所述多媒體信息的多個模態的特征，包括：

對所述多媒體信息中每個視頻幀進行編碼處理，得到所述每個視頻幀的向量表示，并對所述每個視頻幀的向量表示進行融合處理，得到所述視頻融合特征；

對所述多媒體信息中每個音頻幀進行編碼處理，得到所述每個音頻幀的向量表示，并對所述每個音頻幀的向量表示進行融合處理，得到所述音頻融合特征；

對所述多媒體信息的標題中每個位置的文本進行編碼處理，得到對應的向量，并將所述每個位置的向量組合為向量序列，以作為所述標題的文本特征。

4.根據權利要求2所述的方法，其特征在于，所述對多媒體信息進行類型識別處理，得到所述多媒體信息的類型，包括：

將所述視頻融合特征、所述音頻融合特征和所述文本特征進行融合處理，得到所述多媒體信息的多模態融合特征；

將所述多模態融合特征映射為對應多個候選多媒體信息類型的概率，并將最大概率的候選多媒體信息類型確定為所述多媒體信息的類型。

5.根據權利要求2所述的方法，其特征在于，所述對所述多媒體信息的標題進行錯誤識別處理，得到所述標題中的錯誤位置，包括：

將所述標題的文本特征映射為對應所述標題中每個位置的錯誤概率，并將錯誤概率大于錯誤閾值的位置確定為所述錯誤位置。

6.根據權利要求1所述的方法，其特征在于，

所述對多媒體信息進行類型識別處理，包括：

通過調用多任務識別模型中的視頻類型分類子模型來進行所述類型識別處理；

所述對所述多媒體信息的標題進行錯誤識別處理，包括：

通過調用所述多任務識別模型中的錯誤分類子模型來進行所述錯誤識別處理。

7.根據權利要求6所述的方法，其特征在于，

所述對多媒體信息進行類型識別處理之前，所述方法還包括：

通過所述多任務識別模型對多媒體信息樣本進行類型識別處理，得到所述多媒體信息樣本的預測類型，并

對所述多媒體信息樣本的標題進行錯誤識別處理，得到所述標題中的預測錯誤位置；

根據所述多媒體信息樣本的預測類型、所述多媒體信息樣本的多媒體信息類型標注、所述多媒體信息樣本中的預測錯誤位置以及所述多媒體信息樣本中錯誤位置標注，構建所述多任務識別模型的損失函數；

更新所述多任務識別模型的參數直至所述損失函數收斂，將所述損失函數收斂時所述多任務識別模型的更新的參數，作為訓練后的所述多任務識別模型的參數。