[發明專利]一種語言標注方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202011630350.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112699671A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 涂志強
• 申請（專利權）人: 百果園技術（新加坡）有限公司
• 主分類號: G06F40/263
• 分類號: G06F40/263;G06F40/216;G06F16/35
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種語言標注方法，其特征在于，包括：

確定語言分類器；

采集與視頻數據相關的多個信息、作為多個視頻信息；

將多個所述視頻信息劃分為目標信息、參考信息；

分別將多個所述視頻信息輸入所述語言分類器中，以識別所述視頻信息歸屬的語言；

以多個參考語言作為輔助，校驗目標語言的置信度，所述目標語言為所述目標信息歸屬的語言、所述參考語言為所述參考信息歸屬的多個語言。

2.根據權利要求1所述的方法，其特征在于，所述確定語言分類器，包括：

生成訓練集，所述訓練集中具有多個文本信息，所述文本信息已標注歸屬的語言；

以所述訓練集中的所述文本信息作為訓練的樣本、所述語言作為訓練的標簽，訓練語言分類器。

3.根據權利要求1所述的方法，其特征在于，所述將多個所述視頻信息劃分為目標信息、參考信息，包括：

確定多個所述視頻信息相對于所述視頻數據的關聯性；

將所述關聯性最高的所述視頻信息設置為目標信息；

將除所述目標信息之外的其他所述視頻信息設置為參考信息。

4.根據權利要求3所述的方法，其特征在于，所述視頻信息包括如下的至少一種：

描述信息、與封面配套的文案信息、字幕信息、第一特征信息、第二特征信息、評論信息；

其中，所述第一特征信息為從封面中提取的文本信息，所述第二特征信息為從視頻數據的多幀圖像數據中提取的文本信息；

所述目標信息為描述信息，所述參考信息包括如下的至少一種：

與封面配套的文案信息、字幕信息、第一特征信息、第二特征信息、評論信息。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述以多個參考語言作為輔助，校驗目標語言的置信度，包括：

查詢所述目標語言中的概率、作為目標概率；

若所述目標概率大于或等于預設的第一概率閾值、且小于或等于預設的第二概率閾值，則查詢與所述目標語言相同的所述參考語言的概率，作為參考概率；

結合所述目標概率與所述參考概率計算所述目標信息歸屬所述目標語言的置信度。

6.根據權利要求1-4任一項所述的方法，其特征在于，還包括：

若所述置信度大于或等于預設的置信閾值，則生成與所述視頻信息相似的信息，作為增量信息；

調用所述語言分類器檢測所述增量信息在識別所述目標語言時的有效性；

若所述增量信息在識別所述目標語言時有效，則根據所述視頻信息與所述增量信息中的至少一者、以及所述目標語言更新所述語言分類器。

7.根據權利要求6所述的方法，其特征在于，所述生成與所述視頻信息相似的信息，作為增量信息，包括：

在數量條件的約束下，從所述視頻信息中刪除部分單詞，獲得增量信息；

其中，所述數量條件為所述增量信息的單詞占所述視頻信息的單詞的比例超過預設的第一比例閾值；

和/或，

將所述視頻信息中單詞的格式轉換為大寫字母，獲得增量信息；

和/或，

將所述視頻信息中單詞的格式轉換為小寫字母，獲得增量信息；

和/或，

刪除所述視頻信息中的標點符號，獲得增量信息；

和/或，

在所述視頻信息中，在M個單詞的范圍內刪除N個單詞，獲得增量信息。

8.根據權利要求6所述的方法，其特征在于，所述調用所述語言分類器檢測所述增量信息在識別所述目標語言時的有效性，包括：

將所述增量信息輸入所述語言分類器中，以識別所述增量信息歸屬的語言、作為增量語言；

統計所述增量語言與所述目標語言相同時的占比；

若所述占比大于或等于預設的第二比例閾值，則確定所述增量信息在識別所述語言時有效。