[發(fā)明專利]文檔分類預(yù)測(cè)方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011521171.0
• 申請(qǐng)日: 2020-12-21
• 公開(kāi)（公告）號(hào): CN112699923A
• 公開(kāi)（公告）日: 2021-04-23
• 發(fā)明（設(shè)計(jì)）人: 劉玉;徐國(guó)強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F16/951;G06F16/11;G06F16/35
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 譚果林

1.一種文檔分類預(yù)測(cè)方法，其特征在于，包括：

接收包含目標(biāo)文檔的預(yù)測(cè)請(qǐng)求指令；

通過(guò)預(yù)設(shè)文檔解析模型，對(duì)所述目標(biāo)文檔進(jìn)行文檔解析，得到與所述目標(biāo)文檔對(duì)應(yīng)的文字信息以及與所述文字信息對(duì)應(yīng)的坐標(biāo)信息；

將所述文字信息以及所述坐標(biāo)信息輸入至預(yù)設(shè)預(yù)訓(xùn)練語(yǔ)言模型中，對(duì)所述文字信息以及所述坐標(biāo)信息進(jìn)行向量提取，得到與所述目標(biāo)文檔對(duì)應(yīng)的文檔表示向量；

獲取樣本文檔向量集；所述樣本文檔向量集中包含至少一個(gè)樣本文檔向量；一個(gè)所述樣本文檔向量關(guān)聯(lián)一個(gè)文檔類別；

確定所述文檔表示向量與各所述樣本文檔向量之間的文檔向量距離，并根據(jù)各所述文檔向量距離確定所述目標(biāo)文檔對(duì)應(yīng)的文檔類別。

2.如權(quán)利要求1所述的文檔分類預(yù)測(cè)方法，其特征在于，所述將所述文字信息以及所述坐標(biāo)信息輸入至預(yù)設(shè)預(yù)訓(xùn)練語(yǔ)言模型中之前，還包括：

獲取訓(xùn)練文檔三元組；所述樣本文檔三元組包含訓(xùn)練文檔、與所述訓(xùn)練文檔對(duì)應(yīng)的正樣本文檔以及與所述樣本文檔對(duì)應(yīng)的負(fù)樣本文檔；

將所述樣本文檔三元組輸入至包含初始參數(shù)的初始語(yǔ)言模型中，分別對(duì)所述訓(xùn)練文檔、正樣本文檔以及負(fù)樣本文檔進(jìn)行向量提取，得到與所述訓(xùn)練文檔對(duì)應(yīng)的第一訓(xùn)練向量，與所述正樣本文檔對(duì)應(yīng)的第二訓(xùn)練向量，以及與所述負(fù)樣本文檔對(duì)應(yīng)的第三訓(xùn)練向量；

根據(jù)所述第一訓(xùn)練向量、第二訓(xùn)練向量以及第三訓(xùn)練向量，確定所述語(yǔ)言模型的總損失值；

在所述總損失值未達(dá)到預(yù)設(shè)的收斂條件時(shí)，更新迭代所述初始語(yǔ)言模型的初始參數(shù)，直至所述總損失值達(dá)到所述預(yù)設(shè)的收斂條件時(shí)，將收斂之后的所述初始語(yǔ)言模型記錄為所述預(yù)設(shè)預(yù)訓(xùn)練語(yǔ)言模型。

3.如權(quán)利要求2所述的文檔分類預(yù)測(cè)方法，其特征在于，所述將所述樣本文檔三元組輸入至包含初始參數(shù)的初始語(yǔ)言模型中，分別對(duì)所述訓(xùn)練文檔、正樣本文檔以及負(fù)樣本文檔進(jìn)行向量提取，得到與所述訓(xùn)練文檔對(duì)應(yīng)的第一訓(xùn)練向量，與所述正樣本文檔對(duì)應(yīng)的第二訓(xùn)練向量，以及與所述負(fù)樣本文檔對(duì)應(yīng)的第三訓(xùn)練向量，包括：

分別提取所述訓(xùn)練文檔、正樣本文檔以及負(fù)樣本文檔的單詞序列，得到與所述訓(xùn)練文檔對(duì)應(yīng)的訓(xùn)練單詞序列、與所述正樣本文檔對(duì)應(yīng)的正樣本單詞序列，以及與所述負(fù)樣本文檔對(duì)應(yīng)的負(fù)樣本單詞序列；

通過(guò)預(yù)設(shè)特征表示方法，確定與所述訓(xùn)練單詞序列中各單詞對(duì)應(yīng)的訓(xùn)練高階特征，與所述正樣本單詞序列中各單詞對(duì)應(yīng)的正樣本高階特征，以及與所述負(fù)樣本單詞序列中各單詞對(duì)應(yīng)的負(fù)樣本高階特征；

分別對(duì)所述訓(xùn)練高階特征、正樣本高階特征以及負(fù)樣本高階特征進(jìn)行平均池化處理，得到所述第一訓(xùn)練向量、第二訓(xùn)練向量以及所述第三訓(xùn)練向量。

4.如權(quán)利要求2所述的文檔分類預(yù)測(cè)方法，其特征在于，所述根據(jù)所述第一訓(xùn)練向量、第二訓(xùn)練向量以及第三訓(xùn)練向量，確定所述語(yǔ)言模型的總損失值，包括：

確定所述第一訓(xùn)練向量與所述第二訓(xùn)練向量之間的第一文檔距離；同時(shí)確定所述第一訓(xùn)練向量與所述第三訓(xùn)練向量之間的第二文檔距離；

根據(jù)所述第一文檔距離以及所述第二文檔距離，通過(guò)三重?fù)p失函數(shù)確定所述總損失值。

5.如權(quán)利要求2所述的文檔分類預(yù)測(cè)方法，其特征在于，所述獲取樣本文檔三元組之前，還包括：

獲取預(yù)設(shè)樣本文檔集合；所述樣本文檔集合中包含至少一個(gè)樣本文檔；一個(gè)所述樣本文檔關(guān)聯(lián)一個(gè)文檔標(biāo)題；

對(duì)各所述文檔標(biāo)題進(jìn)行歸一化處理，并根據(jù)歸一化處理之后的各文檔標(biāo)題，對(duì)各所述樣本文檔進(jìn)行文檔分類，得到與各所述樣本文檔對(duì)應(yīng)的文檔類別；

自各所述文檔類別中選取一個(gè)文檔類別作為正文檔類別；自除所述正文檔類別之外的其它文檔類別中選取一個(gè)文檔類別作為負(fù)文檔類別；

自所述正文檔類別中選取一個(gè)樣本文檔并記錄為所述訓(xùn)練文檔；同時(shí)，自所述正文檔類別中選取除所述訓(xùn)練文檔外的一個(gè)樣本文檔并記錄為所述正樣本文檔；自所述負(fù)文檔類別中選取一個(gè)樣本文檔并記錄為所述負(fù)樣本文檔；

根據(jù)所述訓(xùn)練文檔、正樣本文檔以及所述負(fù)樣本文檔構(gòu)建所述訓(xùn)練文檔三元組。