[發(fā)明專利]文本數(shù)據(jù)的表示方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210503236.1
• 申請日: 2022-05-09
• 公開（公告）號: CN115878792A
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計）人: 段興濤;趙國慶;周長安
• 申請（專利權(quán)）人: 北京中關(guān)村科金技術(shù)有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30
• 代理公司: 北京萬思博知識產(chǎn)權(quán)代理有限公司 11694
• 代理人: 秦賀余;孫黎生

1.一種文本數(shù)據(jù)的表示方法，其特征在于，包括：

獲取文本數(shù)據(jù)；

對所述文本數(shù)據(jù)進(jìn)行預(yù)處理，得到目標(biāo)文本數(shù)據(jù)；

基于所述目標(biāo)文本數(shù)據(jù)中所有元素的屬性信息確定文檔結(jié)構(gòu)信息，并構(gòu)建所述文檔結(jié)構(gòu)信息對應(yīng)的結(jié)構(gòu)數(shù)據(jù)，其中，一個元素為目標(biāo)文本數(shù)據(jù)中的一行文本數(shù)據(jù)；

將所述目標(biāo)文本數(shù)據(jù)嵌入至所述結(jié)構(gòu)數(shù)據(jù)中，以將所述目標(biāo)文本數(shù)據(jù)進(jìn)行向量化；

基于所述結(jié)構(gòu)數(shù)據(jù)中的向量信息，確定用以表示所述文本數(shù)據(jù)的向量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述文本數(shù)據(jù)進(jìn)行預(yù)處理，得到目標(biāo)文本數(shù)據(jù)，包括：

遍歷所述文本數(shù)據(jù)中每個元素的字符的編碼；

去除除數(shù)字、字母、標(biāo)點符號和換行符對應(yīng)的編碼之外的其他編碼，得到目標(biāo)文本數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述屬性信息包括：左坐標(biāo)信息、右坐標(biāo)信息、字體粗細(xì)信息、是否居中的信息，所述基于所述目標(biāo)文本數(shù)據(jù)中所有元素的屬性信息確定文檔結(jié)構(gòu)信息，包括：

基于各個元素的字體粗細(xì)信息和是否居中的信息確定文檔標(biāo)題和段落標(biāo)題；

基于元素的左坐標(biāo)信息、右坐標(biāo)信息、字體粗細(xì)信息、是否居中的信息確定段落正文；

至少基于所述文檔標(biāo)題、段落標(biāo)題、段落正文確定文檔結(jié)構(gòu)信息。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述屬性信息還包括：位置信息，所述方法還包括：

將各個元素、各個元素對應(yīng)的位置信息和字體粗細(xì)信息輸入至文本分類器，輸出文檔開頭和文檔結(jié)尾；

所述至少基于所述文檔標(biāo)題、段落標(biāo)題、段落正文確定文檔結(jié)構(gòu)信息，包括：基于所述文檔標(biāo)題、段落標(biāo)題、段落正文、文檔開頭和文檔結(jié)尾確定文檔結(jié)構(gòu)信息。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述結(jié)構(gòu)數(shù)據(jù)中的向量信息，確定用以表示所述文本數(shù)據(jù)的向量，包括：

基于結(jié)構(gòu)數(shù)據(jù)中文檔標(biāo)題對應(yīng)的向量確定文檔標(biāo)題向量；

基于結(jié)構(gòu)數(shù)據(jù)中所有段落標(biāo)題對應(yīng)的向量和各個段落標(biāo)題的段落正文對應(yīng)的向量確定段落向量；

基于數(shù)據(jù)結(jié)構(gòu)中文檔開頭對應(yīng)的向量確定文檔開頭向量；

基于數(shù)據(jù)結(jié)構(gòu)中文檔結(jié)尾對應(yīng)的向量確定文檔結(jié)尾向量；

基于文檔標(biāo)題向量、段落向量、文檔開頭向量和文檔結(jié)尾向量確定用以表示所述文本數(shù)據(jù)的向量。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，段落標(biāo)題包括多個等級段落標(biāo)題，基于結(jié)構(gòu)數(shù)據(jù)中所有段落標(biāo)題對應(yīng)的向量和各個段落標(biāo)題的段落正文對應(yīng)的向量確定段落向量，包括：

確定各個段落標(biāo)題中各個等級段落標(biāo)題的向量與各個等級段落標(biāo)題對應(yīng)的段落正文的向量之間的相似度；

對各個段落標(biāo)題中各個等級段落標(biāo)題的向量與各個等級段落標(biāo)題對應(yīng)的段落正文的向量之間的相似度進(jìn)行歸一化處理得到歸一化相似度；

基于各個歸一化相似度、各個等級段落標(biāo)題的向量、各個等級段落標(biāo)題對應(yīng)的段落正文的向量確定各個初始段落向量；

求取各個初始段落向量的平均值得到段落向量。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于文檔標(biāo)題向量、段落向量、文檔開頭向量和文檔結(jié)尾向量確定用以表示所述文本數(shù)據(jù)的向量，包括：

獲取文檔標(biāo)題的權(quán)重、文檔開頭的權(quán)重、文檔結(jié)尾的權(quán)重和段落的權(quán)重；

將文檔標(biāo)題的權(quán)重乘以文檔標(biāo)題向量得到第一計算結(jié)果；

將文檔開頭的權(quán)重乘以文檔開頭向量得到第二計算結(jié)果；

將文檔結(jié)尾的權(quán)重乘以文檔結(jié)尾向量得到第三計算結(jié)果；

將段落的權(quán)重乘以段落向量得到第四計算結(jié)果；

將第一計算結(jié)果、第二計算結(jié)果、第三計算結(jié)果、第四計算結(jié)果進(jìn)行求和得到目標(biāo)向量；

將所述目標(biāo)向量表示為所述文本數(shù)據(jù)的向量。