[發(fā)明專利]多模態(tài)文檔的編輯方法及裝置

在審

• 申請?zhí)枺?/td>: 202310416645.2
• 申請日: 2023-04-18
• 公開（公告）號: CN116579304A
• 公開（公告）日: 2023-08-11
• 發(fā)明（設(shè)計）人: 李輝;張曉平
• 申請（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號: G06F40/166
• 分類號: G06F40/166;G06F40/106
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 馬麗;蔣雅潔

1.一種多模態(tài)文檔的編輯方法，所述方法包括：

獲取第一操作；其中，所述第一操作用于選中待編輯文檔中的目標區(qū)域；

接收對第一圖標的第二操作；其中，所述第一圖標用于將所述目標區(qū)域的內(nèi)容按照參考區(qū)域的版面布局顯示；所述參考區(qū)域的內(nèi)容與所述目標區(qū)域的內(nèi)容匹配；

獲取所述版面布局對應(yīng)的內(nèi)容屬性映射關(guān)系；其中，所述內(nèi)容屬性映射關(guān)系用于表征所述版面布局中至少兩部分內(nèi)容各自對應(yīng)的布局屬性；

按照所述內(nèi)容屬性映射關(guān)系，將所述目標區(qū)域的內(nèi)容與所述至少兩部分內(nèi)容匹配并進行格式對齊。

2.根據(jù)權(quán)利要求1所述的方法，所述獲取所述版面布局對應(yīng)的內(nèi)容屬性映射關(guān)系，包括：

對所述參考區(qū)域的版面布局進行解析，得到所述參考區(qū)域中的至少兩個形狀；其中，每一所述形狀對應(yīng)所述至少兩部分內(nèi)容中的一部分；

提取每一所述形狀對應(yīng)的文本內(nèi)容及第一布局信息；其中，所述第一布局信息至少包括相對位置、字體、字號、顏色、背景、排列中的兩項；

根據(jù)每一所述文本內(nèi)容與所述第一布局信息之間的對應(yīng)關(guān)系，生成所述版面布局對應(yīng)的內(nèi)容屬性映射關(guān)系。

3.根據(jù)權(quán)利要求2所述的方法，在每一所述形狀中包括第一圖片的情況下，所述提取每一所述形狀對應(yīng)的文本內(nèi)容及第一布局信息，包括：

將所述第一圖片的內(nèi)容轉(zhuǎn)換為對應(yīng)的描述文本并作為所述文本內(nèi)容；

獲取所述第一圖片的大小和位置信息并作為所述第一布局信息。

4.根據(jù)權(quán)利要求1所述的方法，所述按照所述內(nèi)容屬性映射關(guān)系，將所述目標區(qū)域的內(nèi)容與所述至少兩部分內(nèi)容匹配并進行格式對齊，包括：

提取所述目標區(qū)域的內(nèi)容得到目標文本；

根據(jù)所述內(nèi)容屬性映射關(guān)系，按照所述至少兩部分內(nèi)容對所述目標文本進行內(nèi)容劃分和匹配，得到摘要對應(yīng)關(guān)系；其中，所述摘要對應(yīng)關(guān)系用于表征所述目標文本中各個子文本與所述至少兩部分內(nèi)容之間的匹配關(guān)系；

根據(jù)所述摘要對應(yīng)關(guān)系，將所述目標文本中每一所述子文本按照所述至少兩部分內(nèi)容中對應(yīng)內(nèi)容的格式輸出。

5.根據(jù)權(quán)利要求4所述的方法，所述提取所述目標區(qū)域的內(nèi)容得到目標文本，包括：

在所述目標區(qū)域中存在文本信息的情況下提取所述文本信息作為所述目標文本；和/或，

在所述目標區(qū)域中存在第二圖片的情況下，對所述第二圖片的語義內(nèi)容和相對位置進行描述，得到所述目標文本。

6.根據(jù)權(quán)利要求4所述的方法，所述根據(jù)所述內(nèi)容屬性映射關(guān)系，按照所述至少兩部分內(nèi)容對所述目標文本進行內(nèi)容劃分和匹配，得到摘要對應(yīng)關(guān)系，包括：

根據(jù)所述目標文本和所述內(nèi)容屬性映射關(guān)系，構(gòu)建第一提示模板；其中，所述第一提示模板用于指示按照所述內(nèi)容屬性映射關(guān)系整理所述目標文本；

利用所述目標文本、所述第一提示模板和所述內(nèi)容屬性映射關(guān)系，通過已訓(xùn)練的語言模型輸出所述目標文本的摘要對應(yīng)關(guān)系。

7.根據(jù)權(quán)利要求4所述的方法，所述根據(jù)所述摘要對應(yīng)關(guān)系，將所述目標文本中每一所述子文本按照所述至少兩部分內(nèi)容中對應(yīng)內(nèi)容的格式輸出，包括：

根據(jù)所述摘要對應(yīng)關(guān)系，確定所述目標文本中每一所述子文本的第二布局信息；其中，所述第二布局信息至少包括相對位置、字體、字號、顏色、背景、排列中的兩項；

針對每一所述子文本，按照所述第二布局信息生成對應(yīng)的多模態(tài)形狀；

將所述目標文本每一所述子文本生成的所述多模態(tài)形狀，按照所述相對位置輸出在所述目標區(qū)域。