[發(fā)明專利]基于多模態(tài)孿生神經(jīng)網(wǎng)絡(luò)的RPA流程推薦方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202310654764.1
• 申請日: 2023-06-05
• 公開（公告）號: CN116384494B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計）人: 龔櫟鑫;袁水平;王靖雄;李段騰川
• 申請（專利權(quán)）人: 安徽思高智能科技有限公司
• 主分類號: G06N5/025
• 分類號: G06N5/025;G06N3/045;G06N3/08
• 代理公司: 武漢知產(chǎn)時代知識產(chǎn)權(quán)代理有限公司 42238
• 代理人: 吳曉茜

本發(fā)明提供一種基于多模態(tài)孿生神經(jīng)網(wǎng)絡(luò)的RPA流程推薦方法及系統(tǒng)，包括：S1：構(gòu)建RPA業(yè)務(wù)流程的知識圖譜，提取知識圖譜中的第一實體集E和第二實體集E’，計算獲得第一實體集的表征集和第二實體集的表征集；S2：構(gòu)建孿生神經(jīng)網(wǎng)絡(luò)，通過第一實體集的表征集和第二實體集的表征集計算獲得總損失，通過總損失循環(huán)訓(xùn)練孿生神經(jīng)網(wǎng)絡(luò)，獲得訓(xùn)練好的孿生神經(jīng)網(wǎng)絡(luò)；S3：獲取需求流程實體E*，通過訓(xùn)練好的孿生神經(jīng)網(wǎng)絡(luò)計算獲得需求流程實體在知識圖譜中的推薦路徑，通過推薦路徑獲得RPA流程推薦方案。本發(fā)明可以在歷史信息的支持下，針對RPA中新的業(yè)務(wù)需求提供一個基于相似度的業(yè)務(wù)流程路徑推薦，使RPA應(yīng)用更加智能化、自動化和高效化。

技術(shù)領(lǐng)域

本發(fā)明涉及RPA技術(shù)領(lǐng)域，尤其涉及一種基于多模態(tài)孿生神經(jīng)網(wǎng)絡(luò)的RPA流程推薦方法及系統(tǒng)。

背景技術(shù)

隨著軟件自動化等技術(shù)的迅速發(fā)展，RPA(Robotic?Process?Automation)已廣泛應(yīng)用于企業(yè)的自動化轉(zhuǎn)型中。通過元素抓取和預(yù)先編制好的業(yè)務(wù)流程，RPA可以自動執(zhí)行任務(wù)，取代人工操作，提高效率并降低成本。高效而精確的業(yè)務(wù)流程推薦是RPA應(yīng)對頻繁變更的業(yè)務(wù)需求時的必然要求，它有助于優(yōu)化流程的設(shè)計，提高自動化生產(chǎn)的效率，并減少在RPA應(yīng)用的開發(fā)成本。然而，RPA涉及到的業(yè)務(wù)流程往往具有高度復(fù)雜性，需要通過多模態(tài)信息進(jìn)行綜合分析和處理，因此RPA業(yè)務(wù)流程推薦更是一項極其復(fù)雜的任務(wù)。

現(xiàn)有的RPA業(yè)務(wù)流程推薦方法通常基于圖結(jié)構(gòu)，使用圖挖掘和圖匹配來推薦出最合適的候選節(jié)點。但是，業(yè)務(wù)流程通常會涉及到從不同的來源（例如文本、表格、圖像等）獲取數(shù)據(jù)，這些數(shù)據(jù)包含不同模態(tài)的信息，為RPA理解業(yè)務(wù)流程需求提供不同的視角和信息。僅基于圖結(jié)構(gòu)的方法無法全面建模業(yè)務(wù)領(lǐng)域知識圖譜，整合當(dāng)前流程片段的多模態(tài)信息，進(jìn)而精確地推薦出符合實際業(yè)務(wù)需求的后續(xù)流程片段。因此，這類推薦方法的靈活性和擴(kuò)展性有待提升。論文“On?the?Use?of?Knowledge?Graph?Completion?Methods?forActivityRecommendation?in?Business?Process?Modeling”從流程間的邏輯關(guān)系出發(fā)，使用知識圖譜進(jìn)行業(yè)務(wù)流程建模。然而，業(yè)務(wù)流程描述中多模態(tài)數(shù)據(jù)的對齊還需進(jìn)一步研究。在多模態(tài)知識圖譜領(lǐng)域，有相當(dāng)多的工作致力于實體對齊，然而現(xiàn)有方法直接合并單模態(tài)特征嵌入，很大程度上忽略了多模態(tài)實體對齊中的模態(tài)之間的交互效應(yīng)，如何在多模態(tài)實體對齊的知識學(xué)習(xí)中融入模態(tài)之間的交互效應(yīng)仍然是一個巨大的挑戰(zhàn)。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明提供一種基于多模態(tài)孿生神經(jīng)網(wǎng)絡(luò)的RPA流程推薦方法，包括：

S1：構(gòu)建RPA業(yè)務(wù)流程的知識圖譜，提取知識圖譜中的第一實體集E和第二實體集E’，計算獲得第一實體集的表征集和第二實體集的表征集；

S2：構(gòu)建孿生神經(jīng)網(wǎng)絡(luò)，通過第一實體集的表征集和第二實體集的表征集計算獲得總損失，通過總損失循環(huán)訓(xùn)練孿生神經(jīng)網(wǎng)絡(luò)，獲得訓(xùn)練好的孿生神經(jīng)網(wǎng)絡(luò)；

S3：獲取需求流程實體E*，通過訓(xùn)練好的孿生神經(jīng)網(wǎng)絡(luò)計算獲得需求流程實體在知識圖譜中的推薦路徑，通過推薦路徑獲得RPA流程推薦方案。

優(yōu)選的，步驟S1具體為：

S11：將RPA業(yè)務(wù)流程中的各流程作為實體，以實體-關(guān)系-實體構(gòu)建RPA業(yè)務(wù)流程的知識圖譜，提取知識圖譜中的第一實體集E和第二實體集E’；

S12：獲得實體集中各實體的關(guān)系三元組、實體-圖像對和屬性三元組；

S13：通過實體-圖像對獲得實體的視覺模態(tài)表征，通過關(guān)系三元組獲得實體的關(guān)系模態(tài)表征，通過屬性三元組獲得實體的屬性模態(tài)表征；

S14：將視覺模態(tài)表征、關(guān)系模態(tài)表征和屬性模態(tài)表征進(jìn)行拼接獲得全面表征；

S15：將視覺模態(tài)表征、關(guān)系模態(tài)表征、屬性模態(tài)表征和全面表征作為實體的表征集；