[發明專利]一種網絡重構方法及裝置

在審

• 申請號: 201910579330.3
• 申請日: 2019-06-28
• 公開（公告）號: CN112149835A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 付堯
• 申請（專利權）人: 杭州?？低晹底旨夹g股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

本申請提供一種網絡重構方法及裝置，其中，該方法包括：以原始網絡中的節點表征智能體的狀態及動作，基于環境回報信息在該原始網絡中對該智能體進行強化學習，以使得該智能體學習到該原始網絡中的結構拓撲信息以及用于去除該原始網絡中的噪聲信息的規則；獲取經過強化學習的該智能體從該原始網絡中的當前節點遷移至下一節點形成的移動路徑，并將該下一節點作為當前節點，重復執行該獲取移動路徑的步驟，直到該原始網絡中的節點遍歷完畢，將所有移動路徑連接成的網絡作為該原始網絡的重構網絡，該重構網絡在保留原始網絡的重要拓撲結構的同時，可以有效的減少原始網絡的噪聲、異常邊，同時增加一些潛在的關系邊。

技術領域

本申請涉及數據處理領域，尤其涉及一種網絡重構方法及裝置。

背景技術

在自然界中存在的大量復雜系統都可以通過形形色色的網絡加以描述。一個典型的網絡是由許多節點以及節點之間的連邊組成，其中節點用來代表真實系統中不同的個體，而邊則用來表示個體間的關系，往往是兩個節點之間具有某種特定的關系則連一條邊，反之則不連邊，有邊相連的兩個節點在網絡中被看作是相鄰的。例如，神經系統可以看作大量神經細胞通過神經纖維相互連接形成的網絡；計算機網絡可以看作是自主工作的計算機通過通信介質如光纜、雙絞線、同軸電纜等相互連接形成的網絡；類似的還有電力網絡、社會關系網絡、交通網絡、調度網絡等。

目前，利用數據構建出的網絡，由于關系構建規則的不準確或者數據本身存在噪聲、異常等問題，會存在異常的節點關系，或者導致一些潛在的節點關系沒有構建出來。例如，在安防領域中，可以利用人員的基本屬性、行為等數據結合預設的關系構建規則構建人員關系網絡，但由于關系構建規則的不準確或者提取的數據本身存在噪聲、異常等問題，會存在一定程度異常的節點關系，同時也會導致一些潛在的節點關系沒有構建出來。而利用這種異常的關系網絡會影響對安防領域中的人員、案件、行為等的分析效果，也會導致下游任務性能的降低。

發明內容

有鑒于此，本申請提供一種網絡重構方法及裝置。

具體地，本申請是通過如下技術方案實現的：

第一方面，本申請實施例提供了一種網絡重構方法，所述方法包括：

以原始網絡中的節點表征智能體的狀態及動作，基于環境回報信息在所述原始網絡中對所述智能體進行強化學習，以使得所述智能體學習到所述原始網絡中的結構拓撲信息以及用于去除所述原始網絡中的噪聲信息的規則；

獲取經過強化學習的所述智能體從所述原始網絡中的當前節點遷移至下一節點形成的移動路徑，并將所述下一節點作為當前節點，重復執行所述獲取已訓練的所述智能體從所述原始網絡中的當前節點遷移至下一節點形成的移動路徑的步驟，直到所述原始網絡中的節點遍歷完畢；

將所有移動路徑連接成的網絡作為所述原始網絡的重構網絡。

可選地，所述環境回報信息包括環境瞬時回報及環境延遲回報；

所述以原始網絡中的節點表征智能體的狀態及動作，采用所述智能體基于環境回報信息在所述原始網絡中進行強化學習，包括：

從原始網絡中選取一節點作為智能體t時刻的狀態，記錄所述t時刻的狀態；

將所述狀態輸入至預設的價值網絡，獲取所述價值網絡輸出的最大價值的動作，作為t時刻要執行的動作；

執行所述動作，以轉移至t+1時刻的狀態，并記錄所述t+1時刻的狀態；

確定該動作的環境瞬時回報，并基于所述環境瞬時回報更新所述價值網絡；

將所述t+1時刻的狀態作為t時刻的狀態，基于更新后的價值網絡，繼續執行所述將所述狀態輸入至預設的價值網絡的步驟，直到記錄的狀態的數量達到預設數量閾值時，完成本輪行動；