[發明專利]基于多智能體強化學習的輿情演化分析方法

在審

• 申請號: 202310435427.3
• 申請日: 2023-04-21
• 公開（公告）號: CN116484949A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 郭仕鈞;謝光強
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06N5/01
• 分類號: G06N5/01;G06N3/0442;G06N3/08;G06Q50/00
• 代理公司: 廣東廣信君達律師事務所 44329
• 代理人: 余勝茂

本發明的目的在于提供一種基于多智能體強化學習的輿情演化分析方法，包括：在初始化智能體決策模型后，智能體通過探索環境并結合預先設置獎勵函數獲取實施獎勵值，并通過動力學模型進行智能體輿情值更新；在智能體完成收斂或達到最大步數限制時結束一輪探索，將本輪探索中獲得的信息通過策略梯度方法對智能體決策模型進行更新；通過本方法，解決了相關技術中智能體無法自動適應的學習到促進一致性的決策問題，在有限的步數中增強了輿情動力學中系統的一致性性能。

技術領域

本發明涉及一種基于多智能體強化學習的輿情演化分析方法，主要涉及智能體的輿情感知獲取和系統輿情演化分析。

背景技術

隨著今年來無線通信和互聯網技術的高速發展，人們能夠快速進行大規模的實時觀點交換。其中，社會網絡團體決策(Social?Network?Group?Decision?Making，SNGDM)正在成為一種解釋人類行為的有效方法，為學術領域和工程領域提供了潛在價值，如供應商選擇，公眾輿情管理等；其中，輿情管理即比如初始每個人都有一個意見值，通過輿情管理使得所有人的輿情值達成一致或收斂成幾個不同的意見。

在當今時代中，互聯網技術快速發展，網絡上的各種信息魚龍混雜，人們很容易被虛假的信息所迷惑，以至于形成錯誤的觀點。因此，輿情管控常被用于有效的監管網絡和遏制一些錯誤信息的傳播。通過對當前的輿情進行演化分析，可以得到最終輿情的演化結果，以便于相關部門或人員及時做出舉措。在對輿情的演化分析中，目前常見的問題有：對于輿情演化分析所需要的步數過長，不能快速的分析的得到最終的演化結果。對于輿情演化的結果聚焦較多，即輿情最終的收斂情況分裂蔟數較多，不便于相關人員有針對性的對于輿情進行處理。

SNGDM中包含一組可以表達自身觀點的智能體，這些智能體通過和鄰居交流并選擇最優候選解來逐步達成目標。觀點是影響和定義智能體行為的關鍵因素之一。系統中的每個智能體通過考慮其鄰居的觀點值來對自身觀點值進行修正，以此達到系統的一致、兩極化、分類的穩定結構，這種智能體演化的過程稱為觀點演化，又稱為輿情動力學。

在SNGDM方法廣泛應用的同時，由于社交網絡較為復雜，常存在稀疏的網絡連接，故較難達成全面一致的目標。同時，受到網絡稀疏性以及智能體感知范圍的影響，導致不同時刻下不同智能體感知到的鄰居狀態信息是不定長的。因此，如何在智能體感知范圍不定長的情況下設計一種高效的通信方法，以增強在大規模場景下SNGDM系統的一致性仍然是一個具有挑戰性的課題。

目前，在SNGDM一致性的方法有考慮壓力參數的一致性演化方法和基于共同鄰居的一致性演化方法。其中，考慮壓力參數的一致性演化方法通過考慮置信區間內智能體受到鄰居的影響，建立了一個基于主體的群體壓力有界信息模型，使得智能體只在一定范圍內受到鄰居的影響，即當智能體之間的距離小于一定范圍時，智能體才會相互溝通。該方法通過群體壓力使得個體智能體演化達成一致性。但是置信區間設置不恰時，容易導致最終演化結果分裂成多個不同的集群。

基于共同鄰居的一致性演化方法中，在智能體鄰居的基礎上進一步考慮了智能體之間的共同鄰居，并通過共同鄰居來幫助智能體選擇遠程鄰居。該方法通過構建智能體之間的遠程連接，幫助系統快速達成一致性，但是智能體選擇遠程鄰居的偏好參數需要人工進行調節，在實際應用中存在不可控的局限性。

綜上，現有的一致性演化方法都沒有從智能體本身主動選擇鄰居的角度考慮，而是通過改變鄰居對智能體的影響從而達成系統一致性。且現有方法中，智能體難以主動的對環境進行探索，無法自適應學習到促進一致性的決策，進而導致智能體的辨別能力降低，使得系統一致性性能降低。即在大規模社交網絡中，如何有效的調和人群的意見矛盾，降低系統穩定時的蔟數，進而增強系統的輿情一致性依然缺乏有效的方法。

發明內容

本發明的目的在于提供一種基于多智能體強化學習的輿情演化分析方法，用以至少解決現有技術中的一個技術問題。

本發明的技術方案是：