[發明專利]一種利用模擬環境重構投融資行為的方法

有效

• 申請號: 202110311327.0
• 申請日: 2021-03-24
• 公開（公告）號: CN112700335B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 秦熔均;劉澤琳;張超;蔣建陽;徐亮
• 申請（專利權）人: 南棲仙策（南京）科技有限公司
• 主分類號: G06Q40/06
• 分類號: G06Q40/06;G06N3/08
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

本發明公開一種利用模擬環境重構投融資行為的方法，將需要融資的項目與各個投資機構接觸的整個過程劃分為六個階段，并定義了每個階段項目提供的內容與投資機構的反饋信息；利用歷史數據對投資機構的決策進行學習并將投資機構虛擬化，利用生成對抗網絡來生成與真實的投資機構一致的投資機構行為數據；對投融資結果進行預測，定義企業自身的策略，以及利用強化學習算法對兩個策略π_investor和π_project進行更新，得到訓練好的策略π_investor和π_project。本發明提出的方法對投資機構進行模擬，可以大大降低試錯成本，并提高投融資活動的效率。

技術領域

本發明涉及一種利用模擬環境重構投融資行為的方法，使用強化學習的方法建立投融資環境模型，為用戶提供結果準確的投融資行為模型。

背景技術

FA，財務顧問。本質上做的是企業的融資中介，對接項目和資金。FA的作用就是幫助解放投資人勞動力，高效投準項目；幫助項目快速融到資金，節約時間成本。對于投資人來說，FA是投資人的項目過濾器，不僅僅可以給投資人不停地推項目，更重要的是可以幫助篩選項目，能為不同領域的投資人匹配較精準的項目，提高效率。專業的FA可以提供有針對性的服務。FA了解主流投資機構的口味與風格，可以實現最優匹配。FA以自身的信譽做背書，可以使企業接觸到投資機構決策層，并且可以同時引薦幾家不同的投資機構，有利于交易條件談判。同時，以FA出面來撮合交易，企業可以在很大程度上避免銷售過度的形象，有利于融資成功。 FA 過程通常有多個階段，每個階段都包含企業和投資機構的決策行為，是典型的序列決策過程。

強化學習（Reinforcement Learning, RL）是一種高效的解決序列決策問題的機器學習方法，在強化學習中，智能體（agent）與環境試錯交互，并從試錯軌跡中學習策略以達成回報最大化或實現特定目標。基于模型（Model-based）的強化學習方法是讓智能體學習環境的轉移（transition）模型，該模型描述了環境是如何工作的，然后智能體利用這個模型做出動作規劃。基于歷史交互數據，使用機器學習方法可以得到環境模型，然后，訓練智能體使用這個模型，而不需要額外的真實環境的反饋。環境模型可以帶來巨大的優勢，尤其是在嘗試學習在物理世界里的行動策略時非常有用。在物理環境試錯學習需要不可避免的時間和成本。于是，我們可以通過建立環境模型來解決物理環境試錯學習的局限性。

當前基于機器學習方法進行的投資融資問題分析，大多使用監督學習類的方法。工作的重點側重于對企業和投資機構的特征畫像，使用諸如自然語言處理處理、專家知識介入等方法對企業及投資機構的過往信息進行分析，然后由人類專家對分析結果進行判斷和序列決策。雖然上述做法能很大程度地保證信息獲取的完整性，但其一：通常，過往信息數據有限，且屬于高維文本數據，使用基于深度學習的自然語言處理等方法對信息進行處理常常難以訓練出有效的模型，有時甚至完全不能提取到可分析的、有用的信息；同時，知識圖譜等專家知識的介入也會進一步提高人工成本。其二：使用監督學習方法時，忽略了整個投融資過程中間的交互步驟，這些交互步驟中包含了企業和投資機構策略表現出的行為，而雙方的策略通常是耦合的，實際上不符合監督學習的“數據獨立同分布”假設。因此，在本問題中，使用監督學習方法通常會過擬合數據中表現出來的非一般特性，甚至會給出錯誤信息。

發明內容

發明目的：針對現有技術中存在的問題與不足，本發明提供一種利用模擬環境重構投融資行為的方法，具體是一種對投融資過程進行模擬，并使用模擬結果對投融資結果進行預測的訓練方法。

技術方案：一種利用模擬環境重構投融資行為的方法，第一方面，將需要融資的項目與各個投資機構接觸的整個過程劃分為六個階段，并定義了每個階段項目提供的內容與投資機構的反饋，從而將原先的過程分為固定的六個階段，在每個階段投資機構都會有固定的回應信息。