[發明專利]基于BERT模型的數據處理方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202110259634.9
• 申請日: 2021-03-10
• 公開（公告）號: CN112906384A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 蘇雪琦;王健宗;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/253;G06F16/951;G06F16/35;G06N3/08;G06Q40/06
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 張娓娓;袁文婷

本發明涉及一種人工智能，提供一種基于BERT模型的數據處理方法、裝置、電子設備及計算機可讀存儲介質，其中方法包括：通過scrapy爬蟲工具獲取預設數據提取范圍內與目標數據相關的文本數據；對文本數據進行分詞和向量化處理，獲取文本數據的分詞向量；通過預先訓練的BERT模型對分詞向量進行訓練處理，獲取所述文本數據的情感極性；其中，情感極性包括情感正向和情感負向；根據文本數據的情感極性構建目標數據的數據變化指數；根據數據變化指數，獲取預設工作日內目標數據的數據變化信息；采用logistic回歸函數對數據變化信息進行分類處理，獲取目標數據的數據變化趨勢。本發明主要目的在于通過對股評的情感分析獲取正確的投資決策。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于BERT模型的數據處理方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

現在股票投資者在進行投資決策時，容易受到自身的因素如情感與心理因素的影響。基于股票市場，股市作為宏觀經濟的晴雨表，同時也會受各種政策、新聞、輿論的影響，容易波動劇烈。隨著互聯網技術的發展，人們日益傾向于在網絡平臺上表達和交流，實時股評中往往包含著豐富的金融信息，體現投資者的情感及心理變化；目前股票投資者大都采用的一般簡單的模型對金融信息進行分析處理，但是由于模型的簡單化，模型不能對含著豐富的金融信息進行充分分析和計算，最后得到的投資決策并不準確，。

因此，為了解決上述問題，對股市的股評信息進行挖掘分析以及股評的情感分析，獲取準確的投資決策，本發明亟需提供一種基于BERT模型的數據處理方法、裝置、電子設備及計算機可讀存儲介質。

發明內容

本發明提供一種基于BERT模型的數據處理方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于通過對股評的情感分析，獲取正確的投資決策。

為實現上述目的，本發明提供的基于BERT模型的數據處理方法，應用于電子設備所述方法包括：

通過scrapy爬蟲工具獲取預設數據提取范圍內與目標數據相關的文本數據；

對所述文本數據進行分詞和向量化處理，獲取文本數據的分詞向量；

通過預先訓練的BERT模型對所述分詞向量進行訓練處理，獲取所述文本數據的情感極性；其中，所述情感極性包括情感正向和情感負向；

根據所述文本數據的情感極性構建所述目標數據的數據變化指數；

根據所述數據變化指數，獲取預設工作日內所述目標數據的數據變化信息；

采用logistic回歸函數對所述數據變化信息進行分類處理，獲取所述目標數據的數據變化趨勢。

可選地，所述通過scrapy爬蟲工具獲取預設數據提取范圍內與目標數據相關的文本數據，包括如下步驟：

采用Scrapy框架構建社交網絡爬蟲系統，采用分布式爬蟲算法獲取社交網絡中目標股票的股票評論信息、時間戳和評論人資料信息；其中，所述目標數據為所述目標股票，所述目標數據相關的文本數據為所述股票評論信息、時間戳和評論人資料信息；

將爬取的目標股票的股票評論信息、時間戳和評論人資料信息保存到MongoDB數據庫中。

可選地所述對所述文本數據進行分詞和向量化處理，獲取文本數據的分詞向量，包括如下步驟：

根據詞性對獲取的文本數據進行分詞處理，獲取文本分詞，其中，所述詞性包括動詞、名詞、形容詞、副詞；

將獲取的文本分詞與預訓練BERT模型的詞典中的詞條進行匹配，獲取文本數據中每個文本分詞的文本分詞向量。

可選地，所述通過預先獲取的預訓練BERT模型對所述分詞向量進行訓練處理，獲取所述文本數據的情感極性，包括如下步驟：