[發明專利]一種基于大數據平臺的信息展示方法及系統

在審

• 申請號: 202110498623.6
• 申請日: 2021-05-08
• 公開（公告）號: CN113190670A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 韋鵬程;顏蓓;賀方成;陳美成
• 申請（專利權）人: 重慶第二師范學院
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06F16/338;G06F16/35;G06F40/194;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京國坤專利代理事務所(普通合伙) 11491
• 代理人: 張國棟

本發明屬于數據處理技術領域，公開了一種基于大數據平臺的信息展示方法及系統，所述基于大數據平臺的信息展示系統包括：輸入模塊、數據挖掘模塊、數據預處理模塊、中央控制模塊、聚類模塊、語義特征提取模塊、驗證模塊、數據篩選模塊、數據融合模塊、分析模塊、展示參數設置模塊、數據存儲模塊以及信息展示模塊。本發明提供的基于大數據平臺的信息展示系統，通過數據預處理進行了數據的清洗、去重，保證展示結果的有效性，同時提高了系統的處理效率，降低了處理時間。同時，本發明通過聚類分析二次驗證確保數據的相關性，避免出現過多無關內容，且能夠基于用戶偏好以及設置進行展示方式的選擇，提供簡單直觀的交互方式，提高了用戶的體驗度。

技術領域

本發明屬于數據處理技術領域，尤其涉及一種基于大數據平臺的信息展示方法及系統。

背景技術

目前，隨著社會工業化、信息化水平的不斷提高，如今數據已取代計算成為信息計算的中心，云計算、大數據正在成為一種趨勢和潮流，包括存儲容量、可用性、I/O性能、數據安全性、可擴展性等諸多方面。大數據是規模非常巨大和復雜的數據集。大數據有4V：Volume(大量)，數據量持續快速增加；Velocity(高速)，數據I/O速度更快；Variety(多樣)，數據類型和來源多樣化；Value(價值)，其存在各方面的可用價值。如何從海量的數據中提取、獲得想要的知識或感興趣的信息，這是利用好大數據，進而更好地服務于社會發展的要求。因此，數據挖掘方法應運而生。

但是現有結合數據技術的大數據信息展示平臺或相應方法，只能機械的挖掘相關數據，顯示的數據往往是重復的，甚至有許多無關內容，也不可能進行展示方式以及展示參數的設置，所有展示形式都相同。

通過上述分析，現有技術存在的問題及缺陷為：現有的展示方法展示的信息重復多，無關內容多，且無法進行展示方式以及展示參數的設置，所有展示形式都相同。

發明內容

針對現有技術存在的問題，本發明提供了一種基于大數據平臺的信息展示方法及系統。

本發明是這樣實現的，一種基于大數據平臺的信息展示系統，所述基于大數據平臺的信息展示系統包括：

輸入模塊，與中央控制模塊連接，用于利用輸入設備或輸入裝置確定待展示的內容關鍵詞；

數據挖掘模塊，與中央控制模塊連接，用于基于輸入的關鍵詞利用大數據挖掘技術獲取與所述關鍵詞相關的所有數據，包括：

(1)從各個服務器中獲取多個維度的大數據，并利用AP聚類對所述維度的所有大數據進行進行初步歸類，得到每個維度的稀疏向量；其中，所述AP聚類的實現方法，包括：

計算矩陣E的相似性矩陣，相似性度量采用皮爾遜相關系數，兩個樣本點i和k，兩個樣本點通過傳遞信息響應性和適用性判斷作為聚類中心的樣本點：

其中，s(i,k)代表i和k兩個樣本點的相似性，r(i,k)是由樣本點i發給候選聚類中心k的，用來表明與其他候選聚類中心k’相比，樣本點k適合作為樣本點i的聚類中心所積累的證據；a(i,k)是由候選聚類中心k傳遞給樣本點i的，用來表明考慮到其他樣本點i’對樣本點k成為聚類中心的支持度上，樣本點i挑選樣本點k作為聚類中心的累積合適程度，a(i,k)初始值為0；根據最大化每個樣本點兩個變量之和來判斷當前樣本點是聚類中心，還是隸屬于其他的聚類中心；

(2)利用AP聚類的結果對稀疏向量進行分類，提取每個維度的稀疏向量的特征信息，并根據每個維度的稀疏向量的特征信息，確定與所述輸入關鍵詞相關的多個數據挖掘項目以及每個數據挖掘項目對應的待挖掘數據維度；

(3)將分類后的向量作為ISA雙向聚類的輸入，根據所述多個數據挖掘項目以及每個數據挖掘項目對應的待挖掘數據維度，分別在每個數據挖掘項目下獲取待挖掘數據維度對應的關鍵詞相關數據；