[發明專利]一種處理大數據的方法及系統

在審

• 申請號: 201710941179.4
• 申請日: 2017-10-11
• 公開（公告）號: CN107797768A
• 公開（公告）日: 2018-03-13
• 發明（設計）人: 宋捷
• 申請（專利權）人: 南京東方金信數據服務有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及數據處理技術領域，具體為一種處理大數據的方法及系統。

背景技術

大數據廣泛應用于互聯網各項應用中，對網站的價值意義重大，通過海量數據處理和云計算的實現，可以最大化幫助互聯網媒體類網站廣告系統和電子商務類網站大數據商品推送系統得到最大化的提升。互聯網媒體類網站大數據廣告根據用戶閱讀偏好推送，針對海量數據的云計算，通過各種廣告形式推送到網站瀏覽用戶電子商務類網站大數據商品推送給在線購買者，通過處理用戶點擊行為、購買行為、產品相關性、偏好及使用時間規律推送相應的商品及促銷信息。

大數據的出現，正在引發全球范圍內深刻的技術與商業變革。在技術上，大數據使從數據當中提取信息的常規方式發生了變化。在搜索引擎和在線廣告中發揮重要作用的機器學習，被認為是大數據發揮真正價值的領域。在海量的數據中統計處理出人的行為、習慣等方式，最大程度幫助廣告主找到精準潛在客戶，從而提升廣告效果和后續購買操作。

在交通監控系統中，由于圖片是存儲在數據庫表中的，數據量過大，平均一天有20萬左右的信息需要存儲，峰值每秒達到了 15-20條左右的記錄，圖片壓縮后為150KB左右的高清圖，服務器為24*365天工作的，所以壓力比較大，目前的問題是服務器的磁盤IO出現了瓶頸 ，服務器的連接通訊管道出現了擁堵，寫入操作超時，這種情況偶爾會發生。

發明內容

本發明的目的在于提供一種處理大數據的方法及系統，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種處理大數據的方法，包括以下步驟：

步驟S101：通過實時數據采集模塊采集交通的視頻、圖像信息，利用Hadoop分布式模式，對實時數據采集模塊采集到的數據進行過濾，得到的完整且不重復的數據；

步驟S102：前端采集的圖像數據，通過交換機統一接口，將圖像數據傳入到負責存儲的圖片服務器；

步驟S103：前端采集的視頻數據，通過交換機統一接口，將視頻數據傳入到負責存儲的視頻服務器；

步驟S104：將圖片服務器、視頻服務器接收到的數據分別存入到對應的數據庫中，客戶端通過網絡去訪問數據庫的信息，進行檢索操作；

步驟S105：實時獲取數據處理的結果，并將處理失敗的數據放入到重試數據隊列中。

本發明還提出一種處理大數據的系統，所述系統包括：

實時數據采集模塊，所述實時數據采集模塊采集交通的視頻、圖像信息，利用Hadoop分布式模式，對實時數據采集模塊采集到的數據進行過濾，得到的完整且不重復的數據；

編譯器，用于將所述實時數據采集模塊得到的交通的視頻、圖像信息的完整且不重復的數據轉化為計算機語言；

圖片服務器，所述圖片服務器用于將前端采集的圖像數據通過交換機統一接口傳入進行存儲，所述圖片服務器包括至少一組用于對圖像信息進行存儲的圖片磁盤陣列；所述磁盤陣列采用500G的硬盤；

視頻服務器，所述視頻服務器用于將采集的視頻數據通過交換機統一接口傳入進行存儲，所述視頻服務器包括至少一組用于對視頻信息進行存儲的視頻磁盤陣列；所述磁盤陣列采用500G的硬盤；

客戶端，所述客戶端包括通過網絡去訪問數據庫的信息進行檢索操作并可以調用數據庫中存儲的數據信息的操作系統

優選的，所述操作系統winform系統。

優選的，所述實時數據采集模塊包括至少一組用于采集交通視頻、圖像信息的攝像頭。

優選的，所述圖片服務器設置有數據處理器單元，所述數據處理器單元用于依據實時數據采集模塊的類型將該大數據分配給對應的處理設備處理，建立處理列表。

優選的，所述視頻服務器設置有數據處理器單元，所述數據處理器單元用于依據實時數據采集模塊的類型將該大數據分配給對應的處理設備處理，建立處理列表。

優選的，所述圖片服務器及視頻服務器采用NET Framework3.5和SQL Server2008編寫與存儲。

與現有技術相比，本發明的有益效果是：本發明通過將改變傳統的前端采集的圖片數據，通過交換機統一接口，將數據傳入到負責存儲的中心服務軟件進行統一存儲導致服務器的磁盤IO出現了瓶頸的問題，通過對不同類型的數據進行分類，把圖片單獨存儲，解決服務器的IO瓶頸，減輕服務器寫操作的壓力。

附圖說明

圖1為本發明一種處理大數據的方法的流程圖；

圖2為本發明一種處理大數據的系統系統的結構圖。