[發明專利]一種水產養殖信息采集處理系統

在審

• 申請號: 201610009741.5
• 申請日: 2016-01-08
• 公開（公告）號: CN105718508A
• 公開（公告）日: 2016-06-29
• 發明（設計）人: 劉延忠;阮懷軍;孫傳仁;王利民;封文杰;鄭紀業
• 申請（專利權）人: 山東省農業科學院科技信息研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q50/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于水產養殖技術領域，涉及一種水產養殖信息采集處理系統。

背景技術

水產養殖是人為控制下繁殖、培育和收獲水生動植物的生產活動。隨著水產養殖業的迅速發展，越來越多的現代化養殖方式，如網箱養殖、流水養殖等，立體利用水域、水陸復合生產的生態漁業，保持漁業資源可持續利用的技術得到廣泛應用。物聯網技術的發展為水產養殖業創造了條件，但是，當前垂直搜索引擎在水產養殖數據中存在搜索網頁數量少，信息抽取不全面及主題過濾分類不準確的問題，當前已有的水產養殖海量數據存儲困難、大數據信息挖掘方法針對性差的現狀，面臨水產大數據四大關鍵難題：數據準備、數據存儲、數據平臺、數據處理，滿足不了水產養殖從業人員對可視化資源的巨大需求。

發明內容

本發明的目的在于克服上述技術存在的缺陷，提供一種水產養殖信息采集處理系統，該系統基于水產養殖服務信息的主題過濾和信息抽取技術，實現網絡資源的抓取、分類、過濾、抽取、入庫更新等功能，并通過構建水產詞典，實現對所抽取信息的合理準確分類。采用云計算技術和人工智能算法，開展基于網絡化服務、WEB服務的水產養殖信息綜合服務系統，實現高質量的水產信息服務。

其具體技術方案為：

一種水產養殖信息采集處理系統，包括Nutch網頁抓取器、主題過濾模塊、信息抽取模塊、水產信息數據庫、數據處理模塊、Web服務器和瀏覽器；

所述Nutch網頁抓取器從當前國內水產養殖信息服務平臺中的URL進行抓取，根據鏈接抓取策略訪問所有網頁，解析出網頁內容和新的URL，并將解析出來的網頁信息和新的URL信息送入主題過濾模塊進行過濾；

所述主題過濾模塊經過主題過濾算法過濾掉與水產養殖主題無關的網頁和URL，然后將URL入URL庫，并將網頁發送給信息抽取模塊；

信息抽取模塊針對主題過濾模塊過濾后得到的水產網頁數據利用信息抽取技術對其他格式的文件通過Ultraseek的文件連接器和相應的信息抽取技術抽取為結構化的信息數據，并將抽取出的數據存儲到水產信息數據庫中；

所述數據處理模塊構建合理全面的水產詞典，依據詞典將得到網絡資源的特征信息，進行統計分析和分類，利用當前已有的智能算法，通過算法對數據進行挖掘，對比分析，建立數據分析模型，通過模型分析，獲取智能的、深入的、有價值的信息；

Web服務器和瀏覽器用于水產養殖從業人員通過Internet和Web服務器通訊，水產養殖從業人員根據自身的需求，獲得相關的信息。

進一步，所述網絡資源的特征信息包括詞頻、詞位、詞長、網頁。

進一步，所述當前已有的智能算法包括神經網絡算法、遺傳算法、決策樹方法、粗集方法、統計分析方法、模糊集方法。

與現有技術相比，本發明的有益效果為：

本發明基于水產養殖服務信息的主題過濾和信息抽取技術，實現網絡資源的抓取、分類、過濾、抽取、入庫更新等功能，并通過構建水產詞典，實現對所抽取信息的合理準確分類。采用云計算技術和人工智能算法，開展基于網絡化服務、WEB服務的水產養殖信息綜合服務系統，實現高質量的水產信息服務。

附圖說明

圖1為本發明水產養殖信息采集處理系統的原理圖。

具體實施方式

下面結合附圖和具體實施例對本發明的技術方案作進一步詳細地說明。

參照圖1，一種水產養殖信息采集處理系統，包括Nutch網頁抓取器、主題過濾模塊、信息抽取模塊、水產信息數據庫、數據處理模塊、Web服務器和瀏覽器；

所述Nutch網頁抓取器從當前國內水產養殖信息服務平臺中的URL進行抓取，根據鏈接抓取策略訪問所有網頁，解析出網頁內容和新的URL，并將解析出來的網頁信息和新的URL信息送入主題過濾模塊進行過濾；

所述主題過濾模塊經過主題過濾算法過濾掉與水產養殖主題無關的網頁和URL，然后將URL入URL庫，并將網頁發送給信息抽取模塊；

信息抽取模塊針對主題過濾模塊過濾后得到的水產網頁數據利用信息抽取技術對其他格式的文件通過Ultraseek的文件連接器和相應的信息抽取技術抽取為結構化的信息數據，并將抽取出的數據存儲到水產信息數據庫中；

所述數據處理模塊構建合理全面的水產詞典，依據詞典將得到網絡資源的特征信息，如詞頻、詞位、詞長、網頁等級等進行統計分析和分類，利用當前已有的智能算法(神經網絡算法、遺傳算法、決策樹方法、粗集方法、統計分析方法、模糊集方法)，通過算法對數據進行挖掘，對比分析，建立數據分析模型，通過模型分析，獲取智能的、深入的、有價值的信息；