[發明專利]一種可視化農業大數據分析交互系統

有效

• 申請號: 202110363313.3
• 申請日: 2021-04-02
• 公開（公告）號: CN113065051B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 楊先鳳;朱西平;陳惠芬;梁琳;李婕;呂園園
• 申請（專利權）人: 西南石油大學
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F16/957;G06F16/23;G06Q50/02
• 代理公司: 成都知都云專利代理事務所(普通合伙) 51306
• 代理人: 趙正寅

1.一種可視化農業大數據分析交互系統，其特征在于，包括農業大數據抓取系統、農業資訊大數據可視化系統、農業生產大數據可視化系統、農產品消費鏈大數據可視化系統和可視化交互系統；

所述農業大數據抓取系統通過數據爬蟲對互聯網上現存web服務器的，且是公開的農業數據進行合法的抓取、過濾和存儲操作；所述農業大數據抓取系統包括農業資訊數據抓取端、農業生產數據抓取端、農產品消費鏈數據抓取端和大數據存儲端；

所述大數據存儲端包括Redis數據庫和Hadoop數據庫，所述大數據存儲端用于對農業資訊數據抓取端、農業生產數據抓取端和農產品消費鏈數據抓取端產生的數據進行分類存儲；

所述農業資訊數據抓取端用于抓取指定權威資訊站點上農業領域的資訊信息并保存至大數據存儲端的Redis數據庫中，且定時對Redis數據庫中的數據進行更新；

所述農業生產數據抓取端用于抓取互聯網上農業生產領域的數據信息，并將數據信息對應的對象、數值和單位進行解析并保存至Hadoop數據庫中；

所述農產品消費鏈數據抓取端用于抓取指定根數據源站點上的農產品消費鏈數據，且通過消費鏈數據構建溯源鏈表并保存至Hadoop數據庫中；

所述農業資訊大數據可視化系統將所述農業資訊數據抓取端提供的農業領域的資訊信息按照地域、內容和發布日期進行分類可視化顯示；

所述農業生產大數據可視化系統將所述農業生產數據抓取端抓取的農業生產大數據通過整理分類形成氣泡圖，并對進行可視化顯示；

所述農產品消費鏈大數據可視化系統將所述農產品消費鏈數據抓取端提供的農產品消費鏈數據通過?；鶊D進行可視化顯示；

所述可視化交互系統能提取農業資訊關鍵詞、農業生產關鍵詞和農產品消費鏈關鍵詞，并將關鍵詞進行關聯串接，通過關聯串結構建交互超鏈接。

2.根據權利要求1所述的一種可視化農業大數據分析交互系統，其特征在于，所述農業資訊數據抓取端用于對現存web服務器的，且是公開的農業資訊信息進行合法的抓取，所述農業資訊數據抓取端為增量式網絡爬蟲端，包括頁面爬行模塊、初始URL集合、URL子集合、Hash去重模塊、臨時保存區、查重區、Rdis數據庫和調度模塊，所述調度模塊將頁面爬行模塊、初始URL集合、URL子集合、Hash去重模塊、臨時保存區、查重區和Rdis數據庫按照如下步驟進行調度：

S1通過頁面爬行模塊對初始URL集合中的目標URL進行內容爬取，并篩取關鍵內容保存至臨時保存區；

S2調度Hash去重模塊對臨時保存區中的每一個關鍵內容分別進行Hash賦值并得到關鍵內容的Hash指針；

S3得到目標URL關鍵內容的所有Hash指針后，通過關鍵內容的Hash指針集合生成目標URL的Hash值；

S4將目標URL的Hash作為key元素，目標URL中所有關鍵內容作為value元素保存到Rdis數據庫中，并更新key_value對照表；

S5對初始URL集合中所有目標URL進行S1至S4步驟，生成初始URL集合的key_value對照表；

S6通過頁面爬行模塊遍歷爬取初始URL集合中所有子URL，并將所有子URL作為目標URL保存至URL子集合中；

S7對URL子集合中所有目標URL進行S1至S4步驟，并生成URL子集合的key_value對照表；

S8通過頁面爬行模塊爬取所有目標URL的歷史更新頻率，將平均每24小時更新不小于一次的目標URL保存至快URL集中，將平均每24小時更新小于一次的目標URL保存至慢URL集中；

S9通過頁面爬行模塊對快URL集中的目標URL每1個小時進行一次關鍵內容爬取，對慢URL集中的目標URL每6個小時進行一次關鍵內容爬取，并保存至查重區；

S10調度Hash去重模塊對臨時保存區中的每一個關鍵內容分別進行Hash賦值并得到關鍵內容的查重Hash指針；

S11得到目標URL關鍵內容的所有查重Hash指針后，通過關鍵內容的查重Hash指針集合生成目標URL的查重Hash值；

S12將目標URL的查重Hash值和保存在Rdis數據庫中的指針進行比對，若相同，則目標URL的關鍵內容并未發生變化；若不相同，則目標URL的關鍵內容發生變化；

S13將關鍵內容發生變化的目標URL的查重Hash值作為key元素替換Rdis數據庫中原有的key元素，將發生變化的關鍵內容作為value元素替換替換Rdis數據庫中原有的value元素，并更新key_value對照表；

S14重復S1至S13步驟，歷遍所有初始URL集合和URL子集合，保持更新。