[發明專利]一種海洋微生物信息的自動采集方法和設備

在審

• 申請號: 202011123058.7
• 申請日: 2020-10-20
• 公開（公告）號: CN112256802A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 吳文濤
• 申請（專利權）人: 威海上和軟件科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/9035;G06F16/955;G06F21/64
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 周夢仙

本發明公開了一種海洋微生物信息的自動采集方法和設備，所述方法包括：獲取包含海洋微生物信息的待處理數據；將所述待處理數據進行過濾得到過濾數據，所述過濾包括一級過濾和二級過濾，所述過濾數據包括第一過濾數據和第二過濾數據，在數據倉庫中對所述過濾數據進行解析建模并對所述數據倉庫進行更新，從而實現了自動采集海洋微生物信息，并提高了數據的準確度。

技術領域

本申請涉及信息采集技術領域，更具體地，涉及一種海洋微生物信息的自動采集方法和設備。

背景技術

海洋微生物來自(或分離自)海洋環境，其正常生長需要海水，并可在寡營養、低溫條件或高壓、高溫、高鹽等極端環境下長期存活并能持續繁殖子代的微生物均可稱為海洋微生物。海洋微生物主要包括真核微生物、原核微生物和無細胞生物。

研究海洋微生物，不僅可以為開發利用海洋微生物資源提供重要的參考依據，為人類提供更多更好的物質來源，還可以為人類了解生命起源和進化提供重要的線索，并改變了人們對海洋生態系統的傳統理念，加速了海洋微生物學科的發展。

而研究海洋微生物則離不開對海洋微生物信息采集以及建模，采集是為了海洋微生物的全面性，減少遺漏，建模是方便后期查詢，現有技術對海洋微生物信息的采集需要人為值守，且對采集到的數據進行標簽解析或正則匹配提取其中的文字，之后按關鍵詞字典對文字進行機械師或語義式或統計式的分詞處理過濾有目標數據的內容，結果是文本形式的文件，無法對海洋微生物數據建立邏輯，且文本結果的物理模型過于扁平化，沒有層次結構不方便對結果數據進行分析和查詢，建模需要人工操作、費時費力且建模時的信息會有重復冗余的情況。

因此，如何自動采集海洋微生物信息并提高數據準確度，是目前有待解決的技術問題。

發明內容

本發明公開了一種海洋微生物信息的自動采集方法和設備，用于解決現有技術中無法自動采集海洋微生物信息且數據準確度不高的技術問題，所述方法包括：

獲取包含海洋微生物信息的待處理數據；

將所述待處理數據進行過濾得到過濾數據，所述過濾包括一級過濾和二級過濾，所述過濾數據包括第一過濾數據和第二過濾數據，且；

在數據倉庫中對所述過濾數據進行解析建模并對所述數據倉庫進行更新。

一些實施例中，所述一級過濾，具體包括：

將所述待處理數據對應的來源url在所述數據倉庫中進行比對；

若所述數據倉庫中與所述來源url不存在相同url，則將所述待處理數據在所述數據倉庫中進行解析建模；

若所述數據倉庫中與所述來源url存在所述相同url，且所述相同url中的數字簽名與所述來源url的數字簽名一致，則將所述待處理數據進行刪除；

若所述數據倉庫中與所述來源url存在所述相同url，且所述相同url中的數字簽名與所述來源url的數字簽名不一致，則將所述待處理數據作為第一過濾數據并進行二級過濾。

一些實施例中，所述二級過濾，具體包括：

獲取所述第一過濾數據在所述數據倉庫中對應的模型模塊；

若所述第一過濾數據的數字簽名與所述模型模塊的數字簽名不相同，則基于所述第一過濾數據對所述模型模塊進行更新；

若所述第一過濾數據的數字簽名與所述模型模塊的數字簽名相同，則不對所述模型模塊進行更新，并將所述第一過濾數據與所述數據倉庫中的數據進行校驗重復得到第二過濾數據。

一些實施例中，在數據倉庫中對所述過濾數據進行解析建模，具體包括：

對所述過濾數據進行分詞處理并獲取屬性值，所述屬性值是基于海洋微生物模型的建模需求確定的；