[發(fā)明專利]一種海洋微生物信息的自動采集方法和設(shè)備

在審

• 申請?zhí)枺?/td>: 202011123058.7
• 申請日: 2020-10-20
• 公開（公告）號: CN112256802A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計）人: 吳文濤
• 申請（專利權(quán)）人: 威海上和軟件科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/9035;G06F16/955;G06F21/64
• 代理公司: 北京睿博行遠知識產(chǎn)權(quán)代理有限公司 11297
• 代理人: 周夢仙

1.一種海洋微生物信息的自動采集方法，其特征在于，所述方法包括：

獲取包含海洋微生物信息的待處理數(shù)據(jù)；

將所述待處理數(shù)據(jù)進行過濾得到過濾數(shù)據(jù)，所述過濾包括一級過濾和二級過濾，所述過濾數(shù)據(jù)包括第一過濾數(shù)據(jù)和第二過濾數(shù)據(jù)；

在數(shù)據(jù)倉庫中對所述過濾數(shù)據(jù)進行解析建模并對所述數(shù)據(jù)倉庫進行更新。

2.如權(quán)利要求1所述的方法，其特征在于，所述一級過濾，具體包括：

將所述待處理數(shù)據(jù)對應(yīng)的來源url在所述數(shù)據(jù)倉庫中進行比對；

若所述數(shù)據(jù)倉庫中與所述來源url不存在相同url，則將所述待處理數(shù)據(jù)在所述數(shù)據(jù)倉庫中進行解析建模；

若所述數(shù)據(jù)倉庫中與所述來源url存在所述相同url，且所述相同url中的數(shù)字簽名與所述來源url的數(shù)字簽名一致，則將所述待處理數(shù)據(jù)進行刪除；

若所述數(shù)據(jù)倉庫中與所述來源url存在所述相同url，且所述相同url中的數(shù)字簽名與所述來源url的數(shù)字簽名不一致，則將所述待處理數(shù)據(jù)作為第一過濾數(shù)據(jù)并進行二級過濾。

3.如權(quán)利要求1所述的方法，其特征在于，所述二級過濾，具體包括：

獲取所述第一過濾數(shù)據(jù)在所述數(shù)據(jù)倉庫中對應(yīng)的模型模塊；

若所述第一過濾數(shù)據(jù)的數(shù)字簽名與所述模型模塊的數(shù)字簽名不相同，則基于所述第一過濾數(shù)據(jù)對所述模型模塊進行更新；

若所述第一過濾數(shù)據(jù)的數(shù)字簽名與所述模型模塊的數(shù)字簽名相同，則不對所述模型模塊進行更新，并將所述第一過濾數(shù)據(jù)與所述數(shù)據(jù)倉庫中的數(shù)據(jù)進行校驗重復(fù)得到第二過濾數(shù)據(jù)。

4.如權(quán)利要求1所述的方法，其特征在于，在數(shù)據(jù)倉庫中對所述過濾數(shù)據(jù)進行解析建模，具體包括：

對所述過濾數(shù)據(jù)進行分詞處理并獲取屬性值，所述屬性值是基于海洋微生物模型的建模需求確定的；

將所述屬性值封裝成數(shù)據(jù)模塊；

將所述數(shù)據(jù)模塊封裝成邏輯數(shù)據(jù)模型。

5.如權(quán)利要求1所述的方法，其特征在于，所述獲取包含海洋微生物信息的待處理數(shù)據(jù)，具體包括：

從預(yù)設(shè)的url中提取地址；

若所述地址中存在包含所述海洋微生物信息的原始數(shù)據(jù)，則將所述原始數(shù)據(jù)封裝成預(yù)設(shè)格式的待處理數(shù)據(jù)。

6.一種海洋微生物信息的自動采集設(shè)備，其特征在于，所述設(shè)備包括：

獲取模塊，獲取包含海洋微生物信息的待處理數(shù)據(jù)；

過濾模塊，將所述待處理數(shù)據(jù)進行過濾得到過濾數(shù)據(jù)，所述過濾包括一級過濾和二級過濾，所述過濾數(shù)據(jù)包括第一過濾數(shù)據(jù)和第二過濾數(shù)據(jù)；

解析模塊，在數(shù)據(jù)倉庫中對所述過濾數(shù)據(jù)進行解析建模并對所述數(shù)據(jù)倉庫進行更新。

7.如權(quán)利要求6所述的設(shè)備，其特征在于，所述過濾模塊具體用于：

將所述待處理數(shù)據(jù)對應(yīng)的來源url在所述數(shù)據(jù)倉庫中進行比對；

若所述數(shù)據(jù)倉庫中與所述來源url不存在相同url，則將所述待處理數(shù)據(jù)在所述數(shù)據(jù)倉庫中進行解析建模；

若所述數(shù)據(jù)倉庫中與所述來源url存在所述相同url，且所述相同url中的數(shù)字簽名與所述來源url的數(shù)字簽名一致，則將所述待處理數(shù)據(jù)進行刪除；

若所述數(shù)據(jù)倉庫中與所述來源url存在所述相同url，且所述相同url中的數(shù)字簽名與所述來源url的數(shù)字簽名不一致，則將所述待處理數(shù)據(jù)作為第一過濾數(shù)據(jù)并進行二級過濾。

8.如權(quán)利要求6所述的設(shè)備，其特征在于，所述過濾模塊具體還用于：

獲取所述第一過濾數(shù)據(jù)在所述數(shù)據(jù)倉庫中對應(yīng)的模型模塊；

若所述第一過濾數(shù)據(jù)的數(shù)字簽名與所述模型模塊的數(shù)字簽名不相同，則基于所述第一過濾數(shù)據(jù)對所述模型模塊進行更新；

若所述第一過濾數(shù)據(jù)的數(shù)字簽名與所述模型模塊的數(shù)字簽名相同，則不對所述模型模塊進行更新，并將所述第一過濾數(shù)據(jù)與所述數(shù)據(jù)倉庫中的數(shù)據(jù)進行校驗重復(fù)得到第二過濾數(shù)據(jù)。