[發明專利]面向全球變化研究的空間科學數據元數據自動匯聚方法

有效

• 申請號: 201110220537.5
• 申請日: 2011-08-02
• 公開（公告）號: CN102289483A
• 公開（公告）日: 2011-12-21
• 發明（設計）人: 楊風雷;林青慧;黎建輝;沈志宏;胡良霖;周園春
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余長江

1.一種面向全球變化研究的空間科學數據元數據自動匯聚方法，其步驟為：

1)選定數據源，服務器定期對所選數據源進行訪問，生成下載列表和下載任務；其方法為：首先根據數據源的數據產品類型，生成該數據源元數據文件的可能有效id列表；然后驗證可能有效id列表中每一id所標示的元數據文件是否存在，從而得到當前有效的元數據文件id列表；最后根據有效的id生成完整的元數據文件url，并根據元數據文件url生成所述下載列表和下載任務；

2)服務器根據當前下載列表和下載任務，訪問數據源數據服務器，進行數據下載并將其保存到服務器；

3)服務器對下載的元數據文件進行質量檢查，并對檢查合格的元數據文件進行元數據項提??；

4)將元數據項及元數據文件路徑保存到元數據項數據庫并建立索引；

5)服務器通過元數據文件路徑、元數據項數據庫的數據id值、索引項的id值，建立元數據文件、元數據項數據庫數據、索引數據之間一一對應的映射關系。

2.如權利要求1所述的方法，其特征在于提取的所述元數據項包括：數據產生時間、實體數據文件所包含數據范圍四個頂點的經緯度值、云量。

3.如權利要求2所述的方法，其特征在于所述索引的建立方法為：首先對提取的實體數據文件所包含數據范圍四個頂點的經緯度值進行計算，確定最北點的緯度值、最南點的緯度值、最東點的經度值、最西點的經度值；然后將確定的四個頂點經緯度值轉換為大于或等于0的數；最后根據轉換后的頂點經緯度值建立所述索引。

4.如權利要求3所述的方法，其特征在于所述索引為元數據項的數字索引。

5.如權利要求3所述的方法，其特征在于將所述四個頂點經緯度值分別加180，從而將所述四個頂點經緯度值轉換為大于或等于0的數。

6.如權利要求1所述的方法，其特征在于所述根據有效的id生成完整的元數據文件url，并根據元數據文件url生成所述下載列表和下載任務的方法為：每一下載任務對應一下載列表，當設定下載url總數量為N時，每一下載列表中某一類型數據產品需下載的url數量占該下載任務需下載url總數量的比例等同于該類型數據產品的有效id數量占當前數據源中總有效id數量的比例；并且url依次按照數據產品類型、時間順序排列；其中，N小于或等于總有效id數。

7.如權利要求6所述的方法，其特征在于服務器將所述下載列表中的url按照隨機分配的方式分配給下載線程。

8.如權利要求1或2或3或4或5或6或7所述的方法，其特征在于所述質量檢查包括：元數據文件是否能打開，文件大小和下載前是否相同，元數據文件、圖片文件、縮小的圖片文件是否一一對應。

9.如權利要求8所述的方法，其特征在于所述服務器提供一檢索接口。