[發(fā)明專利]氣象數(shù)據(jù)的預(yù)處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911180400.4
• 申請(qǐng)日: 2019-11-27
• 公開（公告）號(hào): CN110928849A
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 周康明;何敏
• 申請(qǐng)（專利權(quán)）人: 上海眼控科技股份有限公司
• 主分類號(hào): G06F16/16
• 分類號(hào): G06F16/16;G06F16/178;G06F16/182
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃麗霞

本申請(qǐng)涉及一種氣象數(shù)據(jù)的預(yù)處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：讀取出所獲取的氣象數(shù)據(jù)中的數(shù)據(jù)信息，數(shù)據(jù)信息包括多個(gè)氣象參數(shù)變量；根據(jù)預(yù)先生成的氣象參數(shù)關(guān)鍵變量字典，從多個(gè)氣象參數(shù)變量中提取出氣象參數(shù)關(guān)鍵變量；依次將所提取出的氣象參數(shù)關(guān)鍵變量進(jìn)行格式轉(zhuǎn)換并保存；將氣象參數(shù)關(guān)鍵變量輸入至深度學(xué)習(xí)訓(xùn)練模型，對(duì)深度訓(xùn)練學(xué)習(xí)模型進(jìn)行訓(xùn)練。采用本方法能夠?qū)⑥D(zhuǎn)換數(shù)據(jù)格式后的氣象數(shù)據(jù)關(guān)鍵變量文件可以被反復(fù)用于作為后續(xù)的深度學(xué)習(xí)訓(xùn)練的輸入數(shù)據(jù)，從而為深度學(xué)習(xí)模型訓(xùn)練時(shí)讀取氣象數(shù)據(jù)節(jié)省了大量的時(shí)間，加快了深度學(xué)習(xí)模型訓(xùn)練時(shí)數(shù)據(jù)輸入的效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種氣象數(shù)據(jù)的預(yù)處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

伴隨氣象行業(yè)的持續(xù)發(fā)展，氣象數(shù)據(jù)的規(guī)模也日益龐大。氣象數(shù)據(jù)有多種數(shù)據(jù)格式，如WMO(World Meteorological Organization，世界氣象組織)開發(fā)了一種用于交換和存儲(chǔ)規(guī)則分布數(shù)據(jù)的二進(jìn)制文件格式GRIB。最初GRIB表示“二進(jìn)制格點(diǎn)”(GRIddedBinary)，后來(lái)擴(kuò)展為“二進(jìn)制的通用規(guī)則分布信息”(General Regularly-distributedInformation in Binary form)。

氣象數(shù)據(jù)被編碼壓縮傳輸，使用時(shí)則需要解碼。目前市面上已有較多處理氣象數(shù)據(jù)的工具，如GRIB API,是ECMWF(European Centre for Medium-Range WeatherForecasts，歐洲中期天氣預(yù)報(bào)中心)開發(fā)的用于編解碼GRIB的工具，提供C++、Fortran、Python等語(yǔ)言的API(Application Programming Interface，應(yīng)用程序接口)，并提供一系列命令行工具。然而，在使用現(xiàn)有工具讀取單個(gè)氣象數(shù)據(jù)時(shí)，每次讀取數(shù)據(jù)的消耗時(shí)間偏長(zhǎng)。對(duì)于訓(xùn)練深度學(xué)習(xí)模型，如果其輸入需要大量的歷史氣象數(shù)據(jù)作為支撐，那么單獨(dú)消耗在氣象數(shù)據(jù)讀取這一模塊的時(shí)間將被多次放大，從而影響深度學(xué)習(xí)模型訓(xùn)練時(shí)數(shù)據(jù)的輸入效率。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠加快深度學(xué)習(xí)模型訓(xùn)練效率的氣象數(shù)據(jù)的預(yù)處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

為了實(shí)現(xiàn)上述目的，一方面，本申請(qǐng)實(shí)施例提供了一種氣象數(shù)據(jù)的預(yù)處理方法，所述方法包括：

讀取出所獲取的氣象數(shù)據(jù)中的數(shù)據(jù)信息，數(shù)據(jù)信息包括多個(gè)氣象參數(shù)變量；

根據(jù)預(yù)先生成的氣象參數(shù)關(guān)鍵變量字典，從多個(gè)氣象參數(shù)變量中提取出氣象參數(shù)關(guān)鍵變量；

依次將所提取出的氣象參數(shù)關(guān)鍵變量進(jìn)行格式轉(zhuǎn)換并保存；

將氣象參數(shù)關(guān)鍵變量輸入至深度學(xué)習(xí)訓(xùn)練模型，對(duì)深度訓(xùn)練學(xué)習(xí)模型進(jìn)行訓(xùn)練。

在其中一個(gè)實(shí)施例中，依次將所提取出的氣象參數(shù)關(guān)鍵變量進(jìn)行格式轉(zhuǎn)換并保存，包括：

依次將所提取出的氣象參數(shù)關(guān)鍵變量寫入HDF5文件并保存，HDF5文件用于存儲(chǔ)和操作所提取的多個(gè)氣象參數(shù)關(guān)鍵變量，在對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練時(shí)用于直接被調(diào)用。

在其中一個(gè)實(shí)施例中，氣象參數(shù)關(guān)鍵變量字典的生成方式，包括：

根據(jù)訓(xùn)練深度學(xué)習(xí)模型所需的氣象參數(shù)關(guān)鍵變量設(shè)置的關(guān)鍵字，以及與關(guān)鍵字對(duì)應(yīng)的值生成氣象參數(shù)關(guān)鍵變量字典，其中，

與關(guān)鍵字對(duì)應(yīng)的值中包含氣象參數(shù)關(guān)鍵變量的變量名和對(duì)應(yīng)的高度信息，高度信息包括高度數(shù)據(jù)和高度類型。

在其中一個(gè)實(shí)施例中，氣象參數(shù)關(guān)鍵變量字典中與氣象參數(shù)關(guān)鍵變量對(duì)應(yīng)的高度信息包括多個(gè)，用于在從氣象數(shù)據(jù)中提取氣象參數(shù)關(guān)鍵變量時(shí)，獲取對(duì)應(yīng)的多個(gè)不同高度的氣象數(shù)據(jù)。

在其中一個(gè)實(shí)施例中，氣象數(shù)據(jù)的數(shù)據(jù)格式為計(jì)算機(jī)無(wú)關(guān)的壓縮的二進(jìn)制編碼GRIB。