[發(fā)明專利]通用力場(chǎng)數(shù)據(jù)庫(kù)及其更新方法和檢索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810420916.0
• 申請(qǐng)日: 2018-05-04
• 公開(kāi)（公告）號(hào): CN108804863A
• 公開(kāi)（公告）日: 2018-11-13
• 發(fā)明（設(shè)計(jì)）人: 楊明俊;師雪坤;曹風(fēng)雷;孫廣旭;劉陽(yáng);張佩宇;馬健;賴力鵬;溫書(shū)豪
• 申請(qǐng)（專利權(quán)）人: 深圳晶泰科技有限公司
• 主分類號(hào): G06F19/00
• 分類號(hào): G06F19/00
• 代理公司: 深圳市科吉華烽知識(shí)產(chǎn)權(quán)事務(wù)所(普通合伙) 44248
• 代理人: 胡玉

1.通用力場(chǎng)數(shù)據(jù)庫(kù)，其特征在于，包括模型層、視圖層、控制層的3層MVC架構(gòu)；

所述的模型層，數(shù)據(jù)存儲(chǔ)采用SQL+文件數(shù)據(jù)庫(kù)的混合架構(gòu)，核心數(shù)據(jù)包括 SQL 中的8張表，分別是分子表，分子片段表、力場(chǎng)參數(shù)表、原子類型表、力場(chǎng)計(jì)算數(shù)據(jù)表、量化計(jì)算數(shù)據(jù)表、實(shí)驗(yàn)數(shù)據(jù)表、分子動(dòng)力學(xué)模擬數(shù)據(jù)表；力場(chǎng)計(jì)算、量化計(jì)算、分子動(dòng)力學(xué)模擬的計(jì)算日志都是以文件的形式存儲(chǔ)在文件數(shù)據(jù)庫(kù)中的；

控制層包括4個(gè)核心模塊，分別為數(shù)據(jù)采集模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)校驗(yàn)?zāi)K和數(shù)據(jù)檢索模塊；所述的數(shù)據(jù)采集模塊對(duì)模型層有讀寫(xiě)的權(quán)限；數(shù)據(jù)校驗(yàn)?zāi)K、數(shù)據(jù)檢索模塊對(duì)模型層只有讀的權(quán)限；數(shù)據(jù)清洗模塊只被數(shù)據(jù)采集模塊調(diào)用，對(duì)模型層沒(méi)有讀寫(xiě)權(quán)限；

所述的視圖層用 Python 封裝的SDK實(shí)現(xiàn)；

控制層和視圖之間通信連接。

2.根據(jù)權(quán)利要求1所述的通用力場(chǎng)數(shù)據(jù)庫(kù)的更新方法，其特征在于，包括兩種方式：定期從公開(kāi)的數(shù)據(jù)源獲取最新的元數(shù)據(jù)，根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)更新從公開(kāi)的數(shù)據(jù)源獲取目標(biāo)數(shù)據(jù)；

所述的定期從公開(kāi)的數(shù)據(jù)源獲取最新的元數(shù)據(jù)，包括以下過(guò)程：

（1）用戶通過(guò)SDK向數(shù)據(jù)采集模塊發(fā)送需要獲取數(shù)據(jù)的數(shù)據(jù)源地址，更新頻率，以及數(shù)據(jù)源中的數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)的對(duì)應(yīng)關(guān)系；

（2）數(shù)據(jù)采集模塊內(nèi)部持續(xù)運(yùn)行的定時(shí)器，根據(jù)用戶設(shè)定的更新頻率，定時(shí)器觸發(fā)更新，數(shù)據(jù)采集模塊主動(dòng)向數(shù)據(jù)源發(fā)送請(qǐng)求獲取數(shù)據(jù)；

（3）數(shù)據(jù)源返回?cái)?shù)據(jù)后，數(shù)據(jù)采集模塊將數(shù)據(jù)存儲(chǔ)在臨時(shí)文件系統(tǒng)中；

（4）數(shù)據(jù)采集模塊調(diào)用數(shù)據(jù)清洗模塊按標(biāo)準(zhǔn)數(shù)據(jù)格式清洗數(shù)據(jù)，并將輸出的標(biāo)準(zhǔn)化的數(shù)據(jù)存儲(chǔ)在臨時(shí)文件系統(tǒng)中；

（5）數(shù)據(jù)采集模塊調(diào)用數(shù)據(jù)校驗(yàn)?zāi)K，按照預(yù)設(shè)的規(guī)則逐一校驗(yàn)標(biāo)準(zhǔn)化后的數(shù)據(jù)，并將通過(guò)校驗(yàn)的數(shù)據(jù)傳給模型層添加到數(shù)據(jù)庫(kù)中；

（6）未通過(guò)校驗(yàn)的數(shù)據(jù)會(huì)記錄到疑似錯(cuò)誤數(shù)據(jù)表中，用戶可以通過(guò)SDK手動(dòng)編輯數(shù)據(jù)，并重新校驗(yàn)；

所述的根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)更新從公開(kāi)的數(shù)據(jù)源獲取目標(biāo)數(shù)據(jù)，包括以下過(guò)程：

（1）用戶主動(dòng)導(dǎo)入數(shù)據(jù)，用戶通過(guò)SDK向數(shù)據(jù)采集模塊主動(dòng)導(dǎo)入了一批數(shù)據(jù)；

（2）數(shù)據(jù)采集模塊會(huì)根據(jù)用戶導(dǎo)入的數(shù)據(jù)自動(dòng)判斷哪些已有的數(shù)據(jù)源與這些數(shù)據(jù)有關(guān)聯(lián)，并向這些數(shù)據(jù)源發(fā)送獲取數(shù)據(jù)請(qǐng)求；

（3）以下步驟同所述的定期從公開(kāi)的數(shù)據(jù)源獲取最新的元數(shù)據(jù)的步驟（3）~步驟（6）。

3.根據(jù)權(quán)利要求2所述的通用力場(chǎng)數(shù)據(jù)庫(kù)的更新方法，其特征在于，所述的用戶主動(dòng)導(dǎo)入數(shù)據(jù)的方法為，用戶通過(guò)SDK向數(shù)據(jù)采集模塊發(fā)送需要導(dǎo)入的數(shù)據(jù)和數(shù)據(jù)類型，導(dǎo)入的數(shù)據(jù)格式支持JSON、XML、TXT、CVS、數(shù)據(jù)類型可以指定分子、分子片段、力場(chǎng)參數(shù)、原子類型、力場(chǎng)計(jì)算數(shù)據(jù)、量化計(jì)算數(shù)據(jù)、實(shí)驗(yàn)數(shù)據(jù)；將用戶上傳的數(shù)據(jù)存儲(chǔ)在臨時(shí)文件系統(tǒng)中。

4.根據(jù)權(quán)利要求2所述的通用力場(chǎng)數(shù)據(jù)庫(kù)的更新方法，其特征在于，還包括數(shù)據(jù)清洗，數(shù)據(jù)清洗由數(shù)據(jù)采集模塊觸發(fā)，包括以下過(guò)程：

（1）數(shù)據(jù)采集模塊調(diào)用數(shù)據(jù)清洗模塊，并將需要清洗的數(shù)據(jù)從臨時(shí)文件系統(tǒng)傳給數(shù)據(jù)清洗模塊；

（2）數(shù)據(jù)清洗模塊首先會(huì)根據(jù)數(shù)據(jù)內(nèi)容和類型標(biāo)記判斷需要清洗的數(shù)據(jù)的類型；并根據(jù)類型調(diào)用相應(yīng)的解釋器；

（3）解釋器安裝標(biāo)準(zhǔn)格式據(jù)逐一匹配內(nèi)容，如果匹配成功，就將數(shù)據(jù)填入內(nèi)存里對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)中；

（4）直到全部數(shù)據(jù)匹配完成，內(nèi)存中的數(shù)據(jù)就是清洗好的數(shù)據(jù)，模,將這些數(shù)據(jù)持久化到臨時(shí)文件系統(tǒng)中。

5.根據(jù)權(quán)利要求1所述的通用力場(chǎng)數(shù)據(jù)庫(kù)的更新方法，其特征在于，還包括數(shù)據(jù)校驗(yàn)，數(shù)據(jù)校驗(yàn)由數(shù)據(jù)采集模塊觸發(fā)，包括以下過(guò)程：

（1）數(shù)據(jù)采集模塊調(diào)用數(shù)據(jù)校驗(yàn)?zāi)K，并將需要校驗(yàn)的數(shù)據(jù)從臨時(shí)文件系統(tǒng)傳給數(shù)據(jù)校驗(yàn)?zāi)K；

（2）數(shù)據(jù)校驗(yàn)?zāi)K逐條校驗(yàn)數(shù)據(jù)，首先識(shí)別數(shù)據(jù)的類型，根據(jù)數(shù)據(jù)的類型，從模型層讀取相應(yīng)的校驗(yàn)規(guī)則列表；

（3）按校驗(yàn)規(guī)則列表逐條匹配需要校驗(yàn)的單條數(shù)據(jù)，對(duì)每一條校驗(yàn)規(guī)則，先請(qǐng)求模型層，獲取校驗(yàn)規(guī)則中需要用到的數(shù)據(jù)，然后通過(guò)校驗(yàn)規(guī)則運(yùn)算后看看與被校驗(yàn)數(shù)據(jù)是否一直，如果一致則校驗(yàn)成功，如果不一致則校驗(yàn)失??；

（4）上述步驟循環(huán)完成后全部通過(guò)校驗(yàn)的數(shù)據(jù)會(huì)被模塊持久化到臨時(shí)文件系統(tǒng)中。