[發明專利]一種用于將數據加載到數據庫中的方法及系統有效
| 申請號: | 201810831294.0 | 申請日: | 2018-07-26 |
| 公開(公告)號: | CN109165208B | 公開(公告)日: | 2020-12-15 |
| 發明(設計)人: | 劉聰玲;趙文銀;約翰·格力高 | 申請(專利權)人: | 佛山市電子政務科技有限公司 |
| 主分類號: | G06F16/21 | 分類號: | G06F16/21;G06F16/27 |
| 代理公司: | 廣州海藻專利代理事務所(普通合伙) 44386 | 代理人: | 張大保 |
| 地址: | 528000 廣東省佛山市禪城*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 用于 數據 加載 數據庫 中的 方法 系統 | ||
1.一種用于將數據加載到數據庫中的方法,其特征在于,該方法包括:接收將數據導入計算環境的請求,該計算環境至少具有分布式數據存儲系統以提供非關系數據存儲,該數據通過應用程序編程接口從外部源導入;
分析請求的一個或多個特征,以確定請求是否對應于導入大數據負載的請求;
如果請求是針對大數據負載,則導致數據暫存;
創建一個或多個數據管理作業以使分階段數據存儲在分布式數據存儲系統的一個或多個節點中;
將一個或多個數據管理作業發送到分布式數據存儲系統中的一個或多個相應節點;
使一個或多個作業異步執行以使分階段數據存儲在一個或多個節點中;
并且所述方法還包括對所述分階段數據執行一個或多個驗證檢查,其中所述驗證檢查包括將所述導入數據與包括一個或多個字段級安全性的創建的租戶可配置數據規則進行比較中的一個或多個;
以及還包括通過標準數據庫查詢逐個記錄地提供錯誤記錄;
以及,還包括:
序列化與租戶相對應的元數據子集;和
將序列化數據與要在自定義處理程序擴展中使用的分布式數據庫作業的配置信息捆綁在一起,以驗證導入的數據是否違反了租戶數據規則;其中所述租戶數據規則包括數據類型匹配和正確字段長度中的一個或多個;
并且所述方法還包括:確定性地將數據分成兩個或多個塊,并為每個塊分配標識符;并且為相應塊重新使用分配的標識符,用于確定與相應塊相關聯的任何重試次數。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于佛山市電子政務科技有限公司,未經佛山市電子政務科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201810831294.0/1.html,轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置





