[發明專利]一種基于PostgreSQL和眾包的不完整數據查詢處理方法

有效

• 申請號: 201710038856.1
• 申請日: 2017-01-19
• 公開（公告）號: CN106897373B
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 高云君;苗曉曄;陳暉;郭素
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2453;G06F16/25;G06F16/28
• 代理公司: 33200 杭州求是專利事務所有限公司
• 代理人: 邱啟旺

本發明公開了一種基于PostgreSQL和眾包的不完整數據查詢處理方法，該方法利用眾包(又名群智計算)技術，將人類解決問題的優勢應用到本發明中，對不完整數據進行補全，進一步對于補全后的數據進行Skyline查詢、Top?k查詢和區域查詢，返回更加滿足用戶需求的查詢結果。本方法先通過計算中心確定需要清洗的數據，并通過擴展SQL數據定義語言生成用戶接口；然后通過HIT管理器向眾包平臺發布任務，進行數據補全；最后根據補全后的數據進行查詢，得到查詢結果。本發明基于PostgreSQL，為應用程序開發者提供了通用的查詢接口，利用眾包技術對數據進行補全，且查詢效率、查詢結果準確性明顯好于現有的方法，提供了最佳性能。

技術領域

本發明涉及數據庫查詢處理技術，特別是一種基于PostgreSQL和眾包的不完整數據查詢處理方法。

背景技術

不完整數據是指存在維度缺失的數據。隨著以博客、社交網絡、電子商務等為代表的新型信息發布方式的不斷涌現，以及云計算、物聯網等技術的興起，數據正以前所未有的速度在不斷地增長和累積。然而與此同時，數據缺失也無處不在。因此，針對不完整數據的分析處理以及查詢算法成為了研究熱點。

PostgreSQL是由美國加州大學伯克利分校開發的一個關系型數據庫管理系統。它支持大多數的SQL操作，并采用經典的C/S接口，提供了統一的服務器端C接口。PostgreSQL是便利可行的數據庫擴展工具和平臺。

眾包，又名群體計算，是指通過互聯網，將要解決的問題發布到網上，由多個用戶來完成的方法。雖然現有的計算機技術已經得到了長足的發展，但仍有一些不能解決或者解決起來比較麻煩的問題。這些問題如果由人來解決，可能會有意想不到的結果(如圖片識別，數據補全等)。在眾包過程中，每個發布的任務被稱之為人工智能任務服務(HIT,HumanIntelligence Task)。利用眾包來處理缺失數據，最大的挑戰是在改變了傳統數據庫關于封閉世界的假設后，如何設計合理的回答監督機制，并保證數據處理時間、效率、費用合理化。

目前基于眾包的不完整數據查詢，已有CrowdDB，但CrowdDB只能支持眾包操作的一個SQL最小擴展，還有很多工作并沒有實現。一些復雜的查詢(如Skyline查詢和區域查詢等)并不支持。

發明內容

針對上述不足，本發明提供一種基于PostgreSQL和眾包的不完整數據查詢處理方法，該方法中將眾包查詢擴展至Skyline查詢、Top-k查詢和區域查詢。

本發明解決其技術問題采用技術方案的步驟如下：一種基于PostgreSQL和眾包的不完整數據查詢處理方法，該方法包括如下步驟：

步驟(1)：數據庫管理系統采用PostgreSQL，應用程序提交查詢類型，計算中心運算確定需要補全的數據；

步驟(2)：對于步驟(1)得到的需要補全的數據，用戶接口處理器通過擴展的SQL數據定義語言生成用戶接口；

步驟(3)：HIT管理器利用步驟(2)中生成的用戶接口以及用戶可讀指令，向眾包平臺發布人工智能任務服務HIT；

步驟(4)：步驟(3)中HIT完成后返回結果，反饋到數據庫管理系統PostgreSQL中，以補全缺失數據；

步驟(5)：查詢補全后的數據，并向應用程序返回查詢結果。

進一步的，所述步驟(1)具體為：

數據庫管理系統采用PostgreSQL，PostgreSQL允許數據缺失，應用程序提交查詢類型，該查詢類型包括Skyline查詢、Top-k查詢和區域查詢；計算中心確定需要補全數據的步驟需要分三種查詢情況考慮：

1)針對區域查詢，確定需要補全的數據的步驟如下：

a)對不完整數據對象，計算它能包含在查詢結果集中的概率；