[發明專利]實現時序特征抽取的方法及裝置

在審

• 申請號: 202010534425.6
• 申請日: 2020-06-12
• 公開（公告）號: CN113806353A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 包新啟;陳迪豪;陳靚;王太澤
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/27;G06N20/00
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 王明遠

1.一種實現時序特征抽取的方法，包括：

獲取輸入的數據表；

若時間窗口長度與所述數據表中全量數據的時間字段對應的總時間范圍的時間長度的比值低于閾值，則將總時間范圍拆分為多個時間片，所述時間窗口用于表征對單條數據進行時序特征抽取時需要依賴的數據的時間范圍，所述時間片的時間寬度大于或等于2倍時間窗口長度；

按照主鍵和時間片將所述數據表中的數據劃分到多個區塊中，每個區塊對應一個時間片，并且同一區塊中數據的主鍵相同；

將所述多個區塊分配給多個計算節點進行時序特征抽取處理。

2.根據權利要求1所述的方法，其中，若所述數據表中數據隨時間均勻分布，則將總時間范圍拆分為多個時間片的步驟包括：

統計所述數據表中全量數據的時間字段對應的總時間范圍；

根據分片數、所述總時間范圍，確定每個時間片的時間寬度，每個所述時間片的時間寬度等于所述總時間范圍與所述分片數的比值；

按照所述時間寬度將總時間范圍拆分為多個時間片。

3.根據權利要求1所述的方法，其中，若所述數據表中數據不隨時間均勻分布，則將總時間范圍拆分為多個時間片的步驟包括：

統計所述數據表中全量數據的直方圖，所述直方圖的橫軸表示時間字段值，所述直方圖的縱軸表示數據量；

基于所述直方圖將所述總時間范圍拆分為多個時間片，其中，不同時間片對應的時間范圍內的數據量相等或基本相等。

4.根據權利要求2或3所述的方法，還包括：

判斷所述數據表中數據是否隨時間均勻分布。

5.根據權利要求2或3所述的方法，還包括：

由用戶指定分片數；或者

通過啟發式規則設置分片數。

6.根據權利要求1所述的方法，還包括：

在將數據表中的每條數據劃分到區塊的過程中，判斷該條數據是否為該條數據所在區塊的下一區塊中的數據進行時序特征抽取時需要依賴的邊界數據；

若判定該條數據是邊界數據，則將該條數據標記為復制數據并添加到所述下一區塊中，其中，所述計算節點忽略所述復制數據的時序特征抽取處理。

7.一種實現時序特征抽取的裝置，包括：

獲取模塊，用于獲取輸入的數據表；

拆分模塊，用于若時間窗口長度與所述數據表中全量數據的時間字段對應的總時間范圍的時間長度的比值低于閾值，則將總時間范圍拆分為多個時間片，所述時間窗口用于表征對單條數據進行時序特征抽取時需要依賴的數據的時間范圍，所述時間片的時間寬度大于或等于2倍時間窗口長度；

劃分模塊，用于按照主鍵和時間片將所述數據表中的數據劃分到多個區塊中，其中，每個區塊對應一個時間片，并且同一區塊中數據的主鍵相同；

分配模塊，用于將所述多個區塊分配給多個計算節點進行時序特征抽取處理。

8.根據權利要求7所述的裝置，其中，若所述數據表中數據隨時間均勻分布，則所述拆分模塊包括：

統計模塊，用于統計所述數據表中全量數據的時間字段對應的總時間范圍；

確定模塊，用于根據分片數、所述總時間范圍，確定每個時間片的時間寬度，每個所述時間片的時間寬度等于所述總時間范圍與所述分片數的比值；

拆分子模塊，用于按照所述時間寬度將總時間范圍拆分為多個時間片。

9.一種包括至少一個計算裝置和至少一個存儲指令的存儲裝置的系統，其中，所述指令在被所述至少一個計算裝置運行時，促使所述至少一個計算裝置執行如權利要求1到6中的任一權利要求所述的方法。

10.一種存儲指令的計算機可讀存儲介質，其中，當所述指令被至少一個計算裝置運行時，促使所述至少一個計算裝置執行如權利要求1到6中的任一權利要求所述的方法。