[發(fā)明專利]具有動態(tài)完整性評分的基于視覺的多攝像頭工廠監(jiān)測

有效

• 申請?zhí)枺?/td>: 201410275796.1
• 申請日: 2014-06-19
• 公開（公告）號: CN104933436B
• 公開（公告）日: 2018-09-14
• 發(fā)明（設(shè)計）人: J.W.威爾斯;K.金;S.梅達薩尼;Y.奧維可科
• 申請（專利權(quán)）人: 通用汽車環(huán)球科技運作有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/564
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 葛青

本發(fā)明公開了一種具有動態(tài)完整性評分的基于視覺的多攝像頭工廠監(jiān)測。人監(jiān)視系統(tǒng)包括視覺處理器和多個攝像頭。多個攝像頭繞工作空間區(qū)域布置，其中每一個攝像頭配置為捕獲視頻饋送，視頻饋送包括多個圖像幀，且多個圖像幀在相應(yīng)攝像頭之間是時間同步的。視覺處理器配置為從多個基于視覺的成像裝置接收多個圖像幀且確定用于每一個相應(yīng)圖像幀的完整性評分。處理器可以隨后將前景部分從兩個或更多視圖分離，確定用于每一個相應(yīng)前景部分的主本體軸線，且根據(jù)各主本體軸線中的加權(quán)的最小二乘函數(shù)確定位置點。

技術(shù)領(lǐng)域

本發(fā)明總體涉及用于追蹤人的視覺監(jiān)視系統(tǒng)。

背景技術(shù)

在許多組裝環(huán)境下使用工廠自動化。為了實現(xiàn)更靈活的制造過程，需要能允許機器人和人自然地且有效地協(xié)作，以執(zhí)行不必重復(fù)的任務(wù)的系統(tǒng)。人-機器人互動需要新的機器認知水平，其超越了其中所有部件在已知位置開始的通常的記錄/回放式的控制。以這種方式，機器人控制系統(tǒng)必須理解人的位置和行為，且隨后必須基于人的動作調(diào)整機器人的行為。

發(fā)明內(nèi)容

一種人監(jiān)視系統(tǒng)，包括多個攝像頭和視覺處理器。多個攝像頭繞工作空間區(qū)域布置，其中每一個攝像頭配置為捕獲視頻饋送，該視頻饋送包括多個圖像幀，且多個圖像幀在相應(yīng)攝像頭之間是時間同步的。

視覺處理器配置為從多個基于視覺的成像裝置接收多個圖像幀且從使用在輸入圖像上執(zhí)行的模式匹配而從多個圖像幀中的至少一個檢測人的存在。用于模式匹配的輸入圖像是圖像幀的滑動窗部分，其與校正坐標系對準，從而工作空間區(qū)域中的垂直軸線與輸入圖像的垂直軸線對準。

如果檢測到人靠近自動可動設(shè)備，則系統(tǒng)可以提供警告和/或改變自動可動設(shè)備的行為。在一種構(gòu)造中，系統(tǒng)/系統(tǒng)處理器可以配置為構(gòu)造位于工作空間中的物體/人的概率圖示。

在工作空間中構(gòu)造物體位置的概率圖示的方法可包括獲得工作空間的多個2D圖像，每一個相應(yīng)2D圖像從布置在工作空間中不同位置處的攝像頭獲取。系統(tǒng)可以確定用于每一個攝像頭的完整性評分，所述評分與圖像的視覺清楚性相關(guān)。更具體地，完整性評分與絕對像素差、全局或局部直方圖差、和相應(yīng)2D圖像與來自同一攝像頭的在先2D圖像之間的絕對邊緣差中的至少一個有關(guān)。

在多個2D圖像的至少兩個內(nèi)識別前景部分。系統(tǒng)可以確定用于每一個識別前景部分的主本體軸線。主本體軸線是相應(yīng)前景部分的平均中線且與圖像的消失點對準。一旦被確定，則系統(tǒng)可以將每一個被檢測的主本體軸線映射到地面平面，所述地面平面與工作空間的地面重合。在各種映射的主本體軸線的位置處觀察，系統(tǒng)可以確定地面平面中的代表物體的位置的位置點。如果線不以單個位置相交，則該位置點可以被選擇以使得每一個映射主本體軸線中的加權(quán)最小二乘函數(shù)最小化。加權(quán)可以根據(jù)用于一視圖的完整性評分進行，每一個相應(yīng)主本體軸線從所述視圖映射。

在又一種構(gòu)造中，每一個前景部分被投影到多個平行間隔開的平面的每一個。多個平面中的每一個內(nèi)識別一區(qū)域，多個投影前景部分在該區(qū)域中重疊。這些識別區(qū)域被組合以形成物體的3D邊界包絡(luò)。

系統(tǒng)可以執(zhí)行控制動作，如果邊界包絡(luò)重疊預(yù)定體積空間。控制動作可以例如包括修改鄰近機器人的行為，調(diào)整自動機械的性能，或通過聲音或光照發(fā)出警報。

在一種構(gòu)造中，處理器可以使用邊界包絡(luò)以驗證確定的位置點。例如，如果位置點在邊界包絡(luò)中，則系統(tǒng)可以記錄該位置點的坐標。

系統(tǒng)可以進一步配置為組合運動軌跡，所述運動軌跡代表一段時間段上位置點的位置。在該運動軌跡中，系統(tǒng)可以進一步識別位置點在工作空間中運動的一部分時間段，和識別位置點在工作空間中靜止的一部分時間段。在位置點靜止的該一部分時間段期間，系統(tǒng)可以配置為確定物體執(zhí)行的動作。