在圖100系統。由於此處使用,剛性結構,是在其中運動同樣支持結構的痕跡,從對方的痕跡的位置是微不足道的相對。此外,半剛性結構是其中之壹是允許在同壹支撐結構的痕跡themovement,但運動是大大限制在預定的範圍內。可能是基於幾個因素,如材料類型,用於在支持結構及應用支撐結構的力量,運動之間的商標量。例如,壹個靈活的身體適應,取決於所用材料和施工方法,可能有資格作為壹個“剛性”或“半剛性”,它顯示了剛性的適當水平的thedisclosed技術方面的支持結構。此外,附加於壹身西裝的樂隊也可以有資格為剛性或半剛性支撐結構。
在壹些實施例中,支持結構上的商標標誌的間距可能會在下面詳細討論技術厘定,從而間距並不需要知道壹個先驗。該系統可以使用壹個或多個攝像頭的支持結構的trackdifferent標誌。這些標記可用於估計的支持結構(例如,通過三維空間中時間的位置和方向)的議案。每個支持的結構是剛性的知識(或半剛性)可能beused在下面討論的估計過程,並可能有助於重建的議案,從壹個單壹的相機。
在壹些實施,標誌著高對比度材料,也可選擇點亮發光二極管(LED)發光材料,在黑暗中看到。這些照明質量,可以使相機capturethe對象上的商標顯著,在光線不足的或黑暗條件下。例如,正在拍攝壹個演員從壹個光線充足的地區可步行到陰影區域。到陰影區域的運動,盡管演員的標誌可能被捕獲,因為themarks發光或發光。
在操作過程中,可以有壹個或多個攝像機記錄的議案序列,並存儲三維掃描儀圖像進行處理,如磁帶或磁盤存儲設備,。同時,三維掃描儀圖像可直接傳輸到加工設備加工inreal時間或接近實時。
操作員或算法計算,如相機的視野攝像頭的位置和它的視覺特性,鏡頭失真和方向,而序列被記錄。例如,壹個算法可以得到足夠的標誌和信息的痕跡,如數字,識別和位置,相機所拍攝的痕跡相關的相機theposition。
圖2顯示了壹個流程圖,說明了壹個200處理動作捕捉數據幀的方法來計算壹個被跟蹤的基礎對象的結構馬克的關系的壹個例子。在如圖所示的體現2,支撐結構是壹個虛擬的結構,如生成壹個虛擬的骨骼結構模型骨架的對象,在第202步,的關聯。例如,支持結構可能是壹個樂隊,圍繞著壹個演員的胳膊。 bandcan是環形,並占據了三維空間中的X,Y,Z軸定義。在環上的X,Y,Z軸的值的對象空間中的點(例如,X = Y = Z = 0)是樂隊的幾何中心。在壹些實施例中,這geometriccenter可能會大大地對準了壹個虛擬的手臂骨的幾何中心。在其他實施例中,幾何中心的虛擬手臂骨可能會抵消相環的幾何中心。
相機捕捉,或記錄,標誌著位於支撐結構和錄音是用來識別標記出現的地方,如204步所示。壹個算法可以計算出壹個或多個光的痕跡,從壹個或morecameras通過壹個或多個記錄標誌著延長,206步所示。例如,算法可以計算出兩個光的痕跡。這兩種射線的痕跡,可能會延長第壹個記錄標記和第二的記錄標記,分別從壹個單壹的相機視圖。
可能會產生的支撐結構,這種結構上的標記之間的距離,結構的剛性,和幾何結構的信息系統(在下文作更詳細討論)或auser輸入。這種信息可能會定義壹個配置描述結構的痕跡應該或可能發生。為了便於說明配置信息此處所述作為壹個在三維空間中的虛擬的支撐結構。
壹個算法可以估算當前虛擬的骨骼結構三維方向對準虛擬的支持結構的三維射線跟蹤,210步所示。可能會使用幾種不同類型的ofsolving算法,如最大似然估計或壹個采用Levenberg馬誇特的壹種啟發式的誤差函數的非線性最小化,實現這壹調整。該算法的解決方案,移動虛擬的支持結構的痕跡三維位置,趴在3Dray痕跡。對齊後,虛擬的骨骼結構的電流方向是已知的,因為虛擬的支撐結構有壹個顯著固定的關系,其相應的虛擬骨骼結構的方向。
在壹些實施例中,兩個或兩個以上的攝像頭可以記錄多個觀測同壹商標。對齊算法可能使用額外的記錄每壹個標記作為解決計算的附加約束的位置。如果沒有商標奧納支撐結構是由壹個攝像頭捕捉,觀察其他支持結構上的標誌可以用來估計的未捕獲的支撐結構的位置,或者至少限制了它的空間面積。例如,支持structurearound和演員的肘部可能不可見的,但是,壹個演員的手腕周圍支持結構可能是可見的。對應壹個虛擬的手腕骨手腕支撐結構的位置可能在上文所述的方式計算。由於虛擬手腕骨的立場是眾所周知的,壹個虛擬的肘骨,對應到肘部支撐結構的位置可能是限制在有限的面積。這個約束,可以根據物體的運動模型,該模型cansubstantially定義的物理結構的演員,包括演員的骨骼連接肘到手腕的長度。物體的運動模型在下面詳細討論。
鑒於這些估計範圍或虛擬的骨結構的三維位置,可以預計的基礎對象的議案。在其中的壹個標記壹個位置可以不被用於估計的議案(如某些部分是由任何相機notobserved),壹個或多個對象的物理屬性,如運動範圍內的壹個演員的腿自然限制, ,可以用來推斷出該商標的最可能的位置(因此對象的運動)的基礎上虛擬的骨骼結構與已知的三維位置和估計,從虛擬的骨骼結構時間前和今後壹個時期的就業取得的currentobservation 。
可選,壹個物體的運動模型可以被訪問,208步所示,以進壹步限制用於解決對齊標記的已知的配置與射線跟蹤算法。壹個物體的運動模型可以substantiallydefine底層對象的議案。壹個物體的質量和銜接的屬性,動作幅度,速度和加速度的壹個特定的人的體質,可以推導出基於先前捕獲的運動信息theobject。例如,幾個相機和傳統的動作捕捉設備捕捉記錄演員的動作和三角放在演員的白球的位置,壹個演員的骨骼長度和典型的運動範圍。 Thecaptured議案可能會被用來推導出壹個模型,演員。
捕捉到的三維掃描儀圖像數據幀處理後,200的方法可以判斷是否有更多的幀來處理數據,在步驟212所示。如果有更多的幀,該方法可以返回到步驟202。否則,該方法mayend。
圖1顯示了壹個圖,說明了壹個動作捕捉系統100的例子。如圖所示。 1例如,100系統包括壹個支持結構的110號和附加到每個支持structure110標誌著112。
在本例中,110的支持結構,實施圍繞壹個基本對象,如壹個演員114,包裹的圓柱樂隊。在壹些實施例中,110的支持結構是剛性的,不能彎曲率很大程度(例如,相對精度/精密的相機和/或動作捕捉程序)。此外,可支持結構110半剛性,可以在有限的方式彎曲。
此外,支持結構110可以有任意數量的顏色,如壹系列的大幅相互對比的色彩。在榕。 1中的例子,每個支持結構110的壹系列交替的黑色andwhite廣場地區。
112的標記,反過來,是連接到壹個支持結構110,使壹對相鄰標記112可通過固定或半固定的距離彼此分開時,沿軸的支撐結構110,通過throughthe標誌著測量。每雙112個相鄰的標記,反過來,可以由相同的距離分開。例如,標誌著112可形成110支持結構,使商標112均勻的間距。在壹些實施,標誌著donot需要是均勻分布的,除了,但仍可能有其他標誌,不大幅改變的距離。
當壹個剛性支撐結構110利用,相鄰的兩個商標112之間的距離,就可以大大固定。因此,距離保持不變,當底層的對象從壹個位置toanother位置移動114。
是利用壹種半剛性支撐結構110時,相鄰的兩個商標112之間的距離可能不固定,而是可能會有所不同在有限的範圍內。因此,距離可能會在壹定範圍內,當底層的對象114moves從壹個位置到另壹個位置。例如,相鄰的兩個半剛性支撐結構110的112馬克之間的距離可以有所不同,因為110的結構可能會彎曲或扭曲。在壹些實施例中,由於壹個或多個應用支撐結構的力量possiblevariation量是衡量和輸入到系統中100標記之間的觀察距離,以彌補可能出現的變化。因此,半剛性支持成員可能會限制到壹個有限的範圍取決於材料的支持成員國的方向和幅度成員的力量,如變量,職位themarks 112運動。
此外,標誌著112可以有壹個或多個幾何形狀。例如,標誌著112可以實現與圓形,三角形,正方形,或矩形。如圖所示1的例子中,每個商標112具有相同的幾何形狀,andis實施以點。
除了有壹個或多個形狀,標誌著112可以有任何壹種或多種顏色,如顏色,大幅對比度(例如,400:1的對比度)的支撐結構110的顏色。在圖1中的例子,標誌著112have壹系列交替對比的顏色(白色和黑色),對面交替的對比色(黑色和白色)的支撐結構110系列。
此外,在壹些實施方案,標誌著112可實施的對比(例如,黑色和白色)的線。使用對比線標誌著112的優勢之壹是,該生產線可以用來形成壹個酒吧codewhich,反過來,可以用來唯壹識別標誌112。例如,可能包括計算機124指數的相關性,特別是商標的觀察條形碼。當壹個條碼是由相機拍攝的,該指數可能會訪問identifywhich標誌,是由指定的代碼(例如,識別標記可置於左肘內側手肘支撐結構上的標記)。
此外,標誌著112可覆蓋或組成壹個發光材料,或可自發光,如112馬克,采用發光二極管(LED)。例如,紅外線,自發光標誌112可以看出ITIS大幅完全黑了,作為壹個結果,提供照明條件下的不變性。
因此,發光或發亮標誌可能有助於晚上壹個現場表演的動作捕捉,或者更常見的是,當壹個演員是走了濃重的陰影變成了光;或演員在暗區代表之間的字符數,並然後成光區。
標誌著112可平面與支撐結構110,可與支撐結構110,或兩者兼而有之的非平面(例如,伸出)。在榕。每個商標112 1中的例子,實現在同壹平面上的支撐結構110的壹個點thatlies。此外,個別商標116無關的支持結構110都可以使用。
除了支持結構110和112馬克,100系統還包括壹個或多?個攝像機120議案捕捉三維掃描儀圖像,標誌著112作為演員114執行壹系列動作。此外,100系統包括astorage中型122連接到相機120相機120拍攝的三維掃描儀圖像進行數字記錄。
100系統還包括124壹臺計算機連接到存儲介質122。由於在下文作更詳細的描述,124電腦可以執行動作捕捉程序,跟蹤標誌著112幀到幀的運動extractthe底層對象的運動,如壹個演員。
在操作中,壹個或多個相機120周圍放置演員114。 114演員,反過來,穿壹件黑色緊身衣褲,同時支持結構110放在各地的114演員的身體恢復骨骼的議案演員114。此外,116個人標記,可以直接放在演員的胸部和背部。 (支持結構110可交替 - 除了 - 演員的胸部周圍放置。)
任何商標112位於110的支撐結構,包括零,可以看到每個攝像頭。例如,壹個支持結構110可以有3分112,是從每個攝像機視圖完全可見。在另壹個例子中,只有asingle標誌112可以看出,在相機視圖。在壹些實施例中,沒有相機120需要112相同的商標,以演員的虛擬骨骼結構重建的議案。
壹旦系統100成立後,演員114可以執行壹系列的動作。 110的支持結構允許的標記112至114與演員和彼此有大幅固定的關系。在壹些實施例中,當演員114舉動,themarks 112跟隨大幅雖然標誌著112硬性附加演員114點的運動。
支持結構110 112馬克的變動,然後捕獲120相機,數字記錄存儲介質122。記錄的數據,然後由計算機124使用動作捕捉程序可以處理。
如前所述,圖。 2顯示了壹個流程圖,說明了壹個派生對象的虛擬骨骼結構的方向處理動作捕捉數據幀的方法200例子。結合跟蹤對象的骨骼結構與幀之間的運動相關的處理幀generatesinformation。
圖3顯示了壹個流程圖,說明了300的壹種方法計算的每壹個框架支撐結構的每壹個虛擬結構位置的壹個例子。如圖所示,方法300 3 310相機視圖isselected開始。相機視圖在三維空間位置,這是動作捕捉程序,或根據相機和相關的信息,正如上面所討論的痕跡記?錄標記的位置。
壹旦相機視圖已被選定,支持結構是從312相機視圖選擇,通過選擇代表在相機視圖的支撐結構的明顯痕跡。在314線的痕跡,延長從相機viewthrough在相機視圖中可見的痕跡。
例如,如果兩個支持結構標記可以是壹個攝像頭查看(相機的屬性,如位置,視野,和方向,決定)看到,然後壹個第壹線延長相機視圖通過firstmark,而第二線是從相機視圖延長至第?二個標誌。壹旦射線壹直延伸,幾何,或角度,每個射線投影數據的確定和記錄316。
方法300決定在此之後,如果在相機視圖的額外支持結構要考慮保持在318。例如,額外的支持結構可能會繼續,如果有任何標誌著尚未進行處理。如果額外supportstructures仍然要考慮的,312方法300返回選擇從相機視圖選擇的代表在相機視圖的支撐結構的明顯痕跡,另壹種支持結構。這個過程壹直持續,直到所有在相機視圖的thesupport結構已考慮。
當在相機視圖中沒有更多的支持結構有待考慮,300移動到320,以確定是否額外的相機視圖仍然在框架中考慮的方法。如果仍然被視為額外的相機視圖,方法300returns 310選擇另壹部相機視圖。這個過程會繼續進行,直到所有幀中的相機意見被認為。
當幀中沒有更多的攝像頭的意見加以考慮,方法300移動至322,計算虛擬的骨骼結構與圖協會三維位置。此外,在壹些實施方案,三維位置ofthe與支持結構相關的骨骼結構,可以使用傳統的幾何求解器作為輸入,利用幾何投影的光線,相機視圖的三維位置,的幾何數據來確定支撐結構,固定間距的支撐結構上的商標之間存在的關系。
返回到圖最。2,支持結構的三維位置,從而壹個虛擬的結構,可以從支撐結構的明顯痕跡的位置計算。
例如,剛性支持結構的三維位置可以決定,如果三個射線穿過三個不同的明顯痕跡。在這種情況下,三種不同的明顯痕跡的三維位置,可以判定由於固定spacingrelationship之間存在的痕跡。
由於三種不同的標記的三維位置是已知的,支撐結構的三維位置是固定在空間,因此可以計算。此外,每個余下的(不可見)商標上的支持結構canalso的三維位置確定的基礎上大幅固定間距的關系之間存在的痕跡。
在壹些實施例中,可能無法確定的剛性支持結構的三維位置,如果只有兩條射線通過兩種不同的明顯痕跡的傳遞。在這種情況下,兩個不同的明顯痕跡的三維位置,可確定由於thefixed間距關系,但兩個不同的明顯痕跡不容許的支撐結構被固定在空間的位置。
不過,估計的支撐結構的三維位置,可以計算三維位置,因為兩個不同的標誌約束結構的支持,在於有限範圍內的三維位置。為了提高theestimation準確性,過去的運動數據,從而進壹步限制或約束的支撐結構的三維位置,也可用於。
在壹些實施例中,如果壹個射線通過壹個單壹的標誌,是具有剛性支撐結構時,有可能是沒有足夠的數據,以確定單壹商標的三維位置。然而,當與運動模型andposition其他支持結構數據,利用,三維位置的估計可以。
在某些情況下,半剛性支持結構的三維位置不能確定,但?是,如果通過三個射線通過三種不同的明顯痕跡,估計的三維位置可以作出。在這種情況下,無論是固定spacingrelationship之間存在的痕跡是已知的,和剛度,或剛性支撐結構,被稱為。因此,Flex的最高金額,壓縮和拉伸相鄰標記之間可能發生的是有限的,可以bemodeled。
像以前壹樣,少的信息,可只有兩條射線,當通過兩個不同的明顯痕跡的半剛性支撐結構,或通過壹個可見的標誌之壹射線經過壹個半剛性的支撐結構。然而,像以前壹樣,estimatescan是在這兩種情況下支撐結構的三維位置。
大幅固定間距的支撐結構上的商標之間存在的關系,尊重,間距的關系可以被稱為先驗的,未知的壹個先驗,或兩者兼而有之。如果商標標誌的間距notknown時間提前,可以預計間距,在使用與商標的商標和相關信息的處理多個錄音,因為商標標誌的間距是大幅固定的。
100系統可以使用上面介紹的方法來確定的,而不是使用三角的標誌,這可能取決於兩個相機,記錄在同壹時間同壹商標的三維位置。上面介紹的方法,可能decreasethe需要確定壹個商標的三維位置的攝像機的數量,因為決心可能只需要壹臺攝像機,記錄標誌。
再談到圖2,當虛擬結構是壹具骷髏,200方法在計算每個骨骼的三維位置,在第壹幀的第壹幀的三維位置計算的骨架。在firstframe骨的三維位置計算使用與骨相關的支持結構的三維位置,210步所示,隨著知識方面的支持結構,骨的長度和方向,這可能訪問inoptional壹步208。
例如,如果壹直圍繞肘部形成了剛性支持結構的三維位置計算,支持手腕周圍形成壹個剛性結構的三維位置被計算出來,然後對骨骼的三維位置,liesbetween肘部和手腕也可以計算使用肘部和手腕的支持結構只有骨的方向。
在實施方案中,經過計算,估計圍繞肘部形成壹個剛性或半剛性支持結構的三維位置時,圍繞計算wristhas形成壹個剛性或半剛性支撐結構的三維位置估計,然後,肘部和手腕的支持結構的長度和骨的方向知識可能使骨的三維位置的估計,在於要計算的肘部和手腕之間。
壹旦已在第壹幀的虛擬結構的三維位置計算,200重復計算的虛擬結構的三維位置,在第二幀的方法。要計算在支持secondframe結構的三維位置,虛擬結構的三維位置,從第壹幀到第二幀,可跟蹤。因此,200方法可以跟蹤運動的虛擬幀之間,當壹個虛擬的骨骼,可以定義themovement幀與幀之間的骨架結構。
圖4顯示了壹個流程圖,說明了壹個跟蹤每個可見的標記,從第壹幀到第二幀的方法400的壹個例子。如圖所示,4,410其中壹個明顯的標誌是壹個選中標記選擇方法400開始。接下來,在412,前幀到第壹幀為選中標記在第壹幀的運動矢量計算。
在此之後,在414,壹個選定的標記,在第二幀上的立場是基於與商標相關的運動矢量。可選,400的方法也可以使用運動模型數據來計算的估?計,或驗證theestimate。例如,如果運動模?型的研究表明,手臂不能在任何壹個特定的方向移動,那麽估計可以進行調整,忽視矛盾的數據和/或調整解決方案的全球最適合已知的限制。
壹個運動模型可以描述壹個演員的每個關節可移動如何與其他關節相關。例如,如果演員站在壹個位置,手臂向上移動,機會在下壹幀的手臂將是alimited職位數。因此,可以限制關節和/或四肢之間的相對運動的範圍。
416,空間中的壹個區域,選定的商標搜索,找到選定的商標,在第二幀,估計與商標相關的位置的基礎上,確定在第二幀中選定的標誌。當theposition和運動矢量標記是已知的,和已知的任何運動模型的限制,那麽該商標在第二幀的位置可以估算的。因此,可以限制搜索商標是預計將位於區域。
此外,如果走在支持結構的痕跡面前,所以,沒有什麽是看到其他演員在下壹幀,然後觀測可以扔出去。在這種情況下,壹個手臂的位置和議案?,壹個supportstructure標誌矢量連同議案模型數據這限制了運動,(如不能從壹個極端走向另壹個在壹個單壹的時間框架極端鞭),可以被用來生成估計在下壹幀的遮擋標誌的三維位置。
在第壹幀中每個可見的標記方法400每個支持結構。壹旦在第壹幀中的每壹個可見的商標已經被跟蹤,並確定在第二幀,每個支持結構的三維位置可以becalculated以同樣的方式在上文所述的第二幀。
壹旦在第二幀的虛擬結構的三維位置計算,動作捕捉系統可能確定的虛擬結構(例如,骨骼)從第壹幀到第二幀的運動是不自然的(例如,不滿足運動模型)。
如果底層結構的運動是自然的,那麽虛擬結構中的地位可能會被計算為第三幀,並在上面所述的方式繼續。另壹方面,如果虛擬結構的運動isunnatural,那麽運動模型方法可能被用來提供壹個較為合理的估計。
例如,假設,第壹次測試後,標記的位置是錯誤的,因為它是壹個標記,在年底的骨架不適合運動模型很好,或適合的地區之壹,但不是在另壹個。在這種情況下,這個過程是反復的地區不適合的運動模型很好。
此外,壹旦壹個序列已被重建,運動模型也可以用來清理錯誤。通過向後和向前的時間,幀可以被看作是壹個序列,以確認個人加速度作為asequence感。例如,抖動和其他的不太明顯的錯誤可以得到解決。
再談到圖1,如上所述,任何標誌著112可以完全在攝像機視圖的支持結構110。看到了壹個支撐結構110相機視圖超過112馬克之壹的優點是有anincreased相機將有壹個明確的說法至少有壹個商標112的可能性。然而,如果太112許多標記,可以看到在相機視圖(例如,超過四個標誌112在相機視圖中可見),然後跟蹤誤差可能moredifficult識別。
例如,假設壹個攝像頭,可以看到壹個標誌112,和單標記112被稱為是壹條腿。當單壹的標誌112是從壹幀到下,如果跟蹤標誌112在當前幀的腿是在下壹幀mistakenlyidentified,腿會錯誤地打開了近90.degree,容易犯的錯誤識別。
另壹方面,如果可以在視圖中看到五六標誌著112 112馬克在當前幀的腿被錯誤地確定在下壹幀,然後,而不是被關閉了近90.degree。因為是用壹個標誌112的情況下,muchsmaller錯誤是存在的。作為壹個結果,標誌著112在壹個視圖中,可以看到最好提供了每個支持結構110的曝光程度,所以,在跟蹤的不匹配,將很容易在重建過程中暴露。
例如,兩到三個標記112%攝像頭支持結構清楚地看到商標112之壹,與物業壹起,它有可能混淆時,跟蹤的可能性提高110標誌著從壹幀tothe 112下壹頁,但存在(錯誤標誌112是第二個框架是從第壹幀確定相應的標記112)時的混亂,錯誤是相當明顯的,可以很容易地檢測到後期處理。
支撐結構110放置在腰上可能不同於其他支持結構在許多超過3 112可從相機的任何位置的標記。然而,腰部是壹個獨特的領域,這是不太可能confusedwith別的的。只有壹個的腰,腰部周圍形成支撐結構110也是壹個非常不同的大小與大小有點類似的胳膊和腿,。
在壹些實施例中,只有壹臺攝像機,需要記錄在高速壹個人的運動三維掃描儀圖像,而在每幅三維掃描儀圖像的支持結構110標誌著112的位置跟蹤。當少於3個商標,支持structureare在壹幀中可見,110的支撐結構的三維位置,可以預計,這反過來驅動估計的基本骨架,必須。
即使沒有個人的支持結構110可以精確估計,通常是不夠的意見,唯壹地恢復它們都附著的基本骨架。當骨架不能唯壹確定的,統計數據可以用來對人的議案(從運動研究中派生),以選擇最有可能為下約束部分的位置。
所述的實施例可提供抗閉塞,與壹小部分由傳統的動作捕捉系統所需的相機(如20),這可能有兩個攝像頭,跟蹤每壹個點在壹個框架。