Google釋出MediaPipe裝置上即時姿勢追蹤功能BlazePose

Google在跨平臺人工智慧工作管線框架MediaPipe,推出採用最新技術的身體姿勢追蹤功能BlazePose,能夠在手機上即時精確地定位身體姿勢關鍵點,可廣泛用於運動應用程式上,偵測健身或是瑜伽等姿勢。

Google提到,量測影片中人物的姿勢,對於瑜伽、舞蹈和健身等應用程式,是非常重要的能力,但要追蹤這些運動的姿勢有其困難度,像是瑜伽就有數百種體位法,動作自由度皆不同,而且經常有遮蔽的情況發生,也就是身體或其他物體擋住攝影機拍攝四肢。

現在用於追蹤姿勢的標準模型是以COCO拓樸結構做為基礎,但主要還是必須仰賴桌上型電腦強大的運算能力,而Google現在釋出的人體姿勢感測方法BlazePose,是利用機器學習推測人體33個2D特徵點,在單個影格標記人體姿勢,除了比COCO拓樸結構更精確之外,BlazePose可以利用行動裝置的CPU進行即時推測,運用GPU甚至可以達到超即時效能,除了姿勢之外,還能同時追蹤臉部表情和手部姿勢。

COCO拓撲可標記出軀幹、四肢和臉部17個特徵點,但是這些點最多僅能定位出腳踝和手腕,缺乏手和腳的大小和朝向等資訊,因此使得在健身或是舞蹈等應用程式功能受到限制,Google提到,能夠提供越多特徵點,運動應用程式也就能夠提供更多關鍵功能,而BlazePose可以提供33個人體特徵點的拓樸,比COCO拓樸還要多了16個,BlazePose是COCO、BlazeFace和BlazePalm拓樸的超集合,因此開發者能夠從運用表情、手部和身體姿勢,決定一致的身體語義。

要能夠即時完成包含姿勢偵測和追蹤模型的工作管線運算,每個元件執行的速度必須非常快,每影格只有幾毫秒的處理時間。且為了要追蹤瑜伽大關節角度的動作,Google採用了特殊的維特魯威人方法,透過連接臀部和肩膀的中點,算出人物的中心、旋轉和尺寸,可以追蹤非常複雜的瑜伽姿勢。

Google展示了BlazePose的應用情境,包括深蹲以及伏地挺身,該應用可以自動統計用戶資料,驗證技術和訓練品質。目前Google發布了可在Android、iOS和Python上執行的MediaPipe BlazePose,而Google之後也會在即將發布的新版機器學習開發套件ML Kit中,提供姿勢偵測API,供更廣泛的行動裝置開發社群使用。

原文來自 iThome Online