PersonAI|從人體關鍵點到運動計次,開發 AI 智能健身教練
專案: PersonAI(大學畢業專題團隊作品)
主要技術: Next.js、TypeScript、Python、FastAPI、MediaPipe Pose、WebSocket、PostgreSQL
個人參與: PM、組長、主要程式開發與系統架構整合
為什麼會選擇 AI 智能健身教練?
其實當初在決定畢業專題題目的時候,我們也考慮到這幾年 AI 技術的發展趨勢。
因為現在 AI 相關的專題真的越來越多,所以當時也會覺得,如果做的東西跟 AI 完全沒有關係,好像在專題展示或競賽上就比較沒有特色。
不過,我也不希望只是為了使用 AI,而硬找一個題目。
剛好那段時間,我自己、組員以及身邊的一些朋友,都陸續開始接觸健身。
所以我就在想,能不能把 AI 跟我們平常真的會接觸到的事情結合起來?
後來我提出「AI 智能健身教練」這個方向,組員也覺得可以嘗試看看,於是我們就決定以 PersonAI 作為畢業專題。
為什麼不做一般的健身紀錄 App?
其實市面上已經有很多健身紀錄 App 了。
記錄今天做了哪些動作、幾組、幾下,或是運動了多久,這些功能都有不少成熟的產品。
我當時就在想,如果我們只是再做一個差不多的東西,那使用者為什麼要特別選擇 PersonAI?
而且就我自己的觀察,健身最難的事情之一,往往不是開始,而是怎麼持續下去。
所以比起單純記錄運動數據,我更希望使用者可以在運動的過程中,就直接跟系統產生互動。
例如透過相機辨識動作、協助計算次數、提供一些姿勢提示,甚至再加入遊戲化的功能。
我覺得這樣的使用體驗會比較不一樣,也希望能讓使用者更有動力持續使用。
當然,這只是我們當初對產品方向的期待,並不代表已經透過研究證明它能提高運動持續率。
從指導教授的建議,開始研究 MediaPipe
至於為什麼會選擇 MediaPipe,其實一開始是指導教授提供給我們的建議。
老師當時提到,可以研究看看 MediaPipe 這類人體姿態辨識技術,評估能不能應用在我們的專題上。
後來我們進一步研究,發現 MediaPipe Pose 可以從影像中取得人體關鍵點,而這些資料可以再拿來計算關節角度,分析使用者目前的動作。
所以我們就開始嘗試把姿態辨識、動作計次,以及即時回饋結合在一起。
不過這裡有一個我覺得需要分清楚的地方。
MediaPipe 負責的是人體姿態偵測,並不是直接幫我們判斷完成了幾次深蹲。
像是動作階段、計次條件,以及部分姿勢錯誤的判斷,還需要我們自己另外設計程式邏輯。
這也是後來整個系統開發的核心之一。
我在專題裡面負責什麼?
在 PersonAI 這個畢業專題中,我主要擔任 PM 和組長,同時也負責大部分的程式開發與系統架構整合。
因為是團隊專題,所以大家的工作其實不太一樣。
其他組員比較偏向資料蒐集、研究,以及提供一些功能上的想法和建議;而我主要負責把這些資訊整理起來,再思考要怎麼轉換成實際可以使用的功能。
技術方面,像是 Next.js 前端、UI/UX、FastAPI 後端、WebSocket、MediaPipe、FSM,以及資料庫之間的整合,也大多是由我來研究與實作。
對我來說,這個專題比較特別的地方,就是我需要同時從專案管理和程式開發的角度去思考事情。
不只是某個功能要怎麼寫,還包括整個系統應該怎麼分工、資料要怎麼流動,以及組員提出的想法究竟要怎麼實際做出來。
雖然我負責了比較多技術實作,但 PersonAI 仍然是團隊共同參與的畢業專題,組員提供的研究與討論也是整個專題的一部分。
從攝影機到即時運動分析
PersonAI 的核心流程,是從瀏覽器取得人體姿態,再把需要的資訊交給後端進行分析。
目前前端使用 Next.js,透過瀏覽器相機取得影像,並使用 MediaPipe Pose Landmarker 偵測人體姿勢。
MediaPipe 會提供 33 個人體關鍵點,包含座標與可見性等資訊。
前端再將這些資料整理成訊息,透過 WebSocket 傳送到 FastAPI 後端。
後端會根據這些關鍵點,進行座標平滑、關節角度計算、動作階段判斷,以及部分姿勢錯誤偵測,最後再把分析結果回傳前端。
使用者就可以在訓練畫面中看到目前的動作次數、運動階段、部分關節角度和即時提示。
為什麼要分成前端和後端?
這個架構跟直接在前端完成所有工作不太一樣。
目前的做法,是讓瀏覽器負責相機與 MediaPipe 姿態偵測,而 FastAPI 負責後續的運動分析邏輯。
這樣後端接收到的是人體關鍵點,而不是原始相機影片。
除了讓兩邊負責的工作比較明確,也讓動作分析邏輯可以集中在後端處理。
當然,這樣也需要解決前後端的即時通訊問題。
例如 WebSocket 中的每個姿態訊息都有自己的 frame_id,回傳結果也需要帶上對應的識別值。
前端才能判斷哪些資料比較新,避免較舊的分析結果覆蓋後面的運動狀態。
另外,如果相機暫時偵測不到人體,也不能假裝目前的姿勢仍然正常,而是需要讓分析流程知道這個影格缺少有效姿態。
這些事情看起來比較偏底層,但其實都會影響使用者在畫面上看到的即時回饋。
怎麼讓系統知道完成了一次深蹲?
除了人體姿態偵測之外,PersonAI 另一個重要部分,就是動作計次。
我們使用有限狀態機,也就是 FSM,來處理不同運動的動作階段。
例如深蹲可以拆成站立、下降、底部,再回到站立等階段。
系統會根據關節角度與狀態轉換條件,判斷使用者目前進行到哪個階段,而不是只要膝蓋一彎曲,就直接加一次。
另外,因為人體關鍵點在實際偵測時可能會有一些抖動,所以後端也加入 One-Euro Filter,讓座標變化可以比較平滑。
FSM 則使用不同的狀態門檻與遲滯條件,減少角度剛好在門檻附近變動時,造成狀態不斷切換。
不過,這些方法都只是讓判斷邏輯更有結構,並不代表系統能在所有姿勢或拍攝角度下正確計次。
坐在椅子上,竟然也被判斷成深蹲
在開發 PersonAI 的過程中,我自己有一個蠻在意的事情,就是測試時不能只按照正常的方式操作。
因為實際使用系統的人,不一定會完全按照我們預期的方式運動。
所以有時候,我就會故意做一些比較奇怪的動作,看看系統會不會產生不合理的判斷。
之前在測試深蹲計次的時候,我就發現,即使只是坐在椅子上活動膝蓋,系統也有可能把它判斷成完成了一次深蹲。
這是因為當時的判斷邏輯主要依賴膝蓋關節角度的變化。
但仔細想想,膝蓋彎曲不代表使用者真的完成了一次深蹲。
如果只看角度,就可能把一些根本不是深蹲的動作也計算進去。
重新調整計次條件
發現這個問題之後,我們就需要重新思考,除了膝蓋角度之外,還有哪些資訊可以協助確認使用者真的完成了動作。
後來在深蹲 FSM 中,也加入了站姿基準、髖部下降幅度,以及回到站姿附近才能完成計次的條件。
這些條件的目的,就是不要讓系統只靠膝蓋角度變化來認定完成深蹲。
除此之外,也加入了合成關鍵點的回歸測試,確保原本發現的誤計情境有受到測試保護。
修正完成後,我也有再進行簡單的實際操作測試,包含坐在椅子上活動膝蓋的情況。
當時沒有再重現原本的誤計問題,初步看起來確實有所改善。
不過,因為專題開發時間有限,沒有辦法針對大量不同使用者、姿勢與拍攝環境持續測試,所以目前還不能說這個問題已經完全解決。
後續仍然需要更多真人測試,才能確認目前的判斷門檻是不是足夠穩定。
我覺得測試不能只驗證正常情況
這次深蹲誤計的經驗,其實也反映了我自己對測試的一個想法。
我覺得開發者不能只是確認功能在預期情況下可以正常執行。
有時候反而需要站在使用者的角度,想想看他們會不會用一些我們沒有預想到的方式操作。
尤其 PersonAI 這種需要辨識人體動作的系統,每個人的姿勢、動作習慣、拍攝距離和相機角度都可能不一樣。
就算程式邏輯沒有出錯,也不代表它的判斷一定符合真實情況。
所以比起單純讓系統可以計次,我也希望它能逐漸學會辨別什麼時候不應該計次。
對我來說,這也是後續開發中需要繼續改善的部分。
不只是即時分析,還要把訓練紀錄留下來
除了即時運動分析,PersonAI 也包含帳號、身體資料、訓練紀錄與統計功能。
使用者完成訓練後,可以保存動作類型、次數、時間,以及相關的運動資料,再從儀表板與歷史頁面查看紀錄。
其中,熱量估算也是需要特別處理的一個地方。
因為熱量並不是透過相機直接量測出來的,而是依照運動類型、體重和相關公式進行估算。
如果使用者沒有提供體重,或某些資料暫時無法取得,我們就不能直接把未知數值當成零。
因此,在後續的前後端整合中,也調整了部分資料欄位,讓系統可以明確表示「目前沒有足夠資訊進行估算」。
我覺得這種資料處理方式雖然看起來比較不起眼,但對實際使用來說很重要。
因為系統不能只是把畫面填滿數字,還需要讓使用者知道哪些資料真的有取得,哪些只是估算,哪些目前還無法確認。
目前做到哪裡,還有哪些限制?
PersonAI 目前已有深蹲、伏地挺身的姿態分析,以及部分姿勢提示、運動紀錄與資料管理功能。
開發過程也加入了不少測試,包括關節角度、One-Euro Filter、FSM、WebSocket 訊息,以及姿態缺失和深蹲誤計等案例。
但這些測試有不少是使用合成關鍵點、Mock API 或受控的測試情境。
即使自動化測試通過,也不能直接把它當成真人運動時的計次準確率。
尤其像不同身形、拍攝角度、人體被遮擋,或是使用者暫時離開畫面等情況,都還需要更多實際驗證。
姿勢錯誤提示也是依照目前的關鍵點與規則進行判斷,並不等於專業教練評估,更不能當成醫療或運動安全保證。
所以目前我比較傾向把 PersonAI 視為一個持續開發與驗證中的運動輔助系統,而不是已經完成所有準確度驗證的成熟產品。
這次專題帶給我的經驗
PersonAI 跟我之前開發的一些個人專案不太一樣。
因為這次除了程式開發之外,我還需要負責專題管理、團隊溝通,以及整個系統的架構整合。
從一開始提出題目、跟組員討論方向,到後來研究 MediaPipe、規劃前後端架構,再慢慢把動作辨識、計次與訓練紀錄串接起來,其實是一個蠻完整的開發過程。
而且這個專題也讓我發現,實際開發跟一開始想像的功能,有時候會有不少差距。
像深蹲誤計的問題,就是系統可以正常執行,但實際判斷結果不一定合理的例子。
所以除了讓功能可以運作,我也需要一直思考,這樣的設計是不是真的符合使用者的需求。
對我來說,這次專題很重要的一個收穫,就是把團隊的想法、研究資料,以及不同技術之間的關係,慢慢整合成一套可以實際操作的系統。
當然,PersonAI 還有很多可以改善的地方。
不管是姿態辨識的穩定性、動作計次的判斷方式,還是未來希望增加的互動與遊戲化功能,都還有繼續研究的空間。
但從最初只有一個題目,到現在已經有前端、後端和實際運動分析流程,我覺得這次畢業專題確實讓我累積了不少系統整合與開發經驗。