Das Workforce der Nice Bay College hat PhysMamba vorgestellt, ein innovatives KI-Framework zur Messung der Herzfrequenz und verwandter physiologischer Signale durch Gesichtsvideos. Diese wichtige Innovation in der Distant-Photoplethysmographie (rPPG) bietet eine berührungslose Methode zur Gesundheitsüberwachung, die neue Möglichkeiten für unmittelbare medizinische und Wellness-Anwendungen eröffnet.
PhysMamba unterscheidet sich von früheren rPPG-Methoden, die hauptsächlich auf Convolutional Neural Networks (CNNs) und Transformers basierten. Diese traditionellen Messmethoden hatten oft Schwierigkeiten, die wesentlichen zeitlichen Abhängigkeiten über große Entfernungen hinweg, die für die Herzfrequenzmessung entscheidend sind, genau zu erfassen, insbesondere bei längeren Videosequenzen. PhysMamba löst diese Hindernisse, indem es neben einer Twin-Stream-SlowFast-Architektur einen hochmodernen Temporal Distinction Mamba (TD-Mamba)-Block einführt. Auf diese Weise verarbeitet das Modell effektiv kurz- und langfristige zeitliche Merkmale und erhöht so seine Genauigkeit bei der Erkennung präziser physiologischer Signale. Sie können den Artikel lesen Hier.
Durch eine Reihe detaillierter Experimente mit Benchmark-Datensätzen, darunter PURE, UBFC-rPPG und MMPD, zeigte PhysMamba beeindruckende Fortschritte im Vergleich zu aktuellen Modellen. Dies führte zu geringeren Fehlerraten und einer höheren Genauigkeit bei der Herzfrequenzschätzung. Das modern Framework übertraf typische CNN- und Transformer-Modelle deutlich und conflict besonders effektiv in realen Situationen, die von Lichtschwankungen und Gesichtsbewegungen beeinflusst wurden.
Diese neue Model eines KI-Modells, das im CCBR 2024 vorgestellt wird, ist eine entscheidende Entwicklung in der nichtinvasiven physiologischen Überwachung. Das Forschungsteam hat der Code für PhysMamba auf GitHub und bietet Möglichkeiten für weitere Forschung und Entwicklung in diesem spannenden Bereich der Computervision und Gesundheitstechnologie.