Schlafanalyse mit der Azure Kinect

Seit der Anschaffung meiner ersten Kinect überlege ich, ob und wie gut man damit den eigenen Schlaf analysieren kann. Mit der Azure Kinect ist das ganze ja noch einfacher geworden und seit dem liegt dieses Projekt auf meinem Ideenboard.

Im Download Paket der Azure Kinect auf Github ist neben dem K4A Viewer auch der Recorder mit dabei. Klingt einfach, ist es aber nicht. Denn nach meinem ersten Versuch bin ich auf einige Probleme gestoßen.

Aus Gewohnheit von meiner damaligen Logitech Webcam, die seit Corona einen neuen Besitzer hat, habe ich einfach die Aufnahme gestartet und bin schlafen gegangen. Am nächsten Morgen war mein PC, mit dem ich aufnahm, aus.

Der Grund warum mein PC aus war, war nicht ein vergessener Energiesparmodus, sondern dass die Aufnahmedatei über 600 GB groß war und die SSD mit Windows auf den letzten Byte gefüllt war. Über ein externes Gerät habe ich dann ein paar Daten entmüllt, sodass ich den PC wieder hochfahren konnte und die Datei anschauen konnte. Es waren nur wenige Stunden gecaptured.

Das Problem sind klar die Einstellungen. Mit einer Auflösung von 2160p, 30 FPS mit BRGA als NFOV Unbinned konnte es nur so enden.

Für meine stümperhafte Analyse benötige ich ja eigentlich keine Sekunden genauen Details. Also habe ich die Einstellungen auf 720p mit 5 FPS reduziert. Doch weiterhin bleibt das Problem der unkomprimierten Daten. Knappe 8h Aufnahme kommen da immer noch auf 4 GB, aber das ist vollkommen in Ordnung, da die Datei mehrschichtig ist. Zudem wäre die Speicherung in MPEG fragil. Eine korrupte Stelle oder eine unsaubere Beendigung und die Datei ist unbrauchbar.

Ein weiteres Problem ist die Überblendung durch die Field of View im Narrow Modus. Auf Distanz ist diese durchaus hilfreich. Ist man aber zu nah an der Kamera, ist diese hinderlich. Das macht sich vor allem bei entfernten Dingen gut, aber nahes wird überblendet. Die Lösung ist hier WFOV (Wide Field of View) der für einen breiteren Radius gut ist.

Eine Vergleichsübersicht aller Modi habe ich mal hier erstellt, damit man sieht, wie es aussieht in der Reihenfolge: NFOV Binned (links oben), NFOV Unbinned (rechts oben), WFOV Binned (links unten) und WFOV Unbinned (rechts unten).

Durch die Optimierung dieser weiteren Einstellung ist das Ergebnis endlich tauglich.

Jetzt gibt es noch diese eine Einstellung "Passives IR". Was passiert bei dem Entfernen der aktiven Unterstützung von Infrarot? Das Ergebnis wird griselig und taugt sehr wenig.

Im Grunde wissen wir nun, wie wir aufnehmen können, aber das geht nicht mit dem Viewer, sondern mit dem Recorder. Allerdings ist das nur ein CLI Tool und kein UI Tool. Und hier fangen die ersten Probleme an. Zu aller erst ist die LED nicht deaktivierbar wie beim Viewer. Das ist äußerst störend, man möchte ungern das eine weiße helle LED einem direkt ins Gesicht leuchtet. Aber viele Optionen werden nicht mehr umgesetzt, da die Entwicklung, zumindest öffentlich, vor 2 Jahren eingestellt wurde.

Das ist mein Befehl:

Ganz einfach, in der Zwischenzeit gab es soviele Fortschritte, dass es einfach irrelevant geworden ist. Man könnte eine eigene Anwendung schreiben mit Bewegungserkennung und Schnarch (Geräusche) Erkennung, einer richtigen Analyse und nicht nur eine Aufnahme. Aber es lohnt sich nicht wirklich. Wenn man sich nur aus dem Video die wichtigsten Positionsänderungen mit Bildern sichert, sieht genug, um selbst recherchieren zu können.

Seit 2022 hat sich auch im Bereich KI viel getan, wobei die Objekterkennung auch schon vorher sehr aktuell war. Theoretisch würde jede normale Webcam erreichen. Aber dann hätten wir das Problem mit der Nachtsicht durch das fehlende Infrarot. Außer, man schläft mit Licht.

Nachdem ich herausgefunden habe, dass es ein identisches Projekt bereits auf professioneller Ebene durchgeführt wurde, habe ich mich entschlossen meins nicht zu vertiefen. Diese Arbeit wurde vom Ministry of Science, ICT and Future Planning (MSIP) in Korea unterstützt und im Rahmen des Convergence Information Technology Research Center (C-ITRC) unter der Projektnummer IITP-2015-H8601-15-1009 realisiert. Das Projekt stand unter der Aufsicht des Institute for Information & communications Technology Promotion (IITP), einer führenden Organisation, die sich der Förderung der Informations- und Kommunikationstechnologie widmet. Ein herausragendes Ergebnis dieser Forschung, die Analyse von schlafstörenden Faktoren unter Verwendung von Kinect-Sensoren, wurde von Lee J.-H., Yum H.-S., Park D.-S., Hong M. im Rahmen des International Symposium on Wellness Technology and Service for Future Life Care (Wellness '14) im Jahr 2014 vorgestellt. Diese Entdeckung, dokumentiert in einer Veröffentlichung, die Sie unter diesem Link finden können, zeigte mir, dass mein Projekt bereits von Experten mit umfangreichen Ressourcen und Fachkenntnissen umgesetzt wurde. Diese Erkenntnis war sowohl ernüchternd als auch inspirierend, da sie die Bedeutung und den Einfluss meiner eigenen Forschungsinteressen bestätigte.

Allerdings bestätigen die dortigen Erkenntnisse meine rudimentären Ergebnisse.