Mein Versuch xCloud auf Hololens 2 zum laufen zu bringen

Mein Versuch xCloud auf Hololens 2 zum laufen zu bringen

Was macht ein Xbox Fanboy als erstes, wenn er ein Microsoft Produkt hat? Man probiert xCloud aus! Bis zum 21H1 Update war daran nicht zu denken, jetzt hat sich einiges geändert.

Nachdem bereits YouTube seit dem 21H1 Update flüssig läuft, kamen wir auf die Idee den Webclient von xCloud zu starten, da dieser ebenfalls WebRTC unterstützt. Die Vorstellung in der Bahn zu sitzen und dort mit der Hololens und einem Xbox Controller Halo Inifite zu zocken ist schon verdammt geil. Problem nach dem ersten Versuch waren allerdings neben den FPS die ab und zu droppten auch die Controller Eingaben. Leider wurden die Xbox Tasten im normalen Edge so interpretiert:

TasteReaktion
ALinksklick
BBackspace
MenuRechtsklick / AltGr

Zudem gibt es das Problem mit dem Fokus. Dieser liegt immer auf dem Objekt, auf das man hinschaut. Daher fungiert die Blickrichtung als Mauszeiger.

Die Hardware

Im ersten Versuch haben wir einen Kabel gebunden Controller von PDP verwendet. Da dieser allerdings USB-A hat, nutzen wir zusätzlich einen USB-C auf USB-C Adapter. Gleich als Tipp, dies sollte keine Dauerlösung sein, da man den USB-C Port mit dem Kabel auf Dauer nicht belasten möchte. Im späteren Verlauf konnte ich den Xbox Elite 2 Controller über Bluetooth verbinden.

Für meinen kompletten Versuchsaufbau nutzte ich:

  • Hololens 2 mit 21H1 Update
  • Xbox Wireless Elite 2 Controller
  • USB-C Powerbank
  • S10+ (LTE Hotspot für spätere Tests)

Software Lösungsansätze

Theoretisch gibt es nur wenige Möglichkeiten, die mehr oder weniger Effektiv sind, alle Vor & Nachteile mit sich bringen.

  • Controller Remapping
  • Visual Studio – Eigene WebView Variante
  • Unreal Engine / Unity Engine Application
  • Screen Mirroring über Smarpthone
  • Feedback Hub

Controller Remapping

Das Problem: Im Startmenü und klassischen Fenstermodus nutzt die Hololens die Controller Eingaben wie bereits oben beschrieben. Eine Änderung über die Windows Settings ist nicht möglich, daher das Default Remapping ist Windows Intern.

Die Lösung: Keine

Visual Studio – Eigener Webbrowser ohne Windows Remapping

Das Problem: Im Startmenü und klassischen Fenstermodus nutzt die Hololens die Controller Eingaben wie bereits oben beschrieben. Eine Änderung über die Windows Settings ist nicht möglich, daher das Default Remapping ist Windows Intern.

Die Lösung: Keine

Unreal Engine / Unity Engine

Das Problem: Im Startmenü und klassischen Fenstermodus nutzt die Hololens die Controller Eingaben wie bereits oben beschrieben. Eine Änderung über die Windows Settings ist nicht möglich, daher das Default Remapping ist Windows Intern.

Die Lösung: Keine

xCloud on Hololens 2

Feedback Hub

Derzeit sind die Controller nur in den entsprechenden Anwendungen benutzbar. Um alle WebRTC Standards aktiv nutzen zu können und um die Accessibility zu verbessern, müsste die Integration und Nutzung der Controller auch dort problemlos sein. Optimal wäre dabei, wenn Microsoft eine Option in den Settings lassen würde, um den Controller wie Default zu nutzen oder mit dem Hololens Remapping.

Um ihnen das Feedback zu hinterlassen, gibt es allerdings nur den Feedback Hub(MS Store) und Stackoverflow (in der Hoffnung Hernandez von MSFT reagiert.

Fazit

Auf lange Sicht sollte es möglich sein xCloud ohne weiteres auf der Hololens zu spielen, aber ob und wann das alles kommt ist eine Frage der Zeit. Es ist definitiv machbar, allerdings hängt alles von einem Treiber ab.