Rzeczywistość mieszana łączy świat wirtualny z rozszerzonym

Rzeczywistość mieszana to świat zwirtualizowany oglądany przez specjalne okulary (Head-Mounted Display, HMD), w którym obiekty z rzeczywistości są wirtualizowane w czasie rzeczywistym. Dzięki temu inne obiekty, już typowo wirtualne, mogą wchodzić z nimi w interakcję. Rzeczywistość mieszana różni się znacząco w swoim działaniu od rzeczywistości rozszerzonej oraz wirtualnej. W rzeczywistości rozszerzonej (Augmented Reality, AR) dodawane są cyfrowe informacje do otaczającej przestrzeni, ale w żaden sposób nie wchodzą one w interakcję z obiektami rzeczywistymi. Z kolei w wirtualnej rzeczywistości (Virtual Reality, VR) widziany obraz jest całkowicie cyfrowym tworem, a odpowiednie gogle sprawiają wrażenie trójwymiarowej rzeczywistości. Natomiast mieszana rzeczywistość stanowi połączenie AR i VR.

Projekt zrealizowany przez specjalistów Predica polegał na przeprowadzeniu prac badawczo-rozwojowych w celu stworzenia środowiska rzeczywistości mieszanej oraz weryfikacji możliwości jej zastosowania w aplikacjach użytkowych, w tym przede wszystkim służących do zarządzania przedsiębiorstwem. W trakcie tego projektu zrealizowano sześć przedstawionych poniżej zadań.

1. Stworzenie graficznego interfejsu użytkownika

Interfejs GUI użytkownika w aplikacji Predica jest odpowiedzialny za wyświetlanie elementów opisujących dany obiekt, wyróżnianie interaktywnych obiektów oraz prezentowanie opcji przy wyborze akcji. Pozwala użytkownikowi na łatwe identyfikowanie różnych elementów i wchodzenie w interakcję z nimi. Zadbano o to, aby wirtualne obiekty wyróżniały się w stosunku do rzeczywistego obserwowanego otoczenia, dlatego interfejs został wykonany wraz z zaimplementowanymi modelami 3D. Przy jego projektowaniu uwzględniono wsparcie dla osób z różnymi ograniczeniami, takimi jak wada wzroku (np. daltonizm) czy niepełnosprawność ruchowa, w tym ograniczony zakres ruchu prawej ręki.

2. Opracowanie środowiska hologramowego

Środowisko hologramowe, bazujące na silniku Unity, ma na celu generowanie rzeczywistości mieszanej poprzez rozpoznawanie obiektów rzeczywistych widzianych przez okulary HoloLens i nakładanie na nie obiektów wirtualnych. Konieczne było przeprowadzenie odpowiednich badań oraz opracowanie modelowej architektury do tworzenia hologramów 2D i 3D oraz operowania nimi, przesyłania ich pomiędzy różnymi urządzeniami HoloLens, odwzorowywania przestrzennego otoczenia, wykorzystywania i obsługi kamery, wdrożenia mechanizmu rozpoznawania twarzy, odwzorowania przestrzennego dźwięku oraz zachowania stanu utworzonych obiektów. Ostateczny rezultat pozwolił na interakcję z wirtualnymi elementami w rzeczywistym środowisku, co otworzyło możliwości zastosowania tej technologii w różnych dziedzinach, jak architektura czy programowanie.

3. Przygotowanie skryptów i narzędzi automatyzujących

Ważnym aspektem projektu było utworzenie procesów, czynności i mechanizmów, które miały automatyzować budowanie rozwiązania oraz jego wdrażanie. Strategicznym celem była minimalizacja czasu potrzebnego na implementację go we własnym środowisku (np. do testów), jak i u klienta. Istotne było także ograniczenie czasu potrzebnego na dostosowanie rozwiązania do potrzeb klienta, w tym takie operacje jak osadzanie logotypów, ikonografii czy motywów kolorystycznych. Założono, że rola osoby wdrażającej będzie ograniczona do minimum (jedynie uruchomienie i podanie parametrów), a sam proces będzie podłączał się do odpowiedniej sieci i nadawał uprawnienia, jeśli były przewidziane. Na potrzeby tego zadania skonfigurowano i udostępniono serwer TFBS, który współpracuje z Team Foundation Version Control, VisualStudio oraz Unity. Komunikuje on status oraz ewentualne problemy programistom za pomocą poczty elektronicznej. Dodatkowo przygotowano dokument dotyczący konfiguracji sieci (porty, DNS) wymaganej do działania aplikacji, a wewnętrzna sieć została odpowiednio dostosowana do prac rozwojowych aplikacji.