Introdução ao Head-Mounted Display

O Head-Mounted Display (HMDs) com capacidade de prover Realidade Virtual (VR, do inglês Virtual Reality) e/ou Realidade Aumentada (AR, do inglês Augmented Reality) é um tipo de dispositivo que começou a ter destaque nos últimos anos. HMDs de realidade virtual (VR HMDs) são caracterizados pela imersão completa do usuário em um mundo virtual, como mostra a Figura 1-a. Oculus Rift, Samsung Gear VR e Google Cardboard são exemplos de VR HMDs. Enquanto isso, HMDs de realidade aumentada (AR HMDs) são caracterizados pela exibição de informações e objetos virtuais sobrepostos no mundo real, como mostra a Figura 1-b. Microsoft Hololens, Daqri Smart Helmet, Metavision Meta 2 e Magic Leap são exemplos de AR HMDs [1].

Figura 1: (a) HMD de Realidade Virtual [2]; (b) HMD de Realidade Aumentada [3].

Através desse grande surgimento e da futura popularização dos dispositivos, essas tecnologias tendem a representar um grande mercado no futuro, com previsão de atingir 120 bilhões de dólares em receitas em 2020, como mostra a Figura 2.

Características do AR Head-Mounted Display

Apesar do surgimento de diversos dispositivos, dois grandes problemas impedem os AR Head-Mounted Displays de atingirem o mercado mainstream: os custos extremamente altos (entre 700 e 3000 dólares para dispositivos de uso geral e acima de 5000 dólares para dispositivos de uso industrial); e os problemas de experiência de usuário, tais como conflito entre vergência e acomodação, campo de visão reduzido, a alta latência na renderização das imagens virtuais e a dificuldade de calibração dos Head-Mounted Displays [1].

O uso de materiais de baixo-custo e a criação de aplicações com capacidade de rastreamento do olho e da direção de olhar são formas de diminuir o custo do Head-Mounted Display e de desenvolver um mecanismo para melhorar a experiência de usuário do Head-Mounted Display.

O rastreamento do olho, por exemplo, permite a criação de diversas aplicações, como: detecção da direção do olhar; detecção da atenção do usuário; calibração do usuário de Head-Mounted Display; e interação do usuário. Além disso, a detecção do centro do olho do usuário, é, de forma geral, o primeiro passo na implementação de algoritmos de rastreamento de direção de olhar utilizados para calibração de usuários de Head-Mounted Display e para o desenvolvimento de métodos de interação do usuário. Desta maneira, a localização do centro do olho é o primeiro passo para criação de aplicações capazes de melhorar a experiência do usuário em Head-Mounted Displays.

 

 Desenvolvimento do Protótipo

Pensando nisso, e com intuito de minimizar os problemas encontrados, nós desenvolvemos um protótipo de um AR Head-Mounted Display que possui capacidade de detecção do centro do olho e é baseado em smartphone e em outros materiais de baixo-custo, como: um combinador ótico, uma webcam e uma plataforma de hardware capaz de executar algoritmos de reconhecimento de padrões e processamento digital de imagens [1]. A Figura 3 mostra o protótipo desenvolvido.

O protótipo é constituído por dois módulos principais: o módulo de Display de Realidade Aumentada (evidenciado pelo círculo verde da Figura 3) e módulo de sensor inteligente (presente dentro do capacete de segurança, que está evidenciado pelo círculo azul da Figura 3) [1]. O custo total do protótipo é inferior a 100 dólares (sem considerar o preço do smartphone) e a maior parte desse valor é relacionado à unidade de processamento que compõe o módulo de sensor inteligente [1].

 

Módulo de Display de Realidade Aumentada

O módulo de Display de Realidade Aumentada é responsável por prover a visualização da realidade aumentada ao usuário [1]. Conforme é mostrado na Figura 4, o smartphone é responsável por gerar imagens tridimensionais de objetos virtuais e por projetar essas imagens no combinador ótico (beam splitter). O combinador ótico é responsável por combinar os objetos virtuais, gerados pelo smartphone, com os objetos reais, presentes no mundo real. Sendo assim, o smartphone e o combinador ótico são responsáveis por prover a visão de Realidade Aumentada ao usuário e, desta forma, constituem o módulo de Display de Realidade Aumentada [1].  O protótipo do módulo de Display de Realidade Aumentada é mostrado na Figura 5.

O funcionamento do combinador ótico em conjunto com o smartphone é exemplificado pela Figura 6.

 

Módulo de Sensor Inteligente

O módulo de Sensor Inteligente é responsável por executar algoritmos de processamento de imagens e reconhecimento de padrões [1]. No protótipo foi avaliado um algoritmo de detecção dos centros dos olhos do usuário (rastreamento dos olhos) baseado no algoritmo proposto por Valenti et al [5][6].

Nós tivemos que adaptar o algoritmo para funcionar com o Head-Mounted Display, já que a versão original do algoritmo não apresentou um bom desempenho nesse cenário. Foram desenvolvidos duas versões do algoritmo: uma sequencial e outra paralela. Ambas versões foram desenvolvidas utilizando Python e OpenCV e foram testadas em diferentes plataformas de hardware. A Figura 7 exemplifica as etapas do algoritmo. Uma breve descrição do algoritmo proposto por Valenti et al [5][6] é mostrada a seguir.

Na etapa 1, o frame é capturado e a imagem é convertida em escala de cinza. Na etapa 2, é recortada a região de interesse, que contém os olhos do usuário. Na etapa 3, são calculadas as curvas de nível de luminosidade. Na etapa 4, são calculados os centros de cada uma das curvas de nível de luminosidade. Na etapa 5, é aplicado o algoritmo Mean-Shift para encontrar as regiões (uma para cada olho) com a maior densidade de centros. Na etapa 6, são estimados os centros dos olhos do usuário, a partir dos centros da regiões de maior densidade encontradas na etapa anterior.

No total, foram testadas quatro plataformas de hardware para função de unidade de processamento do módulo de Sensor Inteligente: Intel Edison, Raspberry Pi 3 Model B, Wandboard Quad, Cubieboard. A Figura 8 mostra a placa Intel Edison costurada dentro da estrutura do capacete.

 

Avaliação de Desempenho

As plataformas foram avaliadas quanto ao desempenho em frame por segundo (FPS) ao executar o algoritmo de localização do centro do olho e quanto aos requisitos de dispositivos vestíveis, como baixo peso e tamanho compacto. Os resultados de desempenho são mostrados na Figura 9.

De acordo com Al-Rahayfeh et al.[7], o desempenho do algoritmo de localização do centro do olho é considerado como bom caso seja superior a 2 FPS em caso de movimento lento do olho ou superior a 4 FPS em caso de movimento rápido do olho. Desta forma, o desempenho obtido na Figura 9, mostra que todas as plataformas de hardware testadas, exceto pela Cubieboard, têm poder computacional suficiente para executar o algoritmo de detecção do centro do olho e ainda receber novas aplicações [1].

 

Considerações Finais

Foi apresentada uma avaliação de um protótipo de um AR Head-Mounted Display de baixo-custo com capacidade de localização do centro do olho. O protótipo foi construído com materiais de baixo-custo e custo final é inferior a 100 dólares. Uma câmera apontada para os olhos do usuário é utilizada para estimar o centro de cada olho do usuário através de um algoritmo de processamento de imagens. O algoritmo foi avaliado em quatro plataformas de hardware diferentes. A Intel Edison apresentou o melhor desempenho, considerando os requisitos de dispositivos vestíveis e de desempenho em FPS. Como trabalho futuro, planejamos implementar o algoritmo utilizando outras linguagens de programação (C ou C++), adicionar novas funcionalidades e avaliar o desempenho em diferentes plataformas de hardware. Também pretendemos desenvolver nossa própria aplicação de realidade aumentada, possibilitando uma integração completa entre todos os módulos do protótipo.

Esse texto foi baseado no trabalho “Towards a Low-Cost Augmented Reality Head-Mounted Display with Real-Time Eye Center Location Capability” [1] desenvolvido no Laboratório Imobilis e publicado no SBESC 2016.

 

Referências Bibliográficas:

[1] D’ANGELO, Thiago; DELABRIDA, Saul; OLIVEIRA, Ricardo A. R. e LOUREIRO, Antonio A. F. “Towards a Low-Cost Augmented Reality Head-Mounted Display with Real-Time Eye Center Location Capability”. VI Brazilian Symposium on Computing Systems Engineering (SBESC 2016). Novembro, 2016.

[2] PULO DUPLO. Entrando na realidade virtual: requisitos para Oculus Rift. 2015. Disponível em: <http://puloduplo.com.br/entrando-na-realidade-virtual-requisitos-para-oculus-rift/>.

[3] ARAUJO, Bruno. ‘Minecraft’ ganha vida com realidade virtual mista das HoloLens. G1 – Tecnologia e Games. 2015. Disponível em: <http://g1.globo.com/tecnologia/games/e3/2015/noticia/2015/07/minecraft-ganha-vida-com-realidade-virtual-mista-das-hololens-g1-testou.html>.

[4] DIGI-CAPITAL. Augmented/Virtual Reality revenue forecast revised to hit US$120 billion by 2020. 2016. Disponível em: <http://www.digi-capital.com/news/2016/01/augmentedvirtual-reality-revenue-forecast-revised-to-hit-120-billion-by-2020/>.

[5] VALENTI, R. e GEVERS, T. Accurate eye center location through invariant isocentric patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol 34. no. 9. Setembro, 2012.

[6] VALENTI, R. e GEVERS, T. Accurate eye center location and tracking using isophote curvature. IEEE Conference on Computer Vision and Pattern Recognition, 2008 (CVPR 2008). Junho, 2008.

[7] AL-RAHAYFEH, A. e FAEZIPOUR, M. Enhanced frame rate for real-time eye tracking using circular hough transform. IEEE Long Island Applications and Technology Conference 2013 (LISAT 2013). Maio, 2013.