Arquitetura do Sistema
Como a arquitetura de um sistema de RA depende de caso para caso, dá-se o exemplo de uma aplicação académica de RA, que utiliza marcas.
O utilizador começa por analisar os códigos QR com o seu dispositivo e é imediatamente enviado um pedido para a Vulforia Cloud Target Recognition System, ao qual é retornado a respetiva metadata e por sua vez mostrado no dispositivo do utilizador a RA pretendida.
Codificação
Codificação de vídeo
Ao codificar um vídeo, é necessário passar por quatro etapas de compressão até que se chegue à compressão de vídeo ideal. A imagem abaixo ilustra todo o processo de codificação.
Começa-se por remover a informação redundante que não é percetível. Para tal recorre-se à chroma subsampling, pelo facto de o olho humano ser mais sensível à luminância que a crominância. De seguida remove-se a redundância espacial recorrendo à DCT. A redundância espacial em cada frame não se limita apenas a cada MB e como tal surge a necessidade de explorar a redundância espacial entre MBs. H.264 explora esta redundância através de um método designado por Intraprediction. Seguidamente, elimina-se a redundância temporal, que devido à sua complexidade é o estágio onde mais tempo é consumido. Através da comparação do frame de referência com o frame atual, são criados vetores de movimento para cada MB que por sua vez resultam na criação de resíduos. Assim, apenas os vetores de movimento e resíduos são transmitidos, em oposição à totalidade do frame. Por último é removida a redundância estatística através de codificação entrópica.
Restrições impostas ao codec
Sabendo como funciona o processo de codificação de vídeo é agora necessário ter em atenção as restrições impostas pelo dispositivo ao codec. A codificação de vídeo é uma tarefa muito exigente em termos de complexidade e, por muito capazes que os dispositivos móveis sejam hoje em dia, estes continuam a ter certas limitações a nível da codificação de vídeo para aplicações de RA. Deste modo, o codificador de vídeo deve respeitar certas restrições para que seja compatível com as aplicações de RA. Primeiramente, deve haver um compromisso de complexidade. Devido há capacidade limitada das baterias dos dispositivos móveis, o codec não deve ser desnecessariamente complexo, para não atingir consumos de bateria demasiado elevados. Também é necessário ter em conta o poder computacional limitado do dispositivo, o que pode ser um constrangimento para um codec standard. Por último, o codec deve ser rápido o suficiente para que consiga providenciar ao utilizador o vídeo a tempo real.
MPEG-A Parte 13
O MPEG-A Parte 13 é um codec que satisfaz todos estes requisitos e, por isso mesmo, é comummente utilizado. Abaixo encontra-se a tabela com as ferramentas para cada tecnologia.
Visualização
Hoje em dia a forma mais comum de visualizar conteúdos de RA é através de dispositivos móveis, uma vez que estes estão presentes no dia-à-dia de todos. Em geral o conteúdo disponibilizado para dispositivos móveis apresenta-se sob a forma de aplicações. Estas exploram a utilização das câmaras em conjunto com mecanismos de reconhecimento de imagem para sobrepor os conteúdos artificiais à realidade.
Olhar para um ecrã está longe de ser a experiência que melhor se aproxima da realidade e para colmatar esta lacuna existem Head-Mounted Displays (HDM). Os HDM, como o nome indica, são dispositivos de visualização que são usados na cabeça, disponibilizando assim, ao utilizador uma forma mais natural de navegar o ambiente criado. Estes HDM possuem, para além de ecrãs, sensores (acelerómetro, giroscópio, câmaras, etc) por forma a adaptarem a imagem mostrada ao movimento da pessoa. Num mar de óculos e dispositivos HDM o Hololens destacam-se por incorporam a tridimensionalidade nas imagens virtuais que apresentam, aproximando-se assim da holografia.
Existe também o interesse de criar dispositivos como lentes de contacto ou ainda ecrãs que façam parte do olho humano, requerendo assim cirurgia para usufruir destes. Estes dispositivos estão a ser pensados inicialmente como forma de auxiliar pessoas com visão reduzida, mas no futuro podem tornar-se usuais entre a população.