혼합현실 기술 활용 분야 및 사례

카메라 보정기술

영상처리, Machine Vision, 렌즈 보정이 종합적으로 사용되어 카메라 헤드의센서 기술과 결합한 기술이다. 카메라 렌즈 자체와 카메라의 회전, 줌/포커스와 같은 다양한 동작에서 나타나는 광학적/기하학적 왜곡을 몇 단계의 알고리듬과 절차를 거쳐 보정한다. 또한 가상 영상의 보드가 되는 경기장의 특정 평면에 대하여 정밀한 거리와 각도 계산을 위한 보정 알고리듬을 포함한다.

단순한 렌즈에 대한 보정은 일반화된 알고리듬이 공개되어 있다. 그러나 TV 카메라 즉 줌 렌즈와 삼각대 위에서의 움직임에 대한 보정 기술은 고난이도의 알고리듬을 사용해야 한다.

레이저 추적 장치

추적 장치 기술

같은 물체를 관찰하더라도 관찰 위치와 시점 방향이 다르다면 당연히 물체의모양도 다르게 보이기 때문에 혼합 현실 시스템에서 현실과 가상 물체들을 접목또는 겹쳐서 보이게 하려면 관측자의 위치와 시점 방향을 정확하게 알아야 한다.

추적 장치는 혼합 현실 시스템에서 후에 설명하는 정렬과 밀접한 관련을 갖기 때문에 중요한 기술이다.관측자가 HMD를 사용한다면 HMD에 센서를 장착하여 관측자의 위치와 시점방향을 추적하여 시스템에 알리면 시스템에서 주어진 관찰위치와 시점 방향에 맞게 가상 물체들을 렌더링하게 된다.

Video-see-through나 일반 모니터를 출력 장치로 사용할 경우, 실제 현실을 입력하기 위한 디지털 카메라에 센서를 장치하면 된다. 추적 장치에 쓰이는 센서로는기계적인 추적 장치, 광학 추적 장치, 전자기 추적 장치 그리고 음향 추적 장치 등이 있다.

영상 추적 기술

영상 처리의 핵심 기술 중의 하나는 원하는 효과를 생성하기 위한 기반 정보를 획득하는 영상 추적 기술이다. 이를 통해서 배색 정보, 특정물체의 위치 정보, 영상의 움직임 정보 등과 같은 영상 정보를 획득한다. 영상 처리 과정에서는 영상 추적 기술을 통해서 얻은 정보를 바탕으로 영상에 변화를 가하게 된다.

가상 영상 응용물의 경우, 영상에서의 물체 추적 기술을 적용하여 운동장에 가상 영상을 삽입할 위치를 찾게 되며, 영상 처리 과정에서 탐색된 위치에 전경과 배경을 분리한 후 가상 영상을 삽입하여 영상을 변화시킨다. 방송에서 사용되는 해상도의 영상에서 영상 추적 기술을 적용하여 정보를 추출하고 영상에 변화를 줄 경우 시청자의 눈에는 부자연스럽게 끊어지는 것처럼 보인다.

이는 사람의 눈이 이미지에 대해 변화를 감지하는 정도가 현재 TV에서 사용하고 있는 해상도에서의 픽셀 크기보다 작기 때문에 발생하는 것이다. 이를 해결하기 위해서는 영상추적에서 영상 처리에 이르는 일련의 과정이 픽셀보다 작은 단위에서 수행되어야 한다.

위성 영상추적

가상과 현실의 정렬 기술

현재 혼합 현실 시스템에서 가장 구현이 어려운 것은 가상현실 영상과 실사영상의 정렬이다. 증강 현실이 현실에 부가적인 정보를 추가하는 것이기 때문에 표시되어야 할 정확한 위치에 부가적인 정보를 표시하여야 한다.

대부분의 응용에서 현실과 가상의 영상이 어긋나게 되면 작업을 제대로 할 수 없게 된다. 정렬이 정확하지 않으면 관측자는 두 세계를 보기는커녕 어지러움을 느낄 수 있다. 혼합 현실 시스템은 적어도 인간이 시각적으로 느끼지 못할 정도로 현실과 가상영상을 잘 정렬해야만 한다.

정렬이 정확하지 않으면 정적인 오류와 동적인 오류가 발생하게 된다. 정적인 오류는 광학적 왜곡, 추적 장치 및 관련 계통에서 발생되는 오류, 기계적인 정렬 불량, 그리고 시계 요소의 불량 등으로부터 발생된다.

컴퓨터 그래픽에 사용되는 증강 현실과 관련된 영상 처리 기술은 방송을 대상으로 하므로 영상의 분석, 처리, 출력 등의 모든 과정은 생방송에 적합하도록 실시간에 처리되어야 하며, 생성되는 영상 결과물이 방송에 적합하도록 품질이 보장되어야 한다. 방송용 영상의 질이 디지털, HD급으로 그 규격이 상향 고급화됨에 따라 이에 따른 영상처리 설비 및 기술을 확보해야 한다.