증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성

Ⅰ. 서 론

증강/가상 현실 기기는 가상의 객체를 탐색하고 상호작용하는 직관적인 도구이다. 현재의 증강/가상 현실 기기는 다양화 되어 사용자는 다양한 기기 중 사용하고자 하는 기기를 선택할 수 있게 되었다. 사용자는 모바일 기기, 안경 형태의 광학 투과 기기(Optical see-through) 또는 Oculus Quest와 같이 머리에 착용하는 디스플레이 기기(Head mounted display, HMD)를 이용하여 증강/가상 현실에 참여한다. 이처럼 다양한 기기를 사용하게 되면서 여러 명의 사용자가 한 공간에서 협업할 때 서로 다른 기기를 사용하는 경우가 발생한다. 따라서 다양한 기기가 참여할 수 있는 하나의 공유 공간의 필요성이 대두된다.

이를 위해 본 연구에서는 다양한 기기를 사용한 여러 명의 사용자가 하나의 공간에서 서로 협업하고 상호작용할 수 있도록 하는 새로운 협업 공간(cooperating space)을 제안한다. (그림 2) 이 협업 공간은 사용자가 생성하는 객체와 상호작용을 일치시켜 각 사용자들이 속한 공간에 무결성을 보장해 주었다. 이는 모든 사용자가 상호작용이 발생한 경우 이 상호작용에 대한 정보를 서로 주고받도록 함으로써 이루어지는데, 이 논문에서는 상호작용이 발생되는 위치를 유지시키기 위하여 공유 좌표계를 도입하였다. 예를 들어, 사용자가 객체를 자신의 좌표계에 증강시키면 각 사용자가 바라보는 공간에도 같은 위치에 증강되도록 해야 한다. 따라서 객체 위치의 기준이 되는 공유 좌표계가 협업 공간을 접속할 때 생성되어 모든 사용자에게 공유되고 이로부터 객체가 증강되는 위치를 계산한다. 각 기기는 기기의 특성에 따라 서로 다른 기준점을 가지게 되는데 주변 환경을 인식할 수 있는 기기는 마커를 기준점으로 하고 카메라나 센서가 없어 주변 환경을 인식하지 못하는 기기는 정의된 기준점을 사용한다. 협업 공간 내에서의 사용자 또한 공유좌표계를 기준으로 위치시킨다. 또한, 이 논문에서 제안하는 공유 좌표계에 공유되는 객체와 상호작용은 실시간성 정도에 따라 각 정보에 중요도를 상정하여 중요도에 따라 다르게 처리되도록 하였다.

다음 장에서는 관련연구를 소개하고, 3장에서는 각 기기의 공간을 통합하는 공간을 구성하는 공유좌표계와를 정의하고, 4장에서는 네트워크의 구성, 객체의 생성과 상호작용을 다룬다. 5장에서는 사용자 실험의 결과를 보이고, 마지막으로 6장은 결론을 다룬다.

Fig. 1.

The system diagram of the cooperating AR-VR space.

Ⅱ. 관련 연구

Ⅲ. 공유 공간 구성

공유 공간에 접속한 여러 대의 증강/가상 현실 기기는 하나의 서버를 통해 정보를 서로 주고받는 서버-클라이언트 형태를 가진다. 이 공유 공간은 그림 2 처럼 다른 공간에 위치한 사용자가 같은 공간에서 같은 상호작용하는 것처럼 느껴지도록 공유 좌표계를 형성하고 상호작용을 동기화 하여 하나의 공간처럼 작용하도록 한다. 또한 협업 공간에 참여한 다른 사용자를 아바타로 형상화하고 움직임을 동기화하여 같이 있는 느낌을 높여주었다.

Fig. 2.

Configuration of the cooperating space when the physical space that users are participated in is separated. With the shared frame in each space, every object and interaction are synchronized.

3-2 공유 좌표계의 사용

공유 좌표계가 정의가 되었다면 접속된 기기 간 정보는 이를 기준으로 기술된다. 예를 들어, 사용자 A가 생성한 객체 O는 사용자 B에게 전송되어 공유 좌표계 상의 같은 위치에 생성된다. 이러한 경우에 사용자 A가 생성한 객체O의 위치는 수식(3)과 같이 공유 프레임 S_A 에 의해 기술된 값으로 표현된다.

$\[ p=S_A^{-1} p_A \]$

(3)

수식에서 p는 생성된 객체의 위치와 회전 값을 나타낸다. S_A는 사용자 A의 공간에서 바라본 공유 프레임의 변형 행렬(transformation matrix) 이다. 수식(3)에서 p_A 는 생성된 객체 위치 p를 공유 프레임 S_A에서 바라보았을 때의 위치가 된다. 이를 네트워크로 사용자 B에게 전달되면 사용자 B의 공유프레임 S_B에서 p 만큼 떨어진 값으로 변형한다.

$\[ p_B=S_B p \]$

(4)

S_B 는 S_A 와 비슷하게 사용자 B에 설정된 공유좌표계의 변환행렬이다. 그림 3는 수식(3)에 대한 과정이 표현되어 있다.

Fig. 3.

Describing cooperating space A in Fig 1. There is the shared frame A and the object O at the position pA, and the avatar B of the user B. p that is seen from the shared frame A is transferred to the user B.

Fig. 4.

The example of applying the pose of user B to avatar B. To get the pose, user B is wearing the suit for the motion capture. The position of the head of user B is p, which is the same as it of the avatar seen from the shared frame A.

Ⅳ. 상호작용 동기화

협업 공간에서의 사용자는 객체를 생성하거나 이동, 변형 하는 등의 상호작용을 수행할 수 있다. 이는 네트워크를 통해 협업 공간에 접속한 다른 사용자와 동기화되어 같은 상황을 공유할 수 있다.

4-3 네트워크 구성 및 전송

협업 공간의 네트워크는 하나의 서버와 여러 대의 증강/가상 현실 기기들의 연결을 통해 서버-클라이언트 형태로 구성된다. 서버는 사용자별 인식 번호의 부여 및 전달자(Broadcasting) 역할을 수행한다.

사용자가 서버에 처음으로 접속하면 각 사용자는 고유 인식 번호(user ID)를 부여받는다. 인식 번호는 사용자를 구별하기 위해 사용하며 해당 사용자가 일으킨 상호작용 정보와 함께 서버에 업로드 되어 다른 사용자에게 전달된다. 또한 외부 환경의 특징자 또한 서버에 업로드 하여 접속한 다른 사용자가 동일한 외부 환경을 찾아 공유 좌표계를 형성할 수 있게 해준다.

동기화되는 정보는 {인식 번호, 상호작용 정보} 의 형태로 구성된다. 상호작용 정보는 종류를 표현하는 이벤트 값(Event ID)과 추가 정보를 표현하는 인수(Argument value)로 구성되어 있다. 이벤트는 전달하고자 하는 상호작용의 종류의 수만큼 정의 되어 있어 이에 따라 값이 설정된다. 이 연구에서는 객체의 생성 및 변형과 공간에 적용되는 기상 효과 및 아바타의 움직임을 이벤트 값을 설정하여 사용하였다. 표 1에는 이벤트와 그에 대한 인수를 정리하였다.

Table 1.

the type of interactions and arguments.

이 연구에서는 위와 같은 정보를 하나의 메시지로 구성하여 서버를 통해 모든 사용자가 동일한 메시지를 수신하도록 하였다. 각 사용자는 메시지에 포함된 이벤트와 인수를 통해 자신의 협업 공간에 동일하게 표현되도록 함으로써 공간을 동기화한다.

Ⅴ. 실험 및 결과

이 논문에서는 종류가 다른 증강/가상 현실 기기를 착용한 다수의 사용자가 동일한 협업공간에 참여하여 객체를 통한 상호작용을 동기화하는 방법을 보였다. 우리는 실험을 통하여 이 논문에서 제안한 방법을 실제로 사용하고 확인하는 과정을 가졌다. 실험은 3가지 종류의 서로 다른 기기를 가진 4명의 사용자가 협업 공간을 형성하여 상호작용을 수행하는 상황으로 구성하였다. 실험에는 1) 혼합현실(Mixed Reality) 기기인 Microsoft의 HoloLens와 2) 가상 현실 HMD 기기인 삼성 오딧세이, 3) 증강 현실 기기인 EPSON의 Moverio를 사용하였다. 각 기기에서 사용하는 어플리케이션은 Unity를 통해 제작되었으며 카메라를 이용한 마커 탐색으로는 Vuforia 라이브러리를 사용하였다. 사용자의 움직임을 아바타에 반영하기 위한 모션 캡처 장비로 Perception neuron을 사용하였다. 이는 다수의 관성 측정 장비(IMU)로 착용자의 자세를 얻을 수 있으며 측정이 상대적으로 간편하다는 장점이 있다. 이 연구의 결과 영상은 다음 주소에서 확인할 수 있다.

https://github.com/lusina0304/cooperatingspace

Fig. 5.

(Left) city model for the experiment, (middle) the full-pose avatar, (right) the simple avatar.

5-2 같은 물리 공간 내에서의 협업 공간

같은 물리 공간 내에서 협업 공간에 참여하는 경우에는 외부 환경을 인식할 수 있는 기기인 Hololens와 Moverio를 사용하여 실험을 진행하였다. 같은 물리 공간에 있는 2명의 참가자는 그림 6와 같이 혼합현실 기기를 착용하고 협업 공간에 접속한 뒤, 객체를 생성하여 상호작용을 진행하였다. 그림 7은 두 명의 참가자가 객체를 생성하거나 건물을 선택하는 등 다양한 상호작용을 수행하였을 때 상태가 동기화되는 것을 보여준다.

Fig. 6.

The picture of two users who are in the same physical space with interacting in the cooperation space. The bottom pictures show each view of two users.

Fig 7.

The examples of interactions using the MR device. Interactions are synchronized to keep two spaces are remain the same state.

5-3 다른 물리 공간에서 가상 현실 기기를 이용한 협업 공간

다른 물리 공간에서 협업하는 경우에는 3명의 참가자가 서로 분리된 공간에서 각자 가상 현실 기기와 혼한 현실 기기를 이용하여 협업 공간에 접속하는 것으로 실험을 진행하였다. 가상 현실 기기를 통해 접속한 참가자는 각각의 아바타를 통해 협업 공간에 참여한 다른 참가자의 모습을 볼 수 있다. 전신 행동 캡처 장비를 착용한 참가자는 전신 행동 아바타로 표현되며, 그렇지 않은 참가자는 단순형 아바타로 표현되었다. (그림 8) 이 실험에서도 객체를 생성하여 상호작용을 진행하였고 그림 9은 동기화된 상호작용의 모습을 보여준다.

Fig 8.

The examples of interactions with the controller in the virtual space. Interactions are synchronized to keep two spaces are remain the same state.

Fig 9.

Three users who connects the cooperating space in the separated physical space. One uses the full-posed avatar and the other one uses the simple avatar.

5-4 협업 공간 형성 시의 상호작용 전달

위의 실험을 진행하면서 협업 공간 내 혼합 현실 기기와 증강 현실 기기 간의 상호작용 전달 속도를 측정하였다. 이는 제안한 협업 공간의 실시간성을 보여준다. 전달 속도는 상호작용이 발생하였을 때 타 참가자가 수신하는 데까지 걸리는 지연 속도(latency)로 측정하였다.

그림 10은 증강 현실 기기로부터 혼합 현실 기기로 상호작용이 전달되는 데의 지연 속도를 나타낸다. 이는 증강 현실 기기를 착용한 참가자가 일으킨 상호작용이 서버에 업로드되어 혼합 현실 기기로 전달되는 데까지 걸리는 시간을 의미하며, 평균은 약 0.15초 이다. 이는 그림 10에 나타난 초반 접속 시간을 포함하는 값이다. 마찬가지로 그림 11은 혼합 현실 기기로부터 증강 현실 기기로 상호작용이 전달되는 데까지의 지연 속도를 나타낸다. 지연 속도의 평균은 약 0.13초로 증강 현실 기기로부터 혼합 현실 기기로의 지연 시간 평균과 유사한 값을 가진다.

Fig 10.

The Latency when transferring interactions from augmented reality devices to mixed reality devices

Fig 11.

The Latency when transferring interactions from mixed reality devices to augmented reality devices

Ⅵ. 결 론

본 논문은 증강/가상 현실 기기의 다양화에 맞춰 다양한 기기를 사용할 수 있는 협업 공간을 구성하고 제안한다. 이 논문에서 제시하는 협업 공간은 모든 사용자가 생성하는 객체와 상호작용을 동기화시켜 실시간 협업을 진행할 수 있게 해준다. 이를 위해 객체와 상호작용의 위치를 물리 공간 내에서 특정할 수 있도록 하는 공유좌표계를 구성하여 각 사용자에게 공유하고 상호작용이 발생할 시에 상대적인 위치를 계산하여 같은 상호작용이 일어나도록 한다. 이러한 공유 좌표계는 동일 물리 공간 존재 여부와 사용자의 기기에 따라 다르게 생성된다. 또한 사용자의 아바타를 전신 행동 아바타 또는 단순형 아바타로 협업 공간에 생성하여 공존감을 높이고, 상호작용을 할 수 있도록 한다. 이러한 상호작용은 객체에 대한 상호작용과 공간에 대한 상호작용으로 나누었고 각 상호작용이 실시간성에 영향을 주는 정도에 따라 우선순위를 적용하여 네트워크를 구성한다.

이 협업 공간은 다양한 기기를 함께 사용할 수 있도록 함으로써 원격 협업을 보다 용이하게 한다. 즉, 원격 회의 또는 스마트 오피스와 같은 원격 협업 과정에서 기기의 차이에 의한 문제를 예방할 수 있다. 또한 앞으로의 연구에 따라 보다 많은 기기에 적용되도록 할 수 있을 것이다. 스마트폰이나 태블릿 PC 등을 이용하여 협업 공간에 참여할 수 있도록 하거나 물리 공간을 이용한 상호작용을 적용하는 다양한 후속 연구를 진행할 수 있다.

Acknowledgments

본 논문은 국토교통부·산업통상자원부에서 공동 지원하는 ‘공간정보기반 실감형콘텐츠융복합 및 혼합현실제공 기술개발’ 연구의 지원을 받아 작성되었습니다. [과제명: 고정밀 3D 공간정보 기반 유무인 이동체 가상훈련 지원 기술개발 1세부 / 과제고유번호: 20DRMS-B147026-03]

References

• Glue. Universal Collaboration Platform [Internet]. Available: https://glue.work/
• MeetinVR [Internet]. Available: https://www.meetinvr.com/
• Immersed [Internet]. Available: https://immersedvr.com/
• IrisVR [Internet]. Available: https://irisvr.com/
• Billinghurst, Mark, and Hirokazu Kato., “Collaborative augmented reality,” Communications of the ACM, 45(7), pp. 64–70, 2002. [https://doi.org/10.1145/514236.514265]
• Lukosch, Stephan, et al, "Collaboration in augmented reality," Computer Supported Cooperative Work (CSCW) 24.6 , pp. 515-525, 2015. [https://doi.org/10.1007/s10606-015-9239-0]
• Butz, Andreas, et al, "Enveloping users and computers in a collaborative 3D augmented reality," Proceedings 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR'99), IEEE, 1999.
• Schmalstieg, Dieter, et al, "The studierstube augmented reality project," Presence: Teleoperators & Virtual Environments 11.1, pp. 33-54, 2002. [https://doi.org/10.1162/105474602317343640]
• Kato, Hirokazu, et al, "Virtual object manipulation on a table-top AR environment," Proceedings IEEE and ACM International Symposium on Augmented Reality (ISAR 2000). Ieee, pp. 111-119, 2000.
• Billinghurst, M., and Kato, H, “Collaborative mixed reality,” In Proceedings of the First International Symposium on Mixed Reality, pp. 261-284, March, 1999. [https://doi.org/10.1007/978-3-642-87512-0_15]
• Raskar, Ramesh, et al, "The office of the future: A unified approach to image-based modeling and spatially immersive displays," Proceedings of the 25th annual conference on Computer graphics and interactive techniques, 1998. [https://doi.org/10.1145/280814.280861]
• Kiyokawa, Kiyoshi, Haruo Takemura, and Naokazu Yokoya, "A collaboration support technique by integrating a shared virtual reality and a shared augmented reality," IEEE SMC'99 Conference Proceedings. 1999 IEEE International Conference on Systems, Man, and Cybernetics (Cat. No. 99CH37028), Vol. 6, pp. 48-53, IEEE, 1999.
• Billinghurst, Mark, Hirokazu Kato, and Ivan Poupyrev, "The MagicBook: a transitional AR interface," Computers & Graphics 25.5, pp. 745-753, 2001. [https://doi.org/10.1016/S0097-8493(01)00117-0]
• Beck, S., Kunert, A., Kulik, A., and Froehlich, B., “Immersive group-to-group telepresence,” IEEE Transactions on Visualization and Computer Graphics, 19(4), pp. 616-625, 2013. [https://doi.org/10.1109/TVCG.2013.33]
• Le Chénéchal, M., Duval, T., Gouranton, V., Royan, J., and Arnaldi, B.,“Vishnu: virtual immersive support for HelpiNg users an interaction paradigm for collaborative remote guiding in mixed reality,” In 2016 IEEE Third VR International Workshop on Collaborative Virtual Environments (3DCVE), pp. 9-12, IEEE, March, 2016. [https://doi.org/10.1109/3DCVE.2016.7563559]
• Piumsomboon, T., Lee, Y., Lee, G., and Billinghurst, M., “CoVAR: a collaborative virtual and augmented reality system for remote collaboration,” In SIGGRAPH Asia 2017 Emerging Technologies, pp. 1-2, 2017. [https://doi.org/10.1145/3132818.3132822]
• Piumsomboon, T., Lee, G. A., Hart, J. D., Ens, B., Lindeman, R. W., Thomas, B. H., and Billinghurst, M,. “Mini-me: An adaptive avatar for mixed reality remote collaboration,” In Proceedings of the 2018 CHI conference on human factors in computing systems, pp. 1-13, April, 2018. [https://doi.org/10.1145/3173574.3173620]
• David G. Lowe, “Distinctive image features from scale-invariant keypoints,” International Journal of Computer Vision, 60, 2, pp. 91-110, 2004 [https://doi.org/10.1023/B:VISI.0000029664.99615.94]