Journal Archive

제안하는 프로토타입의 Arduino의 아날로그 입력 단에는 각 손가락에 부착된 flex 센서 5개를 통해 휘어짐에 비례해서 출력되는 아날로그 전압이 연결되고 디지털 출력 단은 서보 모터 구동을 위한 전력 제공 회로와 연결되어 원하는 로봇 동작을 연출하기 위해 서보 모터의 각도를 결정한다(그림 4).

본 연구에 사용한 2.2인치 flex 센서는 휘어진 정도에 따라 다른 저항 값을 가지는 아날로그 센서이다. 이 센서는 휘어짐 정도에 따라 최소 25kΩ, 최대 125kΩ 사이의 저항 값을 가지며, 5V를 10kΩ 저항과 분할하는 voltage divider 회로를 구성해서 그 분할 값이 Arduino의 아날로그 센서로 입력된다. flex 센서의 가변 저항 값을 r이라고 하면 이 voltage divider 회로로 결정되어 Arduino로 입력되는 전압 v_i의 범위는 다음과 같이 계산 가능하다.

위의 그래프에서 볼 수 있듯이 [25kΩ, 125kΩ] 구간(실선 구간)에서 결정되는 전압은 저항 값과 선형적으로 비례하지 않는 특성을 가진다. 이렇게 입력된 아날로그 전압 값은 Arduino 내부에서 0부터 1023 사이의 디지털 값으로 변환되는데, 앞서 논의한 전압과 저항 값 사이의 비선형적인 특성과 함께, 사람의 손은 계속적으로 미세하게 움직이므로 사람의 손에 부착해서 구부러짐 값을 검출할 때 사람의 손이 완전하게 평평하지 않으므로 어느 정도 기본적인 휘어짐이 발생하는 문제로 인해 소프트웨어 상의 조정 과정이 필요할 수도 있으나 본 연구에서 제안하는 방식에서는 이러한 문제가 고려되지 않았다.

서보 모터는 한 손가락 당 1개씩 총 5개로 구성되어 있으며 끝부분을 줄로 당겨 손가락 관절의 각도를 결정하는 간단한 방식이다(그림 6). 비록 간단한 방식이지만 end-point의 위치에 따라 관절들의 각도가 결정되는 역운동학의 물리적 구현으로 볼 수도 있다.

Fig. 6. 
Robot arm to replay captured motions

로봇 손가락의 끝부분을 당기기 위한 서보 모터의 회전 방향이 엄지, 검지, 중지 부분과 약지, 소지 부분의 서보 모터의 방향에 따라 Flex 센서의 값을 서보 모터 회전 값으로 적절하게 사상해야 하며 Arduino에서 다음 코드처럼 map 함수[a]를 이용해서 각도로 전환한다.

angle[FINGER_INDEX]=         map(finger[FINGER_INDEX],              MIN_VOLTAGE, MAX_VOLTAGE,              START_ANGLE, END_ANGLE);

제안하는 프로토타입의 테스트를 위해 3ds MAX에서 제작한 3차원 손 mesh 모델에 bone을 심고 피부에 해당하는 mesh와 뼈에 해당하는 bone 구조 사이에 각 부분별로 가중치를 부여해서 연결하는 skinning 작업을 수행해서 손 모델이 bone의 움직임에 따라 함께 움직일 수 있도록 하였다(그림 7).

Fig. 7. 
3D mesh skin and bone structure for hand in created 3ds MAX

서보 모터의 회전 각도와 3ds MAX에서 손 애니메이션을 구현하기 위해 적용한 역운동학은 관절 끝부분의 최종 이동 지점(손가락의 경우 손가락 끝부분)인 end point의 공간상의 위치를 사용자가 지정하면 각 관절들의 각도를 컴퓨터가 계산해서 자연스러운 모습을 연출하는 방법이다. 반대로, 사용자가 각 관절들의 각도를 지정해서 end point의 위치를 결정하는 방법은 forward kinematics라고 한다. 3ds MAX에서는 메뉴 항목 중 [Animation]-[IK Solvers]-[IK Limb Solver]를 통해 역운동학 애니메이션을 적용할 수 있다. 본 연구에서는 이 항목에서 제공하는 IK Chain을 생성하고 제어함으로써 손가락 애니메이션을 센서 입력 값과 연동하였다.

본 연구에서는 Arduino에 연결된 flex 센서의 값을 3ds MAX로 전달하기 위해 Keith Sillin의 시리얼 통신 튜토리얼[12]을 응용해서 데이터 송수신을 구현하였다. 기본적으로 시리얼 통신에서는 송수신 시에 직렬로 8 비트를 순차적으로 전송한다. 이러한 통신을 시작하기 위해서는 Arduino 측 코드에서는 Serial.begin() 함수를 이용해서 시리얼 통신을 초기화해야 한다. 이 함수의 인자로 baud rate를 전달하는데 이 값은 MAXScript 코드와 Arduino 코드에서 일치해야 한다. Windows 환경에서 구현된 3ds MAX 애플리케이션의 특성 상 MAXScript 코드에서는 .NET [13] 객체를 사용해서 통신을 수행하였다. MAXScript에서 .NET 객체로 시리얼 통신을 수행하기 위한 객체는 다음과 같이 정의한다.

 local serial = dotNetObject   "System.IO.Ports.SerialPort" "COM3" 9600

Arduino 측 코드에서 Serial.Open()으로 시리얼 포트를 열고 Arduino에 연결된 flex 센서의 값을 3ds MAX에서 전달받았을 때, 연속적으로 IK Chain의 정보를 변화시킬 수 있도록 0.001초 마다 만료되는 타이머를 설정하였으며 Serial.Write()와 Serial.Read()를 사용해 데이터를 송수신한다. Arduino에서 flex 센서 값을 전달하면 3ds MAX 측의 MAXScript 코드에서는 전달된 데이터 값을 받아 IK Chain의 Position 속성 값을 변화시킨다. IK Chain의 위치는 손 모델의 위치, 크기, 회전에 따라 달라지기 때문에 flex 센서 값을 직접 적용할 수 없으며 각 IK Chain Position은 손가락의 처음 위치와 구부러졌을 때의 위치를 고려하여 시행착오를 통해 얻은 수치로 설정하였다. 테스트 코드에서 IK Chain position을 변경하기 위한 유사 코드는 다음과 같이 구현하였다.

for each finger:  finger_segment_chain.position    = inputDataVector – adjustedVector;

3ds MAX의 캐릭터 애니메이션 제작 시스템의 입장에서는 지금까지 서술한 내용으로 구성되어 수신된 정보는 일정한 타임스탬프에 입력된 각 손가락 chain에 대한 이산적인 transform 정보이다. 이러한 이산적인 정보는 스마트 글로브를 사용하는 각 개인의 특성에 따라 차이가 있을 수도 있으며 향후 특정 애플리케이션(예. 원격 수화 애플리케이션 등)에서 인공지능 기술에 적용하기 위한 대규모 학습 데이터로 데이터베이스 등에 저장할 수 있다.

시간 측면에서 이산적인 이러한 데이터를 본 연구에서의 일차적인 목표인 3차원 애니메이션으로 전환시키기 위해서 MAXScript로 캡처한 데이터를 이용해서 key frame을 생성하고 key frame 사이에서 원하는 시간 해상도(frames per second)만큼 frame을 생성하도록 구현하였다. 또한 디자이너가 편리하게 후처리 작업(post processing)을 수행할 수 있도록 하기 위해 3ds MAX 상에서 키보드로 Time Slider를 이동시키고 원하는 위치에서 추가적으로 key frame을 생성할 수 있도록 구현하였다.

구현한 MAXScript 파일을 3ds MAX 환경에서 실행하면 스마트 글로브의 움직임을 녹화할 수 있는 상태로 전환(3dsMAX에서 setKeyMode == true)되며 3ds MAX 내에 동시에 진행 중인 작업을 잠시 중단하고 기록을 위한 스크립트로 포커스를 이동시킨다. 이 스크립트로 생성된 UI 창(그림 8의 빨간색 사각형)을 종료하면 자동으로 녹화를 종료하도록 구현하였다. 이러한 작동은 3ds MAX 내 UI 창의 시작과 종료 시에 호출되는 callback 함수(on window open do 및 on window close do)를 정의해서 구현하였다. 이 두 함수의 유사 코드는 다음과 같다.

Fig. 8. 
Screen shot for implemented prototype in 3ds MAX

on window open do:      if keyframe mode == off then:         keyframe mode = on;         get input focus;

on window close do:         keyframe mode = off;

또한 디자이너의 작업 편의를 위해 “a”, “d”, “Space Bar”, “q”, “r”키를 사용하여 Time Slider를 움직이고 key frame을 생성, 재생, 삭제할 수 있도록 구현하였다. 실제 작동 가능한 구현된 MAXScript 코드의 일부를 다음 표에서 소개한다.

구현한 MAXScript 코드에서는 수신된 센서 값을 이용해서 key frame 애니메이션만 구현하는 것에 그치지 않고 이 정보를 활용해서 다시 Arduino에 연결된 로봇팔의 손가락을 움직일 수 있다. 현재는 Arduino 한 개에 센서와 모터 구동을 위한 회로를 경유한 로봇 팔이 모두 함께 연결되어 있으나 인터넷 통신 환경에서 원격으로 로봇 팔을 직접적으로 작동시키는 애플리케이션으로 쉽게 확장 가능하다고 판단한다.