Journal Archive

라즈베리파이(Rasberry Pi)는 영국 잉글랜드의 라즈베리 파이 재단이 학교와 개발도상국에서 기초 컴퓨터 과학의 교육을 증진 시키기 위해 개발한 신용카드 크기의 싱글 보드 컴퓨터이다. 라즈베리파이3 모델 B는 차세대 쿼드 코어 Broadcom BCM2837 64비트 ARMv8 프로세서이고 내장형 BCM43143 WiFi칩을 탑재했다. 라즈베리파이는 운영체제를 설치할 수 있어 하나의 컴퓨터라고 생각할 수 있고 다양한 분야에 사용되고 있다. 응용 예로 UART통신을 이용한 라즈베리파이 리듬 게임이 있고[6] 범용 농기계관리를 위한 스마트어댑터 설계 및 구현한 경우도 있다[7]. 그림1은 라즈베리파이 클러스터에서 마스터 노드로 사용한 라즈베리 파이 3 모델 B+이다[8].

Fig. 1. 
Raspberry Pi 3 B+

그림 2는 라즈베리파이 클러스터에서 워커 노드로 사용한 라즈베리 파이 모델 B 이다.

Fig. 2. 
Raspberry Pi 3 B

1980년대 중반 영국의 아콘 컴퓨터 회사가 개발한 32비트의 축소 명령 집합 컴퓨터로 ARM 아키텍처는 임베디드 기기에 많이 사용되는 RISC 프로세서이다. 비교적 낮은 비용과 전력 소비로 실행 능력이 높은 프로세서이고 ARM CPU는 모바일 시장 및 싱글보드 컴퓨터로 불리는 개인용 컴퓨터에서 뚜렷한 강세를 보인다[9].

그림 3은 제안하는 클러스터 구축 순서도를 보여주고 있다. 가장 먼저 ssh와 원격 연결을 하고 클라우드 노드들을 준비하고 IP 주소를 확인한다. 그리고 나서 파이썬3를 위한 MPI4PY를 설치한다. 여기에서, MPI4PY는 ‘MPI for Python’의 약자이며 파이썬에서 MPI 바인딩을 제공한다. 이는 멀티 프로세서로 구성된 컴퓨터를 사용하는 어떤 파이썬 프로그램도 실행되도록 한다. 이 패키지는 MPI-1/2/3 사양 위에 구축됐다. MPI4PY는 파이썬에서 병렬 프로그래밍에게 객체지향 인터페이스를 제공한다. MPI4PY는 어떤 파이썬 객체에도 지점 간 통신(Point-to-Point communication)과 군집 통신(Collective Communication)을 지원한다[3]. 그 후에 ssh-keygen 키를 발생시키고 교환한다. 공공 키를 pi001에 복사하고 추가한 후 클러스터 빌딩 성공 여부를 확인한 후 성공했으면 작업을 종료하고 실패했으면 IP 주소 확인과정부터 다시 시작하게 된다.

Fig. 3. 
Proposed cluster construction flow chart

여기서, ssh(secure shell)는 PGP와 마찬가지로 공개 키 방식의 암호방식을 사용하여 원격지 시스템에 접근하여 암호화된 메시지를 전송할 수 있는 시스템이다. 따라서 LAN상에서 다른 시스템에 로그인할 때 스니퍼에 의해서 도청당하는 것을 막을 수 있다. 먼저 4개의 라즈베리파이의 MicroSD 카드에 balenaEtcher를 이용해 라즈비안 OS 이미지를 설치한다. 이 클러스터 노드에는 라즈비안 liteOS를 설치했다. 그 다음 라즈베리파이마다 ssh라는 빈 파일을 만들어 준 뒤 Xshell 프로그램을 이용해 라즈베리파이에 로그인한다[10]. 아래에서는 구체적인 구축 과정을 상세히 설명한다.

각 라즈베리파이에는 유일한 hostname이 필요하기 때문에 hostname을 설정해 준다. 각각의 라즈베리파이들에 pi002, pi003, pi004라는 이름으로 설정하고 master노드는 pi001로 한다.

Fig. 4. 
change hostname

모든 관리 대상 네트워크 스위치와 라우터는 정적 IP주소를 위한 범위를 가진다. 클러스터의 노드들을 위한 몇가지 주소를 선택하고 파이를 이더넷 케이블로 라우터에 각각 연결한 뒤 /etc/network/interfaces파일을 업데이트한다. 관리 대상 네트워크 스위치나 와이파이 라우터의 IP주소를 게이트 웨이 값으로 사용한다.

Fig. 5. 
Raspberry Pi cluster LAN connection

라즈베리파이들에게 IP주소를 할당해 주었다면 Xshell을 이용해 라즈베리파이에 접속하고 sudo nmap –sn 192.168.0.* 명령어를 이용해 파이의 네트워크를 스캔해 확인한다.[3]

Xshell에서 pi001,pi002,pi003,pi004에 각각 접속하여 sudo apt-get install python3-mpi4py –y명령어를 입력하여 설치한다. mpirun hostname 명령어를 통해 설치여부를 확인한다.

ssh-keygen 유틸리티는 인증 키를 생성하기 위해 이용된다. 어떤 2개의 리눅스 컴퓨터 간에 인증을 설정하기 위해 다음 세단계가 수행하였다.

• 1. ssh-keygen을 사용해 두 호스트를 위한 키를 생성한다.
• 2. 호스트 간에 키를 원격으로 복사함으로써 호스트 간 키를 교환한다.
• 3. 인증된 호스트 목록에 키를 추가한다.

이 단계까지 수행되면, 다음 두 단계를 패스워드 없이 수행할 수 있다.

• 1. 원격 호스트에 로그인한다.
• 2. 원격 호스트에서 쉘(shell)명령어를 실행한다.

셸 스크립트에서 ssh 명령을 사용하면 원격 호스트에서 작업을 자동화할 수 있고 pi001을 마스터노드로 사용하고 있으므로 다른 노드에서 pi001의 명령을 원격으로 실행하거나 그 반대로 실행한다. 4개의 노드로 구성된 클러스터를 구축했으므로 키 교환을 위한 호스트쌍은 (pi001,pi002), (pi001,pi003), (pi001,pi004)이다. 키를 교환하기 위한 keygen을 생성하기 위해 Xshell에 들어가 pi001에 접속한다. 홀에서 ssh-keygen명령을 실행한다[3]. 다음 그림 6은 pi001의 ssh-keygen 생성 결과이다. 생성할 때마다 다른 형태로 생성된다.

Fig. 6. 
pi001 ssh-keygen

그림 7은 pi002의 ssh-keygen 생성 결과이고 생성할 때마다 다른 형태로 생성된다. 그림 8은 pi003의 ssh-keygen 생성 결과이고 생성할 때마다 다른 형태로 생성된다. 그림 9는 pi004의 ssh-keygen 생성 결과이고 생성할 때마다 다른 형태로 생성된다. 키가 생성됐다면 다음으로 pi001의 .ssh로 이동하여 ls 명령어를 이용해 개인키 id_rsa와 공개키 id_rsa.pub을 확인하여 공개 키를 원격으로 로그인하여 명령을 실행할 호스트에 복사한다. 작성된 것을 새로운 파일로 복사해놓는다. 인증 없이 원격으로 접속하기 위해서는 만든 파일의 내용을 다른 호스트의 authorized_keys 파일에 추가한다. 이 과정을 4번 반복하고 pi001에 pi002, pi003, pi004의 공개키를 복사하고 인증키 목록에 공개 키를 추가한다.

Fig. 7. 
pi002 ssh-keygen

Fig. 8. 
pi003 ssh-keygen

Fig. 9. 
pi004 ssh-keygen

분산처리시스템은 여러 대의 컴퓨터에 작업을 나누어 처리하여 그 내용이나 결과가 통신망을 통해 상호 교환되도록 연결되어 있는 시스템이다.

이는 서로 다른 기능이나 자원을 갖는 여러 노드가 서로 연결되어 있으므로 다른 지역의 프로세서를 사용하고 있는 사용자들도 프로그램이나 자료 등의 자원을 사용할 수 있다. 분산 시스템은 시스템 내에 있는 각종 자원의 투명성을 보장하는 것인데, 이 투명성이란 다수의 컴퓨터로 구성되어있는 시스템을 마치 한 대의 컴퓨터 시스템인 것 같이 보이는 것을 말한다[11].

클러스터의 모든 노드에 동일한 디렉터리 구조를 생성하고 입력할 코드를 디렉터리의 소스파일에 저장하고 코드파일을 scp를 사용해 모든 노드의 소스파일 디렉터리에 복사한다.

제안하는 라즈베리파이 클러스터의 노드들은 모두 ssh로 원격 연결되어 구축되었다. 본 논문에서의 모의 실험 환경으로 1개의 호스트 노드와 3개의 워커노드로 구성하였다. 라즈베리파이 3B, 3B+는 쿼드코어가 탑재되어 있어 하나의 노드에 4개의 코어가 존재하므로 구축한 클러스터를 나타냈을 때 16개가 호출된다.

Fig. 10. 
Raspberry Pi cluster construction status

Fig. 11. 
Raspberry Pi cluster node

실험에 사용한 파이를 계산하는 프로그램은 병렬 프로그래밍을 하는 병렬프로그램이고 클러스터의 개수보다 같거나 작게 Rank로 분해되어 동시에 실행된다. 현재 클러스터의 개수는 4개이기 때문에 Rank0,1,2,3의 4개로 순차를 정해 분해된다. Rank는 클러스터 개수에 따라 클러스터가 1개로 이루어졌을 때 Rank0, 2개로 이루어졌을 때 Rank0, Rank1과 같이 Rank의 번호순서대로 할당되기 때문에 0~n-1로 순차적으로 번호가 매겨진다. 여기서 n은 클러스터의 개수를 의미한다.

Fig. 12. 
Parallel program

제안하는 클러스터는 한 클러스터에 4개의 프로세스가 실행 가능하므로 최대 16개의 프로세스가 동시에 실행될 수 있다. 4개의 Rank로 나뉘어져 들어온 프로그램이 16개의 코어로 동시에 실행된다. 실험은 라즈베리파이 개수에 따라 연산의 복잡성을 달리하여 진행한다. 라즈베리파이의 코어의 개수를 16(클러스터 4개), 12(클러스터 3개), 8(클러스터 2개), 4(클러스터 1개)로 실험군을 나누었고, 연산의 복잡성은 프로그램 소스 중 pi를 구하기 위한 알고리즘에서 반복되는 횟수를 뜻하는 nsteps의 값을 변화시키며 증가시켰다[12].

그림 13은 소스의 nsteps값을 10 × 10⁶로 변경하여 실행한 결과이다. 클러스터 개수가 1개일 때 약 14초, 2개일 때 약 6초, 3개일 때 약 4초, 4개일 때 약 3초가 소요되었다. 그림 14는 그림 13 값을 그래프로 나타낸 것이다. 결과값은 소수 둘째 자리에서 반올림하였다. 클러스터의 개수가 증가할 때 마다 연산 시간이 줄어든 것을 알 수 있다.

Fig. 13. 
Completion time according to the number of nodes when nsteps=10 × 10⁶

Fig. 14. 
Completion time comparison according to the number of nodes when nsteps=10 × 10⁶

그림 15는 소스의 nsteps값을 10 × 10⁷로 변경하여 실행한 결과이다. 클러스터 개수가 1개일 때 약 130초, 2개일 때 약 68초, 3개일 때 약 46초, 4개일 때 약 34초가 소요되었다. 그림 13에 비해 nsteps값이 증가했기에 전체적으로 연산시간이 증가했지만 클러스터 개수에 따른 차이가 잘 나타나고 있다. 그림 16는 그림 15 값을 그래프로 변환해서 나타낸 것이다.

Fig. 15. 
Completion time according to the number of nodes when nsteps=10 × 10⁷

Fig. 16. 
Completion time comparison according to the number of nodes when nsteps=10 × 10⁷

그림 17는 소스의 nsteps값을 10 × 10⁸로 변경하여 실행한 결과이고 그림 18는 그림 17 값을 그래프로 변환해서 나타낸 것이다.

Fig. 17. 
Completion time according to the number of nodes when nsteps=10 × 10⁸

Fig. 18. 
Completion time comparison according to the number of nodes when nsteps=10 × 10⁸

상기의 실험 결과들에서 nsteps가 10 × 10⁶ 일 때, 클러스터 1개에서 4개로 연산을 실행한 결과 1개일 때와 4개일 때 10초 정도의 차이를 보인다. 하지만 nsteps의 수가 10 × 10⁷, 10 × 10⁸로 증가하면서 클러스터 1개와 4개의 연산완료 시간의 차는 약 100초, 약 1000초이다. 연산이 복잡해짐에 따라 클러스터 개수에 따른 성능 변화가 뚜렷하게 나타나고 있다. 하지만 상기의 그림 13에서 그림 18의 모든 실험 결과들에서 공통적으로 발견되는 것이 클러스터 개수가 증가하면 연산 시간이 작아진다는 사실이 확인되었다. 따라서 클러스터 개수를 더 증가시킨다면 연산 시간도 더 작아진다는 것을 본 논문의 실험 결과로부터 유추할 수 있다.