클라우드 컴퓨팅 기반 사용자 맞춤형 계절 예측자료 추출 및 가공서비스 개발

2-1 문제 제기

미국해양대기청(NOAA)에서는 기후, 기상, 해양, 위성 등 다양한 자료를 제공하고 있으나, 사용자가 원하는 변수와 기간에 따른 자료추출 서비스를 제공하지 않고 있어 사용자는 다양한 종류의 자료에서 필요한 자료만 내려받아 개인 전산 자원을 활용하여 필요한 정보를 생산해야 한다[2]. 하지만, 대부분 자료는 미국을 중심으로 구성되어 있고 유럽의(ECMWF) 주요국 가도 상황은 미국과 같다[3].

APEC기후센터에서 제공하는 기후자료처리시스템(CLIPs)은 자신이 원하는 자료를 추출하여 제공하는 장점이 있으나 개인 컴퓨터에 설치하여 사용하는 소프트웨어 방식으로 제공되어 있어 자료처리를 위해서는 개인 컴퓨터의 성능이 중요하다. 또한, 논문에서 제시하는 자료계산이나 시각화 기능은 제공하지 않는다[4].

일본의 자료통합분석시스템(DIAS)은 해양, 기상, 수자원 등 다양한 자료를 수집하여 제공하고 있으나, 자료검색 및 모니터링 이미지 정보를 제공하고 있어 논문에서 제기하고자 하는 자료처리, 추출, 가공 및 시각화 정보 제공과 차이를 보인다[5].

또한, 웹 인터페이스 서비스(Open Web Processing Service)는 지리정보를 이용하여 지도기반 마스킹 정보를 제공하여 공간자료를 추출하는 서비스로 해안선이 복잡한 도서 지역에 유용하지만, 해상도가 낮은 기후자료에 활용하기는 적절치 못하고 CUI (Command User Interface)로 사용을 위해서는 전문지식이 필요하다[6].

대부분 서비스는 자신의 국가를 중심으로 자료를 수집하여 제공하고 있으며 자료처리 방식 또한, 범용적이지 못하다. 아시아 태평양 도서국에서 사용하기 위해서는 최소한의 인터넷 자원과 표준화된 웹브라우저만 있으면 자료추출 가공, 결과 제공까지 활용할 수 있는 서비스가 필요하다.

2-2 제안 서비스

모바일 및 인터넷 통신기술 발달과 웹 기술의 표준화가 진행되면서 클라우드 기반의 자료처리와 웹 기반의 서비스로 분리하여 시스템 개발이 필요하다.

첫째, 자료의 측면에서는 전 세계의 대표적인 모델 생산기관의 신뢰성 있는 모델 예측자료의 수집이 필요하다. 신뢰성 있는 모델 자료를 통해 예측 결과의 신뢰성을 향상시킬 수 있기 때문이다. 이를 위해 14개의 대표적인 계절 예측 모델 생산기관으로부터 정기적으로 개별 모델자료를 수집하고 APEC 기후센터의 다중모델 앙상블 기법(MME)을 적용하여 생산된 계절 예측자료를 대상으로 서비스를 제공한다.

둘째, 사용자 서비스 측면에서는 표준화된 웹 통신기술을 활용하여 웹브라우저만 있으면 활용이 가능한 서비스 제공이 필요하다. 모바일 플랫폼부터 다양한 전산기기의 발전으로 사용자 서비스가 확장되었지만, 안정적인 서비스 제공을 위해서는 W3C에서 제공하는 표준화된 웹 표준 규약 코드를 이용하여 인터넷이 가능한 곳에서는 어떠한 단말기를 이용하든 손쉽게 사용할 수 있는 서비스를 제공하고자 한다. 더불어 대용량 원시 자료를 기반으로 가공된 결과 파일은 경량화되고 사용자 편리성을 위해 비동기식 자료전송서비스를 적용하고자 한다.

셋째, 사용자 활용 측면에서는 그래픽사용자인터페이스(GUI) 방식으로 서비스를 제공해야 한다. 주요 사용자는 컴퓨팅 자원이나 컴퓨팅 기술이 높지 않은 일반 연구자나 재난 재해를 대비하는 정책결정자를 위한 일반 사용자 수준에서 제공되어야 한다. 그리하여 서비스는 마우스만을 활용하여 자료를 처리하고 분석하여 분석된 결과를 이미지 정보나 사용자가 쉽게 이해할 수 있는 파일 포맷으로 변환하여 제공하도록 구축하고자 한다.

넷째, 자료처리 측면에서는 모든 자료처리 및 분석은 APEC 기후센터에서 보유 중인 고성능 계산자원을 활용하여 분산‧병렬 처리 형태로 시스템을 구성하고자 한다. 이런 구성을 통해 빠른 계산 결과를 사용자에게 제공할 수 있고 사용자의 전산기기의 성능에 따른 결과 제공 시간이 달라지지 않기 때문이다.

Table 1.

Participating individual models for APCC MME.

3-1 개별 모델 예측자료

전 지구 규모의 기후 예측정보를 제공하는 세계 대표 현업 및 연구기관들의 협력을 기반으로 같은 형식의 표준화된 계절 예측자료를 매월 수집하고 있다.

계절예측 자료는 크게 실시간 예측(forecast)과 과거 기후 재현(hindcast)으로 구분되며, 기관별 기후 예측모델의 특성에 따라 예측 시간(선행 시간), hindcast 기간, 해상도, 변수, 앙상블 등의 제공 정보가 상이하다. 개별 모델별 계절 예측자료는 제공 기관에 따라 원시 자료의 형식 및 구조 또한 전부 상이하지만, 해당 계절 예측자료에 대하여 일관된 형식으로 표준화된 자료를 제공하고 있으며, 결정론적 수치에 대하여 제공한다.

3-2 다중 모델 앙상블 예측자료

개별모델의 계절 예측정보를 기반으로 여러 가지 다중모델 앙상블(이하 MME) 기법을 적용하여 예측정보를 매월 생산하고 있다. MME 예측은 참여(개별)모델 간의 불확실성을 최소화하여 단일 모델이 갖는 예측성 보다 안정적이고 향상된 예측성을 나타낸다[8].

다중앙상블 기법의 다양한 기법 중에서 결정론적(deterministic) MME 예측기법과 확률론적(probability) MME 예측기법을 제공하고 있다.

결정론적 MME 예측기법으로 각 개별 모델별로 모든 앙상블 예측 구성의 평균값을 동일한 가중치로 종합하는 방법의 SCM(Simple Composite Method) 기법이 사용되었고, 1991-2010년 (20년)의 기후 평년 기간에 대해 기후 평년값을 기반으로 한 편차값에 대하여 제공한다. 확률론적 MME 예측기법으로 Gaussian fitting method(GAUS)를 활용하여 각 개별 모델별 가중치를 부여한 확률분포 상에서의 3분위(평년 대비 높음/많음, 평년 비슷, 평년 대비 낮음/적음) 범주로 예측확률을 제공하며, 이 또한 SCM과 동일한 기후 평년 기간을 평년으로 정의하고 있다[9].

3-3 계절 예측자료 특성

계절예측 자료는 4개의 기후 예측모델의 예측자료와 다중모델 앙상블(MME) 자료를 활용하였다. 원시 자료는 기상/기후 분야에서 자주 사용하는 NetCDF 형태이며, 기본적으로 결정론적 예측자료는 기온(temperature at 2m; t2m), 강수(precipitation; prec), 850hPa 기온(temperature at 850hPa; t850), 해면기압(sea level pressure; slp), 해수면온도(sea surface temperature; sst), 500hPa 지위고도(geopotential height at 500hPa; z500), 850hPa 동서바람(u-vector wind at 850hPa; u850), 850hPa 남북바람(v-vector wind at 850hPa; v850), 200hPa 동서바람(u-vector wind at 200hPa; u200), 200hPa 남북바람(v-vector wind at 200hPa; v200)의 변수에 대해서 공통적으로 제공되며, 확률론적 예측자료는 기온, 강수, 850hPa 기온, 해면기압, 해수면 온도, 500hPa 지위 고도의 6종의 변수가 제공된다.

개별모델은 2020년 7월 예측분부터 해당 모델의 모든 선행 시간에 대하여 제공되지만, MME 예측자료의 경우 개별 모델의 최대 선행 시간에 따라 3개월 예측과 6개월 예측의 두 가지 선행 시간 형태로 구성되고, 각 선행 시간별로 MME 참여모델 구성이 상이하다. 이는 일부 모델 중 6개월 미만의 예측정보를 제공하는 개별모델이 있기 때문에 3개월 예측에는 거의 모든 개별모델이 MME에 참여 가능하나, 6개월 예측에는 6개월 이상의 예측정보를 제공하는 모델들만 MME에 참여하기 때문이다.

4-1 시스템 설계

자료처리를 위해 한국정보화진흥원(NIA)에서 제공하는 공공 개방형 클라우드 플랫폼인 PaaS-TA (Platform as a Service TA)를 활용하였다[10]. 병렬 처리를 위해 6대의 서버를 2그룹으로 나눠 클러스터를 구성하고 PaaS 영역을 위해 사설 IP대역 네트워크와 서비스 영역의 공인 IP대역으로 나눠 구성하였다. 서버와 스토리지의 기본 사양은 다음과 같다. 네트워크 구성은 공공기관 네트워크 분리 정책에 따라 외부 인터넷망(external) 1개와 서비스 배포 및 관리를 위해 내부 인터넷망(internal) 대역 2개로 나누었으며 전용구간과 서비스 구간으로 구분하였다. 또한, 보안 강화를 위해 Clould Foundry를 통해서 배포되는 어플리케이션은 모두 DNS를 통해 접근하도록 구성하였다.

Table 2.

Properties for cloud computing system

Fig. 1.

Basic Installation Structure of PaaS-TA Using BOSH2[11]

Fig. 2.

Maintaining the integrity of seasonal forecast data through a program to check compliance with CF Conversion

4-2 어플리케이션 구성

APEC기후센터에서 사용하는 PaaS-TA의 서비스 API는 Clould controller와 서비스 브로커 사이에서 Catalog, provision, un-provision, update provision, bind, unbind 등 통신규약을 구성하였다. 브로커는 http endpoint URI 형식의 Restful로 구현되어 하나 이상의 서비스가 하나의 브로커에 의해 제공될 수 있고, 로드 밸런싱이 가능한 수평적 확장이 제공될 수 있도록 구성되어 있다. 또한, 여러 실행환경의 서비스 인스턴스는 다른 URI 접두사 및 자격증명을 사용하여 하나의 브로커에 의해 지원될 수 있고, 서비스는 서비스 broker API라고 불리는 cloud controller 클라이언트 API를 구현하여 실행환경에서 사용되도록 하였다[11].

4-3 자료처리용 메타데이터

계절예측 자료는 연구목적으로 구축된 HPC (High performance computing)에서 생산되고 공유되어 일반 사용자는 자료의 접근이 불가능하다. 그리하여, 계산 영역과 서비스 영역으로 나누어 정기적으로 생산되는 다중모델 앙상블 자료를 개별 모델자료와 같은 위치의 서비스 영역 서버로 동기화시켰다. 동기화 과정에서 자료의 품질점검을 통해 이질적인 속성정보 표준화하였다. 표준화 방법은 OGC에서 제공하는 CF(Climate and Forecast) 규약에 따른 메타데이터 검증 방법을 적용하였다[12]. 자료처리 서비스의 효율성을 높이기 위해 데이터베이스 시스템을 사용하지 않고 오직 구조화된 파일 목록을 사용하였다. 자료검색 및 추출은 구조화된 파일 구성을 이용하여 동기화 작업이 가능하도록 구성하였다. HPC에서 생산된 자료를 서비스용 스토리지로 동기화시키면서 오류파일을 점검하고 전송된 파일의 무결성 검증이 완료되면 미리 정해진 규칙성을 이용하여 파일을 관리하고 누락된 파일은 재복사하여 최적의 파일 구조 형태를 유지하도록 구성하였다.

5-1 사용자 웹 인터페이스

계절 예측자료 가공 및 추출을 위해 W3C에서 제공하는 웹 표준 프로토콜을 이용하여 사용자 인터페이스를 구성하였다. (https://clips2.apcc21.org/clips) 사용자 인터페이스는 비동기 통신방식을 적용하여 접근의 제약을 해소하고 확정성을 고려했다. 계절 예측자료 가공 및 추출을 위한 화면은 자료검색 및 조건 입력화면, 자료처리 결과 화면 그리고, 자료제공 화면으로 구성하였다. 자료검색 및 조건입력화면에서는 웹사이트에 접속하는 시간을 기준으로 자료의 종류와 최신자료의 목록 파일 스토리지에서 검색하여 표출해 준다. 서비스를 자주 사용하는 사용자들에게 검색조건 입력하는 수고를 덜어 주기 위해서다. 사용자가 특정 기간이나 지역을 가공하자 할 경우, 사용자는 원하는 지역, 변수, 기간, 모델, 앙상블 기법 등을 이용하여 자료를 추출할 수 있으며, 개별모델을 이용하여 평균값이나 사용자가 Hindcast 기간을 자유롭게 조절하면서 Anomaly 계산한 결과를 얻을 수 있도록 구성하였다. 주로 사용하는 지역을 미리 정의하여 좌표를 일일이 입력해야 하는 번거로움을 줄이고 정의되지 않은 지역을 선택하고자 할 경우, 좌표입력 화면에서 좌표를 수정하여 지역을 추출할 수 있다. 가공된 자료를 NetCDF나 엑셀 파일형태로 내려받을 수 있도록 구축하였다.

Fig. 3.

User interface that displays the results by lead-time of seasonal forecast data

5-2 자료 검색 및 분석영역 지정

자료 분석을 위해서는 사용자가 원하는 대상 자료를 우선 선택해야 한다. 서비스를 위해 사용된 자료는 3개월에서 7개월까지 예측 기간이 다양한 개별 모델 자료와 3개월과 6개월로 통일된 다중모델 앙상블 자료로 나뉜다.

또한, 각 모델을 생산하는 기법에 따라 결정론적 모델 자료와 확률론적 모델 자료로 세분화 된다. 더불어, 각 모델은 편년값을 통해 기후값이나 편차를 선택할 수 있다. 사용자의 편리성을 위해 선택메뉴는 상위에서 하위로 분류시켰다. 생산기관이나 자료의 종류, 변수 종류, 예측 기간, 예측자료생산 기법, 예측 날짜, 추출 좌표정보, 추출 지역 정보, 자료가공 결과를 위한 검색 및 조건입력창이 제공하도록 개발하였다. 멀티모델 앙상블 기법으로 생산된 계절 예측자료와 참여기관에서 제공하는 개별모델을 바탕으로 검색조건을 바뀌도록 검새 화면을 구성하였다. 사용자는 선택된 자료 종류에 따라 변경되는 하위 메뉴를 선택하여 강수, 해수면 온도, 2m 기온, 해면기압 등 다양한 변수와 6개월, 3개월 다중모델 앙상블, 결정론적 방법이나 확률론적 방법을 선택하고 추출하고자 하는 지역 좌표를 직접 입력하거나 지역을 선택하여 가공·처리된 정보를 볼 수 있다. 사용자의 편리성을 위해 지역은 전 지구, 동아시아, 호주, 호주 및 남태평양지역, 중동지역, 북아메리카, 러시아, 남아메리카, 남아시아로 구분하여 제공하지만, 사용자가 특정 지역을 원한 때는 직접 좌표입력을 통해 자료와 변수를 추출하여 사용할 수 있도록 하였다.

Fig. 4.

Processing results of East Asian monthly mean precipitation data and sea surface temperature in Australia.

5-3 가공자료 및 추출자료 시각화

기후자료처리 시스템에서 제공되는 변수는 강수, 고도별 기온, 해수면 온도, 해면기압 등으로 처리된 결과를 제공할 때, 각 변수의 특성을 반영한 결과 지도를 제공해야 한다. 범례의 컬러 테이블은 강수와 기온, 편차장과 평균에 따라 다르게 사용되어야 하며, 다중모델 앙상블을 생산하는 기법에 따라 결정론적 방법과 확률론적 방법의 결과 표출 기법을 다르게 구성해야 한다. 결정론적 방법은 이웃하는 값의 윤곽선을 생성(contour)하지만, 확률론적 방법은 좌표정보를 그대로 표시해야 한다.

전 지구를 기반이 아니 지역을 추출할 경우, 좁은 영역에서는 값의 간격의 크면 하나의 값을 표출될 수 있어, 최솟값과 최댓값을 기준으로 적절한 간격을 유지하도록 시각화하였다. 강수의 경우, 평균값 정보 제공을 위해 0부터 최댓값을 기준으로 제공하였다.

다중모델앙상블 기법은 기간이나 변수에 따라 조합되는 모델의 수가 변경이 되므로 결과물에 적용된 개별모델 정보를 제공하고 편차를 계산하기 위해 사용된 hindcast 기간을 같이 제공하여 지도기반 시각화 결과에 대한 자세한 정보를 제공하고 있다.

Fig. 5.

Visualization results processed for various variables

5-4 사용자 맞춤형 편차 계산

전 세계의 모든 기관은 WMO의 권고에 따라 기후 예측을 위해서는 정해진 평년 기간을 사용하고 있다. 평년 기간은 연도에 따라 변경되나, 시스템 개발에 활용된 자료의 평년 기간은 1991년부터 2020년까지 30년의 기간을 적용한 예측 자료이다. WMO에서 권고하는 이유는 각 국가별 평년 기간을 다르게 할 경우, 같은 관측 결과에 대해 특정 지역에서 이상기후 현상으로 분석되는 오류를 방지하기 위해서다. 하지만, 평년 기간을 변경하면서 분석할 경우, 특정 연도에 특이 패턴을 찾는데 유리할 수 있다. 그리하여 연구자들은 다양한 평년 기간을 적용하여 자신의 지역에서 특이 변화를 찾고자 한다. 이런 분석은 계산자원이 풍부한 대용량 계산 서버나 시스템을 이용해야 하기에 전문연구자가 아니면 쉽게 접근하기 힘들다.

정기적으로 제공되는 APEC기후센터의 다중모델 앙상블 기법을 적용한 계절 예측자료는 편차를 계산하기 위해 정해진 기후 평년값(1991~2020)을 사용하고 있다. 이를 개선하고 사용자들에게 폭넓은 분석 기회를 제공하기 위해 맞춤형 서비스를 위해 사용자들에게 평년값 기간(Climatology Period)을 자유롭게 조절할 수 있도록 서비스를 제공하여 다양한 방법으로 편차를 계산하여 기간에 따른 해당 연도의 예측정보 분석할 수 있도록 알고리즘을 적용하였다.

Fig. 6.

Anomaly result (above) and Mean result (below) of seasonal forecast data

계산 알고리즘은 변수별로 최적화시켰고 분석기법은 각 모델이 가지고 있는 여러 변수의 특성을 반영하여 평균값이나 평년값에 대해 계산된 편차 정보(Anomaly) 결과를 월별(Lead time)로 표현하며 각 Lead Time을 선택하면 상세정보와 함께 계산 결과를 확인할 수 있다.

APEC 기후센터의 SCOPS 모델의 2020년도 6월에 예측한 강수 자료에 대해 1980년부터 2010년의 Hindcast를 이용하여 전 지구의 강수의 편차(Anomaly)를 계산한 결과와 Mean 평균값 계산 결과로 첫 번째 예측 월인 2020년 7월을 선택하여 자세한 화면으로 확인한 예시이다.

5-5 파일 포맷 변환처리 제공

기후연구 분야에서 가장 많이 사용되고 있는 파일 포맷은 NetCDF 형식으로 시·공간 정보와 많은 변수들이 압축되어 있는 형태로 구성된다. 이런 NetCDF 파일을 사용하기 위해서는 전용프로그램을 설치하고 직접 코딩을 통해 정보를 추출해야 한다. 이런 어려움으로 재난 재해를 대비하는 연구자나 정책결정자는 쉽게 사용하지 못하고 있다. 그리하여, 사용자들이 연구하고자 하는 선택한 변수와 지역 그리고, 계산된 편차 정보 및 평균값을 재활용할 수 있도록 파일형태로 내려받기 서비스를 개발하였다. NetCDF 파일 포맷에 익숙하지 않은 사용자들을 위해 이미지 정보나 엑셀파일 형태로 변환하여 제공하고 공간정보와 시간정보를 하나의 파일에 저장하기 위해 시간정보는 sheet로 구분하고 공간정보는 위도와 경도를 기준으로 테이블 형태로 구성하였다.

Fig. 7.

Data file format conversion of Data extraction and processing results