클라우드 마이그레이션 경제성 분석 모델에 대한 연구

Ⅰ. 서 론

클라우드 컴퓨팅 기술의 발전은 IT(information technology)인프라에 혁신적인 변화를 가져왔으며, 클라우드를 활용하는 조직에게 IT인프라 구축 비용과 운영 비용을 절감하고, 생산성을 개선할 수 있는 기회를 제공하였다. 클라우드 기반의 서비스의 장점은 사용한 만큼만 비용을 지불하는 온-디맨드(on-demand) 과금 정책, 유연성과 확장성, 운영 효율성을 개선 등으로, IT인프라를 이용하여 사업을 영위하거나 플랫폼 서비스를 제공하는 조직에게 있어서 핵심 요소로 인식되고 있다[1].

클라우드 컴퓨팅 서비스 모델은 인터넷을 통해 가상머신, 저장소, 네트워크, 시각화 등의 컴퓨팅 자원을 제공하는 IaaS(intrastructure as a service), 애플리케이션 개발, 실행 및 관리를 위한 클라우드 기반 플랫폼을 제공하는 PaaS(platform as a service), 애플리케이션 서비스를 제공하는 SaaS(software as a service)로 분류되며, 다양한 조직의 수요에 맞춰 여러 형태의 추상화된 서비스와 관리 서비스를 제공한다. 조직은 클라우드를 도입하는 목적, 유연성, 사용 용이성에 대한 수요에 따라 적합한 클라우드 모델을 선택할 수 있다. 따라서 클라우드 서비스는 디지털 혁신에 있어서 반드시 필요한 요소는 아니지만, 클라우드가 제공하는 기능성, 비용 절감 효과, 유연성은 디지털 혁신을 고려하는 조직이 고려해야 할 선택지(옵션)로 인식되고 있다[2].

조직이 클라우드를 도입에 대한 의사결정을 위해 고려할 수 있는 요소 중 하나는 운영비와 자본지출이다[3]-[5]. IT인프라를 클라우드로 마이그레이션하는 경우, 운영 지출(OPEX; operational expenditures)과 자본 지출(CAPEX; capital expenditures), 투자수익률(ROI; return of investment)과 같은 주요 재무지표를 이용하여 재무적 영향을 평가한다. 이와 같은 지표는 총소유비용(TCO; total cost of ownership) 및 총운영비용(TOE; total operating expenses)에 대한 의사결정을 지원하며, 조직이 영위하고 있는 사업과 보유하고 있는 기술에 대한 완벽한 이해 없이도 클라우드와 관련된 의사결정이 가능하게 하는 지표이다[1].

조직이 IT인프라에 직접 투자하는 경우 투자한 비용이 대차대조표에 자산으로 기록되고, 시간이 지남에 따라 감가상각된다. 또한, IT인프라와 관련된 자산 구매, 유지보수 및 폐기와 관련된 비용, 자산 운영에 필요한 인건비, 자산이 가치를 창출할 수 있도록 유지하기 위한 관리, 서비스 중단 또는 사업 중단에 따른 자산의 처분 비용 등이 필요하다. 따라서 투자한 IT인프라를 관리하고 운영하기 위한 상당 수준의 비용과 노력이 요구된다.

반면, 클라우드 서비스 공급자(CSP; cloud service provider)가 제공하는 IT인프라 서비스(IaaS, PaaS, SaaS)를 제공받는 경우 별도의 인프라 투자 비용은 발생하지 않으며, 구독료만이 OPEX로써 발생한다.

조직이 자체 IT인프라를 통해서 사업을 영위할 경우 대부분의 비용이 CAPEX로 구성되고, 클라우드 서비스를 이용하는 경우 대부분의 비용이 OPEX로 구성되므로, 자체 인프라를 보유하는 경우를 CAPEX 모델로, 클라우드 서비스를 이용하는 경우를 OPEX 모델로 분류하여 비교할 수 있다[4].

OPEX 모델에서 클라우드 서비스의 구독료는 일반적으로 vCPU(virtual central processing unit), vGPU(virtual graphics processing unit) 등 컴퓨팅 자원의 사용량 또는 저장 공간, 네트워크 트래픽 사용량을 기준으로 계산되므로 초기 투자 비용이 큰 폭으로 감소하고, 이를 이용하는 조직의 구성원은 애플리케이션 관리에만 집중할 수 있으며, IT인프라 수요 증감에 따른 이용량을 유연하게 조절할 수 있다. 반면, CAPEX 모델에서는 조직이 직접 자산을 소유하고 관리해야 하며, 그에 따른 비용 부담을 갖는다.

OPEX 모델에서는 구독료를 지불하여 외부 제공업체의 자산을 사용하며, 초기 비용 소요가 줄어들고 설비 투자에 따른 비용 부담이 발생하지 않는다. 이와 같은 비용에 대한 고찰은 조직이 IT 기반의 서비스를 바탕으로 사업을 영위하는 데 있어서 중요한 요소로 인식될 수 있다[5]. 본 연구에서는 조직이 IT인프라를 운용하는 방법에 대한 의사결정을 할 때 고려해야 할 비용 모델에 대해서 분석함으로써 합리적인 의사결정이 이루어질 수 있는 방법에 대해서 살펴보고자 한다. 이를 위해서 먼저 클라우드 도입과 관련된 국내·외 연구 사례를 살펴보았다.

클라우드를 활용하여 비즈니스 모델 혁신을 도출하고, 안정적이면서도 효율적인 서비스를 제공하기 위한 연구 사례는 국내를 비롯한 해외 연구 사례까지 다수 확인된다. 국내 연구 사례를 살펴본 결과, Park 외 1인의 금융권 클라우드 서비스 도입에 대한 연구[6], Ahn 외 1인의 SAP(System Analysis Program development)사 클라우드 기반의 HR(human resource management) 업무 전환 사례 연구[7], Kang의 클라우드 도입을 위한 전략 연구 사례와 Baek 외 3인의 클라우드 전환 프로세스 연구 사례 등 클라우드 기반의 디지털 혁신을 위한 방법, 전략, 성공사례에 대한 연구가 확인된다[8],[9].

Park 외 1인은 국내외 클라우드 서비스 현황에 대해서 리뷰하고, 5인의 금융권 및 IT 전문가를 대상으로 인터뷰를 진행하여 금융권 클라우드 서비스 도입 활성화의 한계성을 분석하였다[6]. Park 외 1인은 보안사고 방지, 클라우드 서비스 제공자와 이용자간 책임 공유 설정 가이드라인, 의사결정 모형 설계, 신뢰성 확보, 책임 부과 사례 조사 및 분석, 클라우드 서비스 도입 및 유지에 소요되는 비용에 대한 부담, 서비스 모델에 대한 정보의 부족 등이 금융권 클라우드 도입 활성화를 위해 마련돼야 할 해결 과제로 선정하였다[6].

Ahn 외 1인은 SAP사의 클라우드 기반의 HR 업무 전환의 진행 과정과 그 성과를 분석하였고, HR 전환을 성공적으로 수행하기 위한 핵심 요인을 도출하였다[7]. Ahn 외 1인의 연구 결과에서는, 클라우드 기반의 HR 전환은 조직의 운영 효율성 측면에서 개선 효과가 있는 것으로 분석되었다. 또한, 경영전략과 HR 전략의 연계, 기업문화의 변화, HR 운영의 일관성 확보와 사용자 중심의 운영모델, 조직 구성원의 협력과 커뮤니케이션을 주요 성공 요인으로 도출하였다. Ahn 외 1인의 연구 결과는 HR에 국한되어 있지만, 클라우드 기반의 시스템 도입을 통한 디지털 혁신의 성공 사례를 분석한 것이다.

Kang은 국내 중견 기업이 운영하는 가상의 정보 자산을 가정하고, 이를 클라우드로 전환하기 위한 방안과 전략, 기대효과를 분석하였다[8]. Kang의 연구에 따르면, 해당 가상의 정보 자산은 물리 및 가상화 서버를 혼용하여 서비스를 제공하고 있고, 서버의 가상화 비율은 28.9%이다. Kang은 결론에서 레거시 시스템을 클라우드로 전환할 시 탄력성과 민첩성, 과금제로 인한 비용 효율성, 확장성, 자원 이용률, 신뢰성 등의 효과를 기대할 수 있음을 기술하였다.

Baek 외 3인은 금융권에서 클라우드 서비스 도입을 위한 5단계 프로세스를 개발하였다[9]. Baek 외 3인이 개발한 프로세스는 외부 클라우드 환경의 조사, 내부 환경 분석, 클라우드 컴퓨팅 설계, 클라우드 컴퓨팅 구축 및 이관, 클라우드 컴퓨팅 서비스 운영의 5단계로 구성되어 있다.

앞서 살펴본 연구에서는 클라우드 기반의 디지털 혁신 사례가 조직에게 여러 성과를 안겨줄 것으로 기대하고 있다. 이는 Llopis-Albert 외 2인의 연구를 비롯한 다수의 연구에서 주장하는 바와 다르지 않다[10].

세계적으로 클라우드 기반의 서비스를 도입하거나 기존 IT인프라 자원을 클라우드로 마이그레이션하기 위한 방법과 전략에 대해서 논의하고 있는 다수의 연구 사례는 확인되지만[6]-[9],[11],[12], 국내에서는 클라우드 기반의 의사결정을 지원하기 위한 비용 연구에 대한 연구는 다소 미흡한 편이다. 앞서 설명한 바와 같이 TCO와 TOE에 대한 포괄적인 인사이트를 제공하는 지표인 CAPEX와 OPEX를 이용한 경제성 분석이나 ROI에 대해서 구체적으로 다루고 있는 연구 일부만이 확인된다[13],[14]. 이에 본 연구에서는 조직의 비즈니스 측면에서 어떤 클라우드 모델을 도입하고, 비용 측면의 장점, 확장성과 이점, 그리고 최적화 전략에 대해서 다룬 문헌을 리뷰한다. 또한, 정보 시스템을 운영하고 있는 조직이 IT인프라를 클라우드로 도입할 때 소요되는 TCO 모델 분석, ROI 분석 방법에 대해서 고찰하고[1],[3]-[5],[15],[16], 이를 바탕으로 새로운 인사이트를 도출하고자 한다.

상기 연구를 수행하기 위해 Ⅱ절에서는 클라우드 TCO(CC TCO; cloud computing TCO) 분석과 ROI 분석에 대해서 고찰하고, Ⅲ절에서는 CC TCO 모델 연구 사례에 대해서 리뷰한다. Ⅳ절에서는 Ⅲ절에서 리뷰한 TCO 사례를 바탕으로 CC TCO 모델에 대한 인사이트를 도출하고, 기존 연구에서 고려하지 않았던 기술사업화 과정에 내재된 다양한 위험을 고려한 할인율(risk-adjusted discount rate)을 고려하여 현실적인 비용 산출 예시를 보이고, 마지막으로 Ⅴ절에서는 결론을 도출한다.

Ⅱ. 클라우드 컴퓨팅 경제성 분석 방법

Ⅲ. TCO 분석 사례 리뷰

3-2 CC TCO 분석 사례 연구

Altmann 외 1인은 일반적인 연합 하이브리드 클라우드의 비용을 추정하기 위해 고정 비용, 가변 비용, 총 비용을 수식화하여 비용 요소를 분석하는 모델을 제안하였고, 이를 바탕으로 퍼블릭 클라우드간 데이터 전송 비용과 VM(virtual machnie) 마이그레이션 비용을 포함하여 비용을 최적화하는 COMBSPO(cost model based service placement optimization) 알고리즘을 제안하였다[15]. Altmann 외 1인의 연구에서 비용 함수는 m 시간 동안의 트래픽 관련 비용(T^IO_m), 배치 관련 비용(C_m^D), 고정 비용(FC^D), 가변 비용(VC(m))의 함수로 표현된다. 트래픽 비용 관련 함수는 SP(service placement vector), DTM(data traffic matrix), TCR(traffic cost rate matrix) 간의 비용 계산을 포함하는 함수로, SP는 서비스를 호스팅하는 클라우드를 식별하기 위한 벡터이고, DTM은 데이터를 전송하는 서비스와 전송 받는 서비스로의 트래픽을 표현하는 매트릭스이며, TCR은 데이터를 전송하는 서비스(i)의 아웃바운드와 전송 받는 서비스(j)의 인바운드 전송량에 따른 비용을 표현하는 매트릭스이다. 이를 바탕으로 특정 단위 트래픽당 가격을 곱하는 용량 기반 가격 책정 방식을 이용하여 비용을 함수로 표현하였다(식 (7)).

$\[ T_m^{IO}=\sum _{i=1}^M\sum _{j=1}^{M}DTM\left(i,j\right)\times \mathrm{T}\mathrm{C}\mathrm{R}(SP\left(i\right),SP\left(j\right)) \]$

(7)

또한, 서비스 배치 변경으로 인해 발생하는 배치 비용을 산출하기 위한 비용을 추가하였고, 일정 시간 m에 대한 총 배치 비용(C_m^D)은 클라우드별 시간(m)에 대한 배치 수 벡터(Q_d)에 배치 비용 벡터(DCV)를 곱하여 산출하였다(식 (8)).

$\[ C_m^D=Q^d\times DCV \]$

(8)

고정 비용(FC^D)으로는 서버 구매 비용(C^Se), 네트워크 장비 구매 비용(C^Ne), 소프트웨어 라이선스 비용(C^BSS), 미들웨어 라이선스 비용(C^MS), 애플리케이션 소프트웨어 라이선스 비용(C^AS), 장비를 설치할 공간 비용(C_FaF), 비전기적(non-electronic) 장비 비용(C_Nee), 케이블링 비용(C_Ca)을 바탕으로 산출하였고, 고정 비용의 감가상각을 고려한 계수(D_IT, D_F, D_U)를 적용하였다(식 (9)).

$\[ F{C}^D\begin{array}{l}=\frac{1}{D}\left(\sum C^{Se}+\sum C^{Ne}\right.+\sum C^{BSS}+\sum C^{MS}\\ \left.+\sum C^{AS}\right)+\frac{1}{D_F}{C}_{Fa}F+\frac{1}{D_U}\left(C_{Nee}+C_{C_a}\right)\end{array} \]$

(9)

가변 비용(VC(m))으로는 m 시간 동안 냉각을 위해 필요한 전기의 양(E^C_m), m 시간 동안 유휴 상태(idle state)인 모든 장치의 전기 사용량(E^Idle_m), m 시간 동안 동작 중인 장치에서 사용된 전기의 양(E^Use_m)의 합에 일정 m시간 당 전기 비용(C^Elec_m)을 곱한 값으로 표현한다<식 10>. 인터넷 사용비용은 인터넷 사용에 대한 단위 비용(C^Int_m)에 m 시간 동안의 인터넷 사용량(I_m)의 곱으로 표현하였다. 인건비는 소프트웨어 유지(C^LS_m), 하드웨어 유지(C^LH_m), 기타 작업 유지를 위한 노동 단위의 비용(C^LO_m)에 각각의 유지보수 작업에 투입된 노동력(L^S_m, L^H_m, L^O_m)을 곱하여 표현하였다. 또한, 클라우드 배포 비용(C^D_m), 일정 기간 동안의 트래픽 비용(T^IO_m), m 시간 동안 단위 클라우드 저장소 이용비용(C^Sto_m)에 클라우드 저장소 사용량(H_m)을 곱하여 저장소 비용을 표현하였고, i번째 클라우드 노드의 사용비용(C^Ser_m,i)에 서버의 수(Sⁱ_m)을 곱하고, 전체값을 합하여 유형에 따른 클라우드 노드의 사용료를 표현하였다(식 (10)).

$\[ VC\left(m\right)\begin{array}{l}=C_m^{Elec}\left(E_m^C+E_m^{EIdle}+\right.\left.E_m^{Use}\right)+C_m^{Int}{I}_m\\ +C_m^{LS}{L}_m^S+C_m^{LH}{L}_m^H+C_m^{LO}{L}_m^O+C_m^D\\ +T_m^{IO}+C_m^{Sto}{H}_m+\sum _i^{Sar Type }{C}_{m,i}^{Sor}{S}_m^i\end{array} \]$

(10)

Altmann 외 1인의 연구를 기존 연구와 비교했을 때 가지는 차별성은 식 (7)로 표현된 퍼블릭 클라우드간 데이터 전송 비용(DTM)과 VM 마이그레이션 비용(TCR)을 가변 비용(VC(m))에 포함하여 최적화 알고리즘을 제안했다는 데 있다[5]. 이후 해당 연구를 근간으로 하여 클라우드 마이그레이션 비용에 관한 연구[4],[21], 클라우드 컴퓨팅 알고리즘 및 최적화 연구 등 다수의 연구가 수행되었다[22]-[24].

Antohi는 데이터 센터에서 운영하던 웹 시스템을 클라우드로 마이그레이션할 때 소요되는 비용을 Amazon과 MS Azure의 클라우드 사용료를 바탕으로 비교하였다[5]. 이를 위해서 웹 시스템을 구성하는 인프라 요소(IE; infra element)와 기술 구성요소(TC; technical components)로 나누어 기술 구성요소가 인프라 요소에 할당되는 모델을 가정하였다.

인프라 요소는 로드 밸런서(IE(1)), 웹서버1(IE(2)), 웹서버2(IE(3)), 애플리케이션 서버1(IE(4)), 애플리케이션 서버2(IE(5)), 데이터베이스 서버1(IE(6)), 데이터베이스 서버2(IE(7))로 나누었고, 기술 구성요소는 A10 Acos4.0(TC(1)), Redhat 6(TC(2)), Apache 2.4(TC(3)), Tomcat 7(TC(4)), Oracle 12c(TC(5)), Magnolia Web(TC(6)), Magnolia Database(TC(7)), Magnolia Application(TC(8))으로 나누어 고려하였다. 예를 들어, 웹 시스템 S는 <식 11>과 같이 구성될 수 있다.

$\[ S=\begin{array}{l}\left\{\mathit{I}\mathit{E}\left(\mathbf{1}\right):\left(TC\left(1\right)\right),\right.\\ \mathit{I}\mathit{E}\left(\mathbf{2}\right):\left(TC\left(1\right)\right),\\ \mathit{I}\mathit{E}\left(\mathbf{3}\right):\left(TC\left(2\right),TC\left(3\right),TC\left(6\right)\right),\\ \mathit{I}\mathit{E}\left(\mathbf{4}\right):\left(TC\left(2\right),TC\left(4\right),TC\left(8\right)\right),\\ \mathit{I}\mathit{E}\left(\mathbf{5}\right):\left(TC\left(2\right),TC\left(4\right),TC\left(8\right)\right),\\ \mathit{I}\mathit{E}\left(\mathbf{6}\right):\left(TC\left(2\right),TC\left(3\right),TC\left(7\right)\right),\\ \left.\mathit{I}\mathit{E}\left(\mathbf{7}\right):\left(TC\left(2\right),TC\left(3\right),TC\left(7\right)\right)\right\}\end{array} \]$

(11)

Antohi의 비용 모형은 IE를 테스트하고 설치하는 데 소요되는 비용(Cost IE)과 설치 및 테스트를 위한 데이터 전송량으로 인한 비용(Cost BW)으로 나누어 산출하는 모형이다(식 (12))[5].

$\[ Cost=CostIE+CostBW \]$

(12)

IE 테스트 및 설치 비용은 인프라 요소 j의 설치 및 테스트를 위한 총 시간(CMP1(j))와 IE(j)의 설치 및 테스트에 사용되는 모든 클라우드 IE(k)의 단위 시간당 사용비용 합(∑W1(k))의 곱으로 표현되며, 이를 반영한 결과는 식 (13)과 같다.

$\[ CostIE\left(i\right)=\sum _{j=1}^i\left(CMP1\left(j\right)\times \left(\sum _{k=j}^{i}W\left(k\right)\right)\right) \]$

(13)

i개의 인프라 요소로 구성된 시스템의 마이그레이션 대역폭 비용은 네트워크 전송량에 인프라 요소의 사용비용의 곱으로 표현된다. 인프라 요소 IE(j)의 설치 및 테스트를 위해 사용된 네트워크 전송량(GBytes)이고, CMP1_t(j)는 설치 소요시간, CMP1_t(j)는 첫 번째 클라우드 마이그레이션 포인트의 테스트 소요시간, CMP2(j)는 두 번째 클라우드 마이그레이션 포인트의 아웃바운드 트래픽량(GBytes), W2는 해당 인프라 요소의 단위 시간당 네트워크 사용비용으로, 이를 반영한 결과는 식 (14)와 같다.

$\[ \begin{array}{c}CostBW\left(i\right)\begin{array}{l}=\left(\sum _{j=1}^i\left(CMP2\left(j\right)\times CMP{1}_t\left(j\right)\right)+\right.\\ +\left(\sum _{j=1}^i\left(CMP2\left(j-1\right)\times CMP1\left(j\right)\right)\right)\times W2\end{array}\end{array} \]$

(14)

식 (14)의 시스템 모델에서 Antohi는 Grafana와 Tcpdump를 이용하여 Amazon과 MS Azure 클라우드 상에서 마이그레이션 비용을 측정하였다[5]. 해당 연구에서는 인프라 요소별로 마이그레이션하는 상황을 가정하였고, 각 인프라 요소에 탑재된 기술 구성요소가 다르므로 인프라 요소의 순서별로 마이그레이션 비용이 다르게 나타났다. 예를 들어, Amazon에 인프라 요소를 6, 7, 2, 3, 1, 4, 5의 순서로 마이그레이션 했을 때 비용은 4, 2, 1, 3, 5, 6, 7의 순서로 마이그레이션 했을 때 비용 대비 2배 가량 높았으며, MS Azure에 인프라 요소를 7, 6, 2, 3, 4, 5, 1의 순서로 마이그레이션 했을 때 비용은 1, 4, 5, 2, 3, 6, 7의 순서로 마이그레이션 했을 때 비용 대비 9배 가량 높은 것으로 측정되었다. 결과적으로 Antohi의 마이그레이션 비용 연구는 조직이 클라우드 마이그레이션을 고려할 때 인프라 요소별, 기술 구성요소별로 나누고, 인프라 요소 단위별로 마이그레이션을 진행할 때, 순서에 따라서 마이그레이션 비용에 차이가 있다는 점을 입증하였다.

Shirvani 외 2인은 클라우드 도입에 있어서 ROI, DPP(discounted payback period), BCR(benefit to cost ratio), NPV(net present value) 등 클라우드 도입을 위한 경제성 분석 방법에 대해서 살펴보고, NPV 기반의 분석 방법을 이용하여 경제성을 분석하였다[4]. 식 (15)는 Shirvani 외 2인이 경제성 분석을 위해 조사한 비용 모델의 기본 공식으로, TC는 총 비용(total costs), FC는 고정 비용(fixed costs), VC는 가변 비용(variable costs), LS는 잠재적 손실(potential loss)이며, TC_Investment(T)는 T년 동안의 총비용을 의미한다.

$\[ T{C}_{investment}\left(T\right)=FC\left(T\right)+VC\left(T\right)+LS\left(T\right) \]$

(15)

고정 비용(FC)으로는 서버 조달(SE; server procurement), 네트워크 장치(Ne; network devices), 기본 서버 소프트웨어 라이선스(BSS; basic server software license), 기본 미들웨어(MS; basic middleware), 요청된 애플리케이션(AS; requested applications), 부동산이나 대출 비용과 같은 시설(Fa; facilities), 냉각 및 에어컨 시스템 같은 비전자 장치(Nee; non‐electronic devices), 온프레미스 배치를 위한 케이블(Ca; cabling costs) 비용을 포함하는 개념이다(식 (16)).

$\[ FC\left(T\right)\begin{array}{l}=\sum _j^S{C}_j^{Se}+\sum _j^N{C}_j^{Ne}+\sum _j^B{C}_j^{BSS}+\sum _j^K{C}_j^{MS}\\ +\sum _j^A{C}_j^{AS}+C^{Fa}\times F+C^{Nee}+C^{Ca}\end{array} \]$

(16)

가변 비용은 T 시간 동안의 전자기기 사용량(E^ED_T)과 비전자기기의 사용량(E^NED_T)의 합에 단위 당 전기요금(C^Ele_T)을 곱한 전기요금, 단위 유닛 당 인터넷 요금(C^Int_T)과 T 시간 동안의 인터넷 사용량(I^T)을 곱한 인터넷 요금, 소프트웨어 전문가 인건비(C^Ls_T×L^S_T) 및 하드웨어 전문가 인건비(C^LH_T×L^H_T), 기타 전문가를 위한 인건비(C^LO_T×L^O_T), 서비스 k를 옵션 i에 배포하는데 소요되는 비용(C^Dep_ik)과 배치 비용(Q^d), T 시간 동안의 배치 코스트 벡터(DCV(T))의 곱으로 표현되는 배포 비용, i 인프라에서 j 클라우드로의 데이터 전송 매트릭스(DTM(i, j))와 데이터 트래픽 코스트(TCR(SP(i),SP(j))의 곱의 합으로 표현되는 총 데이터 전송 비용(TR^IO_T), 단위 유닛 당 저장 비용을 나타내는 스토리지 코스트(C^Sto_T)와 스토리지 사용량(H_T)의 곱으로 표현되는 스토리지 비용, 클라우드 서버 j의 T 시간 동안의 사용비용(C^Ser_j,T)과 사용량(S_j^T)의 곱으로 표현되는 클라우드 채택 서비스로 인한 가상 서버 비용이 포함된다(식 (17)).

$\[ VC\left(T\right)\begin{array}{l}=C_T^{Ele}\times \left(E_T^{NED}+E_T^{ED}\right)\\ +C_T^{Int}\times I_T+C_T^{Ls}\times L_T^S\\ +C_T^{LH}\times L_T^H+C_T^{LO}\times L_T^O\\ +C_{ik}^{Dep}\times Q^d\times DCV\left(T\right)\\ +T{R}_T^{IO}+C_T^{Sto}\times H_T+\sum _j^{Ser Type}{C}_{j,T}^{Ser}\times S_T^j\end{array} \]$

(17)

T 시간 동안의 잠재적 손실(LS)은 기술적 손실(technological losses)을 의미하는 항인 L_tech(T)와 환경적 손실(environmental costs)을 의미하는 L_ORG(T) 항으로 표현하였다(식 (18)).

$\[ LS\left(T\right)=L_{Tech}\left(T\right)+L_{ORG}\left(T\right) \]$

(18)

기술적 손실은 다시 탄력성(elasticity), 통신(communication), 처리(processing), 인프라 제어(infrastructure control), 가용성(availability), 보안(security), 프라이버시 및 데이터 기밀성(Privacy and data confidentiality), 요구 사항의 정기적인 준수(regularly comply with requirement)의 값에 각 항의 계수를 곱한 함수로 표현된다(식 (19)).

$\[ \begin{array}{c}{L}_{Tech}\left(T\right)\begin{array}{l}={\alpha }_1{L}_{i,T}^{EL}+{\alpha }_2{L}_{i,T}^{\mathrm{C}\mathrm{o}\mathrm{m}}+{\alpha }_2{L}_{i,T}^{Down}+{\alpha }_2{L}_{i,T}^{IC}\\ +{\alpha }_5{L}_{i,T}^{Av}+{\alpha }_6{L}_{i,T}^{Sec}+{\alpha }_7{L}_{i,T}^{\mathrm{P}\mathrm{r}i}+{\alpha }_8{L}_{i,T}^{RCom}\end{array}\end{array} \]$

(19)

환경으로 인한 손실은 회계(Acc; accounting), 고객 관계(CRel; customer relationship), 대외 이미지(PI; public image), 유연성(Flx; flexibility), 비즈니스 연속성(BC; business continuity), 컴플라이언스(Comp; compliance), 이익(benefit), 위험과 도전(risks and challenges) 등 외부 환경요인으로부터 발생하는 손실(OTH; other possible losses)을 반영한 것으로, 식 (20)에 표현하였다.

$\[ L_{ORG}\left(T\right)\begin{array}{l}={\beta }_1{L}_{i,T}^{Acc}+{\beta }_2{L}_{i,T}^{CRel}+{\beta }_2{L}_{i,T}^{PI}+{\beta }_2{L}_{i,T}^{Flx}\\ +{\beta }_5{L}_{i,T}^{BC}+{\beta }_6{L}_{i,T}^{Comp}+{\beta }_7{L}_{i,T}^{OTH}\end{array} \]$

(20)

Shirvani 외 2인은 이를 바탕으로 이란의 한 통신 회사를 대상으로 하여 사례 연구를 수행하였고, 현실적인 NPV 분석 결과를 도출하여 모델의 우수성을 입증하였다.

Heinrich는 CC TCO를 고려할 때 도입 비용, 조달 비용, 마이그레이션 비용, 외부 운영 비용, 내부 운영 비용, 사용 비용, EOLEX을 고려해야 한다고 주장하였으며, 표 1과 같이 CC TCO를 고려할 때 필요한 세부 요소를 정리하고, 이를 수학적으로 모델링하였다(식 (4))[3]. Heinrich의 CC TCO 모델은 비용 카테고리(C^cat)를 이용한 TCO 계산 레이어, 비용 구성요소(C^comp)를 이용한 TCO 계산 레이어, 그리고 비용 유발 요인(C^driver_r,d,u)에 기반한 비용 계산 레이어로 나누어진다(식 (4)). 유발 요인은 지역(r), 결제일(d), 청구 간격(u)의 영향을 받는다.

Table 1.

Element of the CC TCO MODEL proposed by Heinrich[3]

Heinrich는 ICT(information communication technology) 아키텍트와 자동차 제조업체의 애플리케이션 관리자, 그리고 클라우드 서비스 제공자(CSP)와 인터뷰를 진행하였고, 8건의 사례를 연구하였다. Heinrich의 연구 결과에 따르면, 도입비용은 전체 비용의 22.3%, 마이그레이션 비용은 5.5%, 조달 비용은 16.2%이며, 사용 비용과 종료 비용은 거의 발생하지 않았다[3].

Heinrich가 제안한 전체 비용 중 41.8%가 클라우드 서비스 제공자에 의해 직접 청구되어, 결과적으로 나머지 58.2%는 클라우드 도입을 검토하는 과정에서 나타나는 기회비용으로 보고되었다[3]. 또한, Heinrich는 8개의 사례 중 Serverless 시나리오와 Lift and shift 시나리오에 대해서 면밀히 검토한 결과를 보고하였다(표 2)[3]. Serverless 시나리오에서는 4년 후 운영 비용이 28% 절감되고, 10년 후 34%, 15년 후 34% 절감되지만, 전체 비용은 15년 후에도 온-프레미스 방식을 15년 운영한다고 가정했을 때 비용보다 높은 것으로 예측되었다. Lift and shift 방식에서는 4년 후 운영비용은 온-프레미스 방식 대비 21% 절감되고, 10년 후에는 25% 절감되며, 클라우드 도입 비용을 포함한 전체 비용은 온-프레미스 방식을 10년간 운영한다고 가정했을 때의 비용과 동일하다. 15년 후에는 전체 비용이 온-프레미스 대비 8% 감소한다. Serverless 시나리오와 Lift and shift 시나리오는 서로 다른 사례이므로, 직접 비교는 불가능하며, 클라우드 전환을 고려할 시 경제적 효과를 세부적으로 분석해야 한다는 점을 시사한다.

Table 2.

Comparison between On-premise and the two cases analyzed by Heinrich[3]

Mangiuc은 가상 조직의 In-house solution과 Cloud solution scenario를 세워서 미래 5년 동안의 재무를 추정하고, 이를 바탕으로 CAPEX와 OPEX, ROI를 비교하여 분석하였다[1]. Mangiuc은 클라우드 기반의 프로젝트의 TCO는 해당 솔루션(서비스)의 구매 및 현재 사용으로 인한 모든 직접 및 간접 비용을 포함해야 한다는 점을 강조하였다[1]. 이에 클라우드 기반 프로젝트의 비용을 직접 비용(direct costs), 간접 비용(indirect costs), 운영 비용(operating costs)으로 나누어 설명하였다. Mangiuc이 가정한 두 가지 시나리오는 다음과 같다:

In-house solution scenario: 가상의 조직이 하드웨어 인프라와 소프트웨어 애플리케이션을 포함하는 150,000유로의 정보통신 시스템을 투자하였고, 해당 정보통신 시스템의 예상되는 유효 수명은 5년이다. 투자금은 매년 정액으로 30,000유로가 감가상각될 것으로 예상되고, 초기 비용은 65,000유로가 추가로 필요하다. 연간 유지보수 비용은 59,500유로, 정보 시스템을 유지하기 위한 인력의 자격과 장비의 작업 조건 유지를 위해 매년 160,000유로가 필요할 것으로 예상되며, 해당 비용은 매년 5%씩 증가하는 것을 가정한다.

Cloud solution scenario: 가상의 조직이 IT서비스를 외부 클라우드 서비스로 이전하기로 결정하여, 이에 필요한 애플리케이션 개발에는 초기 비용 15,000유로, 설치 및 구성관리를 위한 연간비용 15,000유로, 이를 운영할 인건비 75,000유로, 정보 시스템 유지보수 비용 5,400유로, 클라우드 서비스 제공자에게 지불해야 할 연간비용은 210,000유로이며, 인건비, 유지보수 및 클라우드 비용은 매년 5%씩 증가하는 것을 가정한다.

표 3은 Mangiuc의 두 시나리오에 대한 비용을 요약한 것이다[1]. Mangiuc 시나리오에서 5년 뒤 결과는 In-house solution scenario의 비용이 Cloud solution scenario의 비용보다 적게 나타났다. 이는 클라우드 도입이 항상 조직에게 이득이 되는 것은 아니라는 예시를 위해 Cloud solution scenario의 OPEX를 다소 과도하게 가정했기 때문으로 해석된다.

Table 3.

TCO analysis results of the two scenarios analyzed by Mangiuc(Unit: 1,000 Euro)

Mangiuc은 CAPEX와 OPEX 외에도 ROI를 계산하여 두 시나리오를 비교하였다. Mangiuc은 첫 해에 260,000유로의 매출이 발생하여, 매년 10%씩 성장하는 상황을 가정하였다. 이를 반영할 시, In-house solution scenario에서는 3년차부터 ROI가 양의 값으로 전환되었고, Cloud solution scenario에서는 5년차부터 ROI가 양의 값으로 변화되는 예시를 보였다(표 4).

Table 4.

ROI comparison for the two scenarios analyzed by Mangiuc[1](Unit: 1,000 Euro)

Ⅳ. 클라우드 도입에 대한 경제성 분석

앞서 분석한 사례 중 Mangiuc의 연구 사례에서는 임의의 직·간접 비용을 바탕으로 TCO를 산출하고, 두 가지 시나리오에 따라 ROI를 비교 분석하였다[1]. Mangiuc은 가상의 시나리오를 가정하였지만, 조직이 클라우드 마이그레이션에 대한 경제성을 고려하는 데 있어서 가장 포괄적이고 직관적으로 이해할 수 있는 결론을 도출할 수 있는 것으로 판단된다. 그러나 Mangiuc의 연구 사례에서는 미래 발생하는 비용과 수익에 대해서 할인율을 적용하지 않았으므로, 보다 정확한 ROI 분석을 위해서는 할인율을 바탕으로 재해석해야 할 필요가 있다. 이에 본 연구는 Mangiuc의 연구 사례에서는 다루지 않았던 할인율을 바탕으로 두 시나리오를 비교하고자 한다.

기술평가에서 할인율은 평가대상기술에 의한 미래 현금흐름을 현재가치로 전환할 때 사용되는 환원율을 말하며, 기술사업화 과정에 내재된 다양한 위험을 고려한 할인율(risk-adjusted discount rate)을 의미한다[20].

Ritsma의 연구에서는 TCO를 산출하기 위해 OPEX와 EOLEX의 산출에 인플레이션 비율(i)을 적용하여 미래에 발생하는 비용의 현재 가치를 산출하였다[16]. 즉, Ritsma의 연구에서는 인플레이션 비율(i)을 할인율로 가정하여 활용하였다.

본 연구에서도 Ritsma가 적용한 것과 같이 소비자물가상승률을 바탕으로 미래 가치를 현재 가치로 산출하였다[16]. 물가상승률을 할인율로 적용한다면, 미래에 발생하는 비용과 수익은 현재가치로 환산되어 그 수치가 감소하지만, CAPEX와 OPEX 모두에 동일한 할인율이 적용되므로, 연도별 ROI 값에는 변화가 없다. 그러나 CAPEX의 총합과 OPEX의 총합이 변화하기 때문에 수익과 비용의 합계에 따른 ROI 값에는 변화가 발생한다.

표 5는 두 시나리오에 할인율을 적용했을 때(discounted value)와 적용하지 않았을 때(absolute value)를 정리한 것으로, 1년차에서부터 5년차까지 매년 ROI 값에는 할인율을 적용했을 때와 적용하지 않았을 때의 차이가 없다. 그러나 시간이 경과할수록 CAPEX와 OPEX의 총량에는 변화가 발생하고, 결과적으로 5개년간 ROI를 합한 값은 할인율을 적용했을 때 In-house solution scenario의 경우 5.1%에서 4.8%로 0.3% 낮아지고, Cloud solution scenario의 경우도 –6.3%에서 –6.6%로 0.3% 낮아진다.

Table 5.

Reinterpretation of Mangiuc's research after 5 years considering inflation rate(Unit: 1,000 Euro)

Mangiuc은 해당 시나리오에서 정보 시스템의 수명을 5년으로 산정하고, 5년에 대한 매출 추정 및 TCO, ROI 분석을 수행하였다. 이를 기술의 경제적 수명을 10년으로 가정하여 TCO 분석과 ROI를 산출한 결과를 표 6에 정리하였다. 결과적으로 In-house solution scenario에서는 할인율을 적용하지 않았을 때와 적용했을 때 ROI 합계는 22.6%에서 21.4%로 1.2% 낮아지고, Cloud solution scenario에서는 8.1%에서 7.1%로 1.0% 낮아진다. 만약 할인율이 현재 적용한 물가상승률보다 높았다면, 할인율을 적용했을 때와 적용하지 않았을 때의 차이는 더욱 벌어졌을 것으로 판단된다.

Table 6.

Reinterpretation of Mangiuc's research after 10 years considering inflation rate(Unit: 1,000 Euro)

기술평가에서 할인율은 가중평균자본비용(WACC; weighted average cost of capital)에 기술사업화 위험 프리미엄(technology commercialization risk premium)과 규모 위험 프리미엄(firm size risk premium)를 합산하여 산출한다[20],[25]. WACC은 사업주체의 업종에 따라서 상이하며, 기술사업화 위험 프리미엄과 규모 위험 프리미엄은 사업주체와 사업모델에 따라서 다르게 결정된다.

할인율의 범위를 추정하기 위하여 STAR-VALUE의 통계값을 이용하고[26], 제 11차 한국표준산업분류(KSIC; Korean Standard Industrial Classification) 상 시스템·응용 소프트웨어 개발 및 공급업(J582)의 상위 분류인 출판업(J58)의 가중평균자본비용인 6.86%를 산출하였다[27]. 또한, 사업주체를 특정할 수 없는 점을 감안하여, STAR-VALUE에서 제공하는 기술사업화 위험 체크 리스트 10개 항목(5점 척도)의 값을 모두 평균값인 3으로 하여(평점 30) 기술사업화 위험 프리미엄 5.66%를 산출하였다[26]. 마지막으로 규모 위험 프리미엄의 경우, 대기업, 중기업, 소기업, 창업기업이 상이한 점을 감안하여 출판업(J58)의 기준으로 대기업 0.44%, 중기업 1.47%, 소기업 2.88%, 창업기업 4.07%로 산출하였다[26]. 이를 정리한 결과는 표 7과 같다. 만약 사업주체가 대기업이라면 할인율은 12.96%이고, 중기업은 13.99%, 소기업이라면 15.4%, 창업기업이라면 16.59%의 할인율을 적용받는다. 또한, 기술사업화위험 프리미엄의 최고값은 10.0%, 최저값은 0.14%로, 9.86%의 범위를 갖는다. 상기 사항을 정리한다면, 대기업은 7.44% ~ 17.3%의 할인율을 적용받고, 중기업은 8.47% ~ 18.33%, 소기업은 9.88% ~ 19.74%, 창업기업은 11.07% ~ 20.93%의 할인율을 적용받는다.

Table 7.

Calculation of risk-adjusted discount rate (case in publishing industry (J58))

본 연구에서는 응용 소프트웨어 개발 및 공급업(J58222)을 영위하는 대기업을 가정하여 할인율을 산출하는 상황을 가정하고자 한다. 따라서 할인율은 12.96%로 가정할 수 있고, 이를 바탕으로 ROI 분석을 다시 수행한 결과를 표 8에 정리하였다.

Table 8.

Reinterpretation of Mangiuc's research after 10 years considering risk-adjusted discount rate(Unit: 1,000 Euro)

표 8의 결과에 따르면, 5년 뒤 In-house solution scenario ROI 합은 할인율을 적용했을 때와 적용하지 않았을 때 1.4%의 차이가 나타났고, Cloud solution scenario ROI 합은 1.1%의 차이가 나타났다. 10년 뒤 In-house solution의 할인율 유무에 따른 차이는 6.3% 차이가 나타났고, Cloud solution scenario의 경우에는 5.1% 수준의 차이가 나타났다.

할인율을 적용한 뒤 총수익과 총비용을 바탕으로 산출한 ROI는 중요한 의미를 갖는다. 예를 들어, 조직이 클라우드 마이그레이션을 고려할 때 향후 몇 년 뒤에 ROI가 양의 값으로 전환될 것인지에 대해서 관심이 높을 수도 있지만, 누적된 ROI의 값이 몇 년 뒤에 양의 값으로 전환될 것인지에 대해서 관심이 높을 수 있다.

표 8에서 나타난 것과 같이 할인율을 적용했을 때와 적용하지 않았을 때 누적 ROI의 값이 다르므로, 누적 ROI가 양으로 전환되는 시기가 다를 수 있다. 다만, Mangiuc의 시나리오에서는 클라우드의 OPEX가 과도하게 계상되어 있어, 이를 확인하기에는 어려움이 따른다. 따라서 보다 면밀한 분석을 위해서는 현실적인 시나리오를 가정하거나 실무에서, 할인율을 바탕으로 분석한 결과에 대한 정확한 해석이 필요하다[1].

Ⅴ. 결 론

본 연구에서는 클라우드 기반의 서비스를 제공하거나 기존 IT인프라를 클라우드로 전환할 때 경제성을 분석한 선행 연구에 대해서 살펴봤다. 선정한 선행 연구에서는 기본적으로 TCO 분석과 ROI 분석을 바탕으로 경제성을 분석하였고, 본 연구를 위해 해당 연구 문헌을 리뷰한 결과, 경제성 분석은 일반화된 공식이 존재하기는 하지만, 고려 대상인 IT인프라의 구성과 서비스 현황, 기술사업화 주체, 시나리오에 따라서 모델을 새롭게 생성하거나 변형해야 할 필요가 있다는 결론을 도출하였다.

또한, 여러 연구 사례 중 Mangiuc의 TCO 및 ROI 분석 사례에 할인율을 적용하여, 적용하지 않았을 때와 적용했을 때 매년 ROI의 값은 차이가 없었지만, CAPEX와 OPEX의 값에는 차이가 발생하고, 결과적으로 전체 CAPEX와 OPEX를 바탕으로 산출한 ROI의 값에는 가시적인 수준의 차이가 발생한다는 점을 확인하였다. 이를 바탕으로 본 연구에서는 ROI의 분석에 있어서 미래 가치를 현재 가치로 환산하고, 보다 현실적인 할인율을 적용하여 클라우드 도입 또는 마이그레이션의 경제성을 분석해야 한다는 결론을 도출하였다.

향후 연구에서는 본 연구에서 도출한 결론을 바탕으로 할인율을 적용한 경제성 분석 방법에 대해서 일반화하고, 이를 기존의 클라우드 도입 또는 마이그레이션에 대한 경제성 분석 모델과 비교함으로써 보다 현실적인 클라우드 경제성 분석 방법에 대해서 검증하고자 한다.

Acknowledgments

이 연구는 2023년도 정부(산업통상자원부)의 재원으로 한국산업기술진흥원의 지원을 받아 수행된 연구이고 (P0023718, 2023년 산업 전환형 무기발광 디스플레이 전문인력양성사업), 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2022R1F1A1074775).

References

• D. Mangiuc, “Accountants and the Cloud - Involving the Professionals,” Accounting and Management Information Systems, Vol. 16, No. 1, pp. 179-198, 2017.
• H. Mydyti, J. Ajdari, and X. Zenuni, “Cloud-Based Services Approach as Accelerator in Empowering Digital Transformation,” in Proceedings of the 43rd International Convention on Information, Communication and Electronic Technology (MIPRO), Opatija, Croatia, pp. 1390-1396, November 2020. [https://doi.org/10.23919/MIPRO48935.2020.9245192]
• S. Heinrich, N. Kreft, T. Schuster, and R. Volz, “A Total Cost of Ownership Model for Cloud Computing Infrastructure,” in Proceedings of the 56th Hawaii International Conference on System Sciences (HICCS 2023), Maui: HI, pp. 5779-5788, January 2023.
• M. H. Shirvani, G. R. Amin, and S. Babaeikiadehi, “A Decision Framework for Cloud Migration: A Hybrid Approach,” IET Software, Vol. 16, No. 6, pp. 603-629, December 2022. [https://doi.org/10.1049/sfw2.12072]
• T. Antohi, “Model for Cloud Migration Cost,” in Proceedings of the 6th IEEE International Conference on Cyber Security and Cloud Computing (CSCloud)/ the 5th IEEE International Conference on Edge Computing and Scalable Cloud (EdgeCom), Paris, France, pp. 20-28, June 2019. [https://doi.org/10.1109/CSCloud/EdgeCom.2019.00014]
• W. Park and H. Chang, “A Study on Implementing a Priority Tasks for Invigoration of Cloud in Financial Sector,” Journal of Platform Technology, Vol. 8, No. 1, pp. 10-15, March 2020. [https://doi.org/10.23023/JPT.2020.8.1.010]
• S. Ahn and I. Han, “The Case Study on the HR Transformation of SAP Based on the Cloud,” Information Systems Review, Vol. 23, No. 2, pp. 119-134, May 2021. [https://doi.org/10.14329/isr.2021.23.2.119]
• H.-S. Kang, “Study of Plans and Strategies for Cloud Computing Transformation,” Journal of Software Assessment and Valuation, Vol. 18, No. 2, pp. 115-123, December 2022. [https://doi.org/10.29056/jsav.2022.12.11]
• H.-J. Baek, G.-Y. Kim, C.-G. Kim, and Y.-T. Shin, “A Study on the Introduction of Cloud Computing Service in Financial Sector,” Journal of the Korea Society of Information Technology Policy & Management, Vol. 11, No. 4, pp. 1339-1345, August 2019.
• C. Llopis-Albert, F. Rubio, and F. Valero, “Impact of Digital Transformation on the Automotive Industry,” Technological Forecasting and Social Change, Vol. 162, 120343, January 2021. [https://doi.org/10.1016/j.techfore.2020.120343]
• P. Besson and F. Rowe, “Strategizing Information Systems-enabled Organizational Transformation: A Transdisciplinary Review and New Directions,” The Journal of Strategic Information Systems, Vol. 21, No. 2, pp. 103-124, June 2012. [https://doi.org/10.1016/j.jsis.2012.05.001]
• T. Hess, C. Matt, A. Benlian, and F. Wiesböck, “Options for Formulating a Digital Transformation Strategy,” MIS Quarterly Executive, Vol. 15, No. 2, pp. 123-139, 2016. [https://doi.org/10.7892/BORIS.105447]
• S.-J. Yoon, I.-H. Kim, J. W. Seo, and M.-Y. Kim, “A Study on the Validity of Government Cloud SaaS Service Migration Using TCO Approach,” Journal of Information Technology Services, Vol. 11, No. 4, pp. 215-231, December 2012. [https://doi.org/10.9716/KITS.2012.11.4.215]
• T. Kim and G.-M. Park, “A Study on the Introduction of a Public CCTV Monitoring Center Based on Cloud Computing,” Journal of Community Safety and Security by Environmental Design, Vol. 8, No. 2, pp. 71-106, November 2017. [https://doi.org/10.26470/JCSSED.2017.8.2.71]
• J. Altmann and M. M. Kashef, “Cost Model Based Service Placement in Federated Hybrid Clouds,” Future Generation Computer Systems, Vol. 41, pp. 79-90, December 2014. [https://doi.org/10.1016/j.future.2014.08.014]
• R. J. Ritsma, A. Tuyl, and B. Snijders, “Buying the Lowest Total Cost of Ownership (TCO),” in Proceedings of 2009 Conference Record PCIC Europe, Barcelona, Spain, pp. 199-206, May 2009.
• P. Mell and T. Grance, The NIST Definition of Cloud Computing, National Institute of Standards and Technology, Gaithersburg: MD, NIST Special Publication 800-145, September 2011. [https://doi.org/10.6028/NIST.SP.800-145]
• M. Mandolini, E. Marilungo, and M. Germani, “A TCO Model for Supporting the Configuration of Industrial Plants,” Procedia Manufacturing, Vol. 11, pp. 1940-1949, 2017. [https://doi.org/10.1016/j.promfg.2017.07.339]
• KIAT (Korea Institute for Advancement of Technology). Practical Guide for Technology Evaluation [Internet]. Available: https://ktca.kr/bbs/board.php?bo_table=file&wr_id=30, .
• ISACA (Information Systems Audit and Control Association), Calculating Cloud ROI: From the Customer Perspective, Author, Rolling Meadows: IL, An ISACA Cloud Computing Vision Series White Paper, July 2012.
• W. Zheng, Y. Qin, E. Bugingo, D. Zhang, and J. Chen, “Cost Optimization for Deadline-Aware Scheduling of Big-data Processing Jobs on Clouds,” Future Generation Computer Systems, Vol. 82, pp. 244-255, May 2018. [https://doi.org/10.1016/j.future.2017.12.004]
• W. Ahmad, B. Alam, and A. Atman, “An Energy-Efficient Big Data Workflow Scheduling Algorithm under Budget Constraints for Heterogeneous Cloud Environment,” The Journal of Supercomputing, Vol. 77, pp. 11946-11985, October 2021. [https://doi.org/10.1007/s11227-021-03733-4]
• S. Abdi, L. PourKarimi, M. Ahmadi, and F. Zargari, “Cost Minimization for Deadline-constrained Bag-of-Tasks Applications in Federated Hybrid Clouds,” Future Generation Computer Systems, Vol. 71, pp. 113-128, June 2017. [https://doi.org/10.1016/j.future.2017.01.036]
• W. Hussain, O. Sohaib, M. Naderpour, and H. Gao, “Cloud Marginal Resource Allocation: A Decision Support Model,” Mobile Networks and Applications, Vol. 25, No. 4, pp. 1418-1433, August 2020. [https://doi.org/10.1007/s11036-019-01457-7]
• M.-S. Kim, C.-H. Lee, J.-H. Choi, Y.-J. Jang, J.-H. Lee, J. Lee, and T.-E. Sung, “A Study on Intelligent Technology Valuation System: Introduction of KIBO Patent Appraisal System II,” Sustainability, Vol. 13, No. 22, 12666, November 2021. [https://doi.org/10.3390/su132212666]
• KISTI (Korea Institute of Science and Technology Information). STAR-VALUE 5.0 [Internet]. Available: https://www.starvalue.or.kr/, .
• Statistics Korea. Korean Standard Industrial Classification 11th Revision Notice (Statistics Korea Notice No. 2024-2) [Internet]. Available: https://kostat.go.kr/board.es?mid=a10403040000&bid=107&act=view&list_no=428660, .