Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 21, No. 12, pp.2169-2178
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Dec 2020
Received 05 Nov 2020 Revised 13 Nov 2020 Accepted 21 Dec 2020
DOI: https://doi.org/10.9728/dcs.2020.21.12.2169

국방표준종합정보시스템의 적극적 사용의도 영향을 미치는 요인에 관한 연구

조재일1 ; 한경석2, * ; 안용준3 ; 박찬석3 ; 오동식4
1숭실대학교 대학원 경영학과 박사과정
2숭실대학교 경영학부 교수
3숭실대학교 대학원 IT정책경영학과 박사과정
4광운대학교 대학원 방위사업학과 박사과정
Factors Determining the Behavioral Intention to use the Korea Defense Standard Information System
Jae-il Cho1 ; Kyeong-Seok Han2, * ; Yong-Jun An3 ; Chan-Seok Park3 ; Dong-Shik Oh4
1Department of Business Administration, Soongsil University, Seoul 06978, Korea
2Professor of MIS, School of Business Administration, Soong-sil University, Seoul 06972, Korea
3Department of IT Policy and Management, Soongsil University, Seoul 06978, Korea
4Department of Defense Acquisition, Kwangwoon University, Seoul 01897, Korea

Correspondence to: *Kyeong-Seok Han Tel: +82-2-820-0585 E-mail: kshan@ssu.ac.kr

Copyright ⓒ 2020 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 연구는 우리나라 방위산업 기술산물의 총 산물인 국방표준정보에 대한 체계적 관리와 민간과 협업강화를 위해 2013년 부터 운영중인 국방표준종합정보시스템에 관한 최초의 연구로써 적극적 사용의도의 영향 요인을 분석하고자 하였다. 이를 위해 정보시스템 성공모형, TOE 프레임워크, UTAUT 이론의 요인을 적용하여 통합적인 연구모형을 구성하고, 가설검증을 위해 국방 내․외부 사용자들을 대상으로 조사를 진행하였다. 연구결과, 설정한 정보시스템 성공모형과 TOE 프레임워크의 독립변인이 사용자 만족과 UTAUT 이론의 매개변인에 영향을 미치고, 궁극적으로 적극적 사용의도에 영향을 미치고 있음을 검증하였다.

Abstract

This study aims to analyses factors determining the behavioral intention to use in Korea Defense Standard Information System, as the first study for the system, which has been in use since 2013 with a view to enhance collaboration with public sector and manage more systemically the Defense Standard Information, the collective product of defense technology. For this purpose, empirical study was conducted for defense and public users after designing the comprehensive research model comprising the factors from Information System Success Model, TOE Framework and UTAUT theory. As a result, it was verified that independent variables of Information System Success Model and TOE Framework affect the intermediary variables of user satisfaction and UTAUT theory, subsequently and ultimately the behaviroal intention.

Keywords:

Behaviral Intention, Defense Standard, IS Success Model, TOE, UTAUT

키워드:

국방표준, 적극적 사용의도, UTAUT, TOE, 정보시스템 성공모형

Ⅰ. 서 론

기술의 선점은 곧 표준의 선점이고, 표준은 국가와 기업의 경쟁력이 되고 있다. 국방분야의 표준과 규격은 극한의 전투 상황에서 발휘되어야만 군사적 요구조건에 대한 기술기준에 대한 산물로써, 현대 S/W개발표준의 시금석이된 미 군사표준(MIL-STD-498) 등을 비롯하여 수 많은 현대 산업과 기술을 선도하여 오기도 했다.

우리나라에서도 최초의 국방규격은 한국전쟁 이후 1955년 피복류에 대한 규격을 제정하면서 시작되었고, 1970년대 국방부 조달본부에서 우리나라의 고유 국방규격 번호 체계를 갖추면서 체계적인 국방표준 업무가 본격화 되었다[1]. 이후 자주국방의 기조아래 소총, 전차, 항공기, 함정, 유도무기, 무인기 등까지 국내 연구개발이 지속적으로 고도화됨에 따라 이와 관련한 국방표준의 양적증가는 물론이고, 표준업무 소요와 이에 대한 관리소요가 기하급수적으로 증대되었다.

예를 들어 K2 전차라는 군수품을 개발시, 이와 관계된 국방규격서 본문과 관련 도면자료, 품질보증요구서, 구성품 정보, S/W개발자료 등 수 만건이 넘는 디지털화된 국방표준 자료가 만들어 지고 군수품의 최종 사용자인 軍, 사업기관인 방위사업청, 품질보증기관인 국방기술품질원, 개발/생산업체 등에서 생산 및 품질보증, 하자처리, 성능개선 등을 위해 함께 협업하여 관리하고, 공유되는 것이다.

이러한 국방력과 방위산업 경쟁력의 핵심적인 국방 디지털 컨텐츠인 국방표준 자료에 대한 국방과 민간 당사자간의 협업과 공유가 매우 중요함에도, 군사적 기밀성 등으로 인해 오랜기간 국방외부와의 연계된 정보시스템이 부재하였고, 군 내부적인 폐쇄적 시스템으로만 관리되어 왔다. 이러한 문제점들을 해소하고 민간과의 협업강화를 위해 2013년에 최초로 국방 내부망(LAN)과 외부망(Internet)을 연계한 국방표준종합정보시스템(http://kdsis.dapa.go.kr/index.do)이 구축되었다.

그 이후 7년이 경과하는 동안 주로 승인된 방위산업 종사자들에 한해 사용중에 있으나, 여전히 존재하는 국방표준 분야의 보안성 등으로 인해 아직까지 이에 대한 실제 사용자들의 국방표준종합정보시스템의 수용 및 사용태도와 관련한 연구가 전무하였다. 첨단 국방과학기술 발전의 가속화와 함께 이러한 과학기술 개발의 산물인 국방표준 디지털 정보의 정확성과, 품질 그리고 적시적인 제공이 더욱 중요해지고 있는 바, 현 시점에서 방위산업 경쟁력 강화에 부응할 수 있는 국방표준종합정보시스템에 대한 사용자 관점에서의 실증적 연구가 매우 절실하다.

이러한 배경에 따른 본 연구의 목적은 다음과 같다.

첫째, 사용자의 태도에 촛점을 두고 적극적 사용의도 요인 연구를 위해 국방표준종합정보시스템의 특성을 고려한 요인들을 구성하여 통합적 연구모형을 제안하고자 한다.

둘째, 제안된 연구모형을 토대로 설정된 요인들이 국방표준종합정보시스템의 적극적 사용의도에 미치는 영향관계를 실증 분석하여, 주요 영향요인과 시사점을 도출하고자 한다.


Ⅱ. 이론적 배경

2-1 국방표준 업무과 국방표준종합정보시스템

국방표준종합정보시스템에 대한 이해를 위해 우선 국방표준에 대해 살펴보고자 한다.

방위사업법 제26조(표준화)에 따라 군수품의 표준화 계획을 수립시에는 산업표준화법 등에 다른 표준 등을 우선 반영하고, 군수품에 대해 특별히 요구되는 사항들에 관해서만 규격제정 등 국방표준화 업무를 적용하도록 되어있다.

이러한 국방표준화의 대표적인 업무는 첫 번째로, 군수품에 대한 국방규격을 제/개정 및 관리하는 행위인 국방규격 관리 업무와, 두 번째로 군수품의 고유 식별번호(재고번호라고 함)를 부여하고, 고유 정보를 등록하는 업무인 국방목록 관리 업무가 있다[2].

1) 국방규격 관리

국방규격은 군수품의 조달을 위하여 제품 및 용역의 기술적인 요구사항과 요구필요조건의 일치성 여부를 판단하기 위한 기술문서들이다[2]. 국방규격의 구성요소는 아래 그림1에서 보듯이 규격서 본문 등 총 5개의 종류별로 자료가 구성되게 되며, 무기체계 연구개발 등으로 해당 체계에 대한 국방규격 1건을 제정시에는 구성요소들을 포함하여 많게는 수 십만건 적는 최소한 수 백건의 기술자료들이 생성, 승인, 관리되게 된다.

Fig. 1.

Elements of Korea Defense Specification

국방규격은 무기체계의 경우 연구개발 초기단계에서부터 형상식별서로부터 작성되게 되며, 연구개발이 종료되고 시험평가를 통해 군사용 적합판정을 받게 되면 최종 정식 국방규격으로 승인, 등록되게 된다. 이후 국방규격은 해당 군수품 조달시에 계약목적물의 형상과 특성의 정의, 품질보증의 기준, 하자 또는 결함 판정의 기준, 생산소요 원자재 산정, 원가산정 기준 등 중요한 계약적, 재무적 기준 등으로 활용되게 된다. 국방규격 관리는 군수품의 전체 수명주기 동안 신기술 적용, 성능의 개선, 공정의 개선 등으로 지속적으로 기술변경(또는 규격개정)소요가 발생되면, 제정과 동일한 검토, 승인절차를 통해 최신화 하여야 하고, 동시에 해당 규격자료를 활용하는 군, 계약 및 조달기관, 품질보증기관, 업체 등 업무관계자들에게 항상 최신의 정보를 제공될 수 있도록 하여야 하는 매우 중요한 업무 이다.

2) 국방목록 관리

국방목록(Codification)은 효율적인 군수관리 업무를 수행하기 위하여 국제적으로 표준화된 체계와 제도화된 절차에 따라 군수품에 대한 품목식별 및 재고번호부여 등 목록자료 생성 및 관리를 위한 제반과정으로 정의된다[2]. 보다 일반적인 설명으로, 사람의 출생시 주민등록번호 부여와 함께 그 사람에 대한 기본적 정보를 생성하는 것과 동일하다고 할 수 있다. 우리나라의 군수품 목록제도는 1983년부터 사실상(De facto)의 국제 군수품의 정보체계라고 할 수 있는 북대서양 조약기구의 목록제도(NATO Codification System, NATO목록제도1))에서 정한 규약과 절차에 따라 목록화를 수행하고 있다. NATO 목록제도 회원국은 총 63개국(2020. 4월 기준)으로 NATO 목록정보에는 개별 군수품에 대해 단일한 고유의 재고번호(NSN : National Stock Number)와 함께 군수품의 식별자료(명칭, 군수품의 분류, 특성, 생산자 등)가 부여되며, 국제 최대 규모의 군수품 정보시스템(NMCRL : NATO Master Catalogue of References for Logistics)에 등록, 공유되고 있다[표 1].

Information of registered item in NMCRL(ref : NMCRL)

우리나라는 2005. 10월부터 우리나라 생산 군수품에 대해 우리나라 고유 재고번호(국가부호 37)을 부여받아, 우리나라 군수품 조달업체의 요청에 따라 고유 목록정보를 생산하고 있다. 국방목록은 조달하고자 하는 군수품에 대한 고유한 식별 및 조달, 운영정보를 관리함으로써 군수품 관리 효율화를 통한 비용 절감 등에 목적이 있으며, 국방목록 관리 업무는 이러한 목록정보를 생성하고, 지속 최신화하여, 국방규격과 마찬가지로 군, 조달기관, 조달참여업체에 최신의 정보가 제공하는 업무이다.

3) 국방표준종합정보시스템

앞서 살펴본, 방대한 국방규격과 국방목록 정보의 생성, 관리 공유와 관련한 제반업무를 처리하기 위하여 Web 기반으로 국방표준종합정보시스템이 2013년에 최초로 구축되어 운영중이며, 보안성 등으로 인해 국방 내부 인트라넷망과 국방 외부 인터넷망으로 이원화해서 운영중에 있다.

Fig. 2.

Korea Defense Standard Information System

국방표준종합정보시스템을 통해서, 국방내부 사용자(방위사업청, 군, 국방과학연구소, 국방기술품질원 등)와 국방 외부 민간 사용자(방산업체, 조달희망 업체 등)들은 규격 업무를 위한 규격제안, 검토/심의 및 적합성 검토와 규격검색, 열람 등을 수행하고, 국방목록 업무를 위해 목록요청, 재고번호 부여 및 목록정보 생성, 국제목록 자료 교환, 목록자료 열람 등을 수행하고 있다.

아울러, 새로운 군수품 개발에도 기존 국방표준 자료가 필수적으로 사용되는 바, 방위산업기술의 첨단화가 가속화됨에 따라 R&D에도 국방표준종합정보시스템의 활용성과 그 중요성이 더욱 높아지고 있으며, 방위사업청에서는 2021년 시스템 고도화 사업을 추진할 예정이다.

2-2 정보시스템 성공모형(IS Success Model)

DeLone & McLean(1992)은 기존의 180개의 정보시스템에 관한 실증적 연구를 토대로 정보시스템의 프로세스와 인과관계를 토대로, 6개의 성과요인을 제시하였다[3]. 이후, 시스템 사용행위(Use)는 사용 혜택(Benefit from use)을 전제하는 요소로써 적절치 않다는 비판[4]과 서비스 품질에 관한 연구 등이 주목받음에 따라, 2003년에 기존 모델보다 확장, 수정된 연구모형을 아래 그림 3.과 같이 제시하였다[5].

Fig. 3.

Information System Success Model(Delone & McLean, 2003)

국방표준종합정보시스템은 업무처리를 위해서 사용하는 비자발적인 환경하의 시스템으로써, 사용자 만족이 기술수용에 중요한 요소로 작용하는 바[6], 정보시스템 성공모형에서 검증된 사용자 만족과 관련된 요인들을 적용하고자 한다.

2-3 TOE(Technology-Organization-Environment) 프레임워크

조직적 차원에서의 정보기술을 도입하는 과정에서 영향을 받는 요인에 관한 연구에 관한 대표적인 연구모델은 Tornatzky & Fleischer[1990]가 제안한 TOE 프레임 워크이다. TOE 프레임워크는 조직 차원의 정보기술을 도입에 대한 영향요인으로써 기술적 상황(Technological Context), 조직적 상황(Organizational Context) 그리고 외부 환경적 상황(Environmental Context) 등 세 가지 관점에서 설명하고 있다[7]. 이 모델은 e-business 도입 등 조직수준의 연구에서 수차례 적용된 바 있으며, 기업 차원에서의 혁신 기술을 채택하고 시행하는 조직적 상황 원칙을 설명할 수 있는 기술수용 이론이다[8].

Fig. 4.

TOE Framework(Tornatzky & Fleischer, 1990)

국방표준종합정보시스템이 방위사업청에서 정책적 결정으로 도입된 바, 조직적 차원의 정보기술 도입에 관해 검증된 TOE 프레임워크 요인들을 적용하고자 한다.

2-4 통합기술수용모형(UTAUT)

Venkatesh et al.(2003)은 정보기술 수용에 대한 통합적인 관점의 연구를 위해 기존의 이성적 행위이론(TRA), 계획된 행동이론(TPB), 기술수용모형(TAM), TAM-TPB 통합모형, 동기모형(MM), PC활용모델(MPCU), 혁신확산이론(IDT), 사회인지이론(SCT) 등 8가지 모형에서 유의하다고 검증된 32개의 구성개념을 통합, 조정하여 통합기술수용이론(UTAUT: Unified Theory of Acceptance and Use of Technology)을 제시하였다[9].

Fig. 5.

UTAUT model(Venkatesh et al. 2003)

본 연구에서 국방표준종합정보시스템 사용자 수용태도에 촛점을 두고 정보기술 사용자의 사용의도와 관련하여 검증된 UTAUT 이론의 요인들을 적용하고자 한다.


Ⅲ. 연구모형 및 가설

3-1 연구모형

비자발적인 환경하의 정보시스템에 관해 Seddon[1997]은 시스템 사용 자체는 적절치 않은 연구 변수임을 지적한 바 있으며[4], Delone&Mclean[2003]은 강제적이더라도, 적극적인 사용은 자발적인 시스템과 유사하다고 하였고[5], Venkatesh[2003]은 성과기대 요인은 비자발적 시스템에서도 강한 예측요인으로 작용한다고 하였다. 기존 TAM이 사용의도나 실제 도입행위에 대해 보통 40∼50%의 설명력이 있는 반면, 통합기술수용이론은 TAM과 비교했을 때 20∼30% 정도 더 높은 설명력을 갖는 것이 검증되었다[9].

국방표준정보시스템의 적극적 사용의도를 알아보고자 선행연구 요인을 기반으로 하여 모형을 수립하였다.

따라서, 본 연구에서 국방표준정보시스템의 적극적 사용의도를 종속변수로 하여 사용자 만족 등에 관한 정보시스템 성공모형, 조직의 기술도입에 관한 TOE프레임워크, 개인의 기술수용에 관한 UTAUT의 기술수용모형을 통합한 모형을 설계하였다.

Fig. 6.

Research Model

3-2 변수의 조작적 정의 및 연구가설

1) 정보시스템 성공모형 요인

시스템 품질은 정확한 정보를 생산하고 의사소통을 하는 기술적인 성공을 의미하는 것으로 기술적 품질에 해당하며[3], 접근성, 사용의 편의성, 편리한 화면구성, 편리한 화면구성, 조작이나 이용하기 쉬운 정도 등으로도 측정할 수 있다[3, 5, 10, 11, 12, 13, 14].

본 연구에서는 시스템 품질(System Quality)은 ‘시스템에서 제공하는 성능과 기능'으로 정의하였으며, 시스템 품질 요인이 사용자 만족과 노력기대, 성과기대에 유의미한 영향을 미치는지 알아보고자 한다.

  • H1 : 시스템품질은 사용자 만족에 긍정적 영향을 미칠 것이다.
  • H2 : 시스템품질은 노력기대에 긍정적 영향을 미칠 것이다.
  • H3 : 시스템품질은 성과기대에 긍정적 영향을 미칠 것이다.

정보품질은 의도하는 정보가 성공적으로 전달되는지에 대한 의미 차원의 성공을 의미하며[3], 정보의 적시성, 검색기능, 정확성 등으로 측정할 수 있고[4], 정보의 적절성, 이해용이성, 유용성, 공유가능성 등으로도 측정할 수 있다[10, 11, 12, 13, 14, 15].

본 연구에서는 정보품질(Information Quality)은 ‘시스템에서 제공하는 정보의 질적수준’으로 정의하였고, 정보품질 요인이사용자 만족과 노력기대, 성과기대에 유의미한 영향을 미치는지 알아보고자 한다.

  • H4 : 정보 품질은 사용자 만족에 긍정적 영향을 미칠 것이다.
  • H5 : 정보 품질은 노력기대에 긍정적 영향을 미칠 것이다.
  • H6 : 정보 품질은 성과기대에 긍정적 영향을 미칠 것이다.

Delone&Mclean(1992)은 사용자 만족을 정보시스템의 성공에서 가장 중요한 요인으로 보았으며[3], Seddon(1997)은 비용을 포함하는 사용자 가치와는 다른, 다양한 결과들에 대한 주관적인 평가로써 유용성을 포함한다고 하였다[4]. 사용자 만족은 효율성, 전체적인 만족, 기능과 성능에 대한 만족, 정보의 만족 등으로 측정할수 있다[4, 10, 11, 12, 13, 14].

본 연구에서는 사용자 만족(User Satisfaction)은 ‘시스템 사용에 대한 사용자의 기대충족 정도로 정의하였고, 사용자 만족 요인이 적극적 사용의도에 유의미한 영향을 미치는지 알아보고자 한다.

2) TOE프레임워크 요인

TOE 프레임워크에서 기술적 상황(Technological Context)은 해당 조직이 당면하고 있는 내, 외부적 기술을 포함하며, 조직 내부에 존재하고 있는 기술을 포함하는 모든 기술을 의미한다[7]. 기술적 상황에 대한 구체적인 변수로, 상대적 이점, 복잡성, 기술적 호환성, 기술준비성, 기술 능력, 인지된 비용 등이 설정, 검증되었다[16, 17, 18, 19].

본 연구에서는 ‘시스템을 사용함으로써 효용, 편리성 등에서 더 나아진다고 인식하는 정도'로써 기술적 이점(Technological Advantage)으로 정의하고, 기술적 상황 요인이 사용자 만족, 노력기대, 성과기대에 유의미한 영향을 미치는지 알아보고자 한다.

  • H8 : 기술적이점은 사용자 만족에 긍정적 영향을 미칠 것이다.
  • H9 : 기술적이점은 노력기대에 긍정적 영향을 미칠 것이다.
  • H10 : 기술적이점은 성과기대에 긍정적 영향을 미칠 것이다.

조직적 상황(Organizational Context)은 해당 조직의 고유한 특성을 의미하며, 기업의 규모, 관리조직의 복잡한 정도, 조직 내부의 인적 자원의 수준, 내부의 가용자원 등을 의미한다[7].

본 연구에서는 시스템에 대한 '관리층의 지원과 관심정도‘ 로써 관리층의 지원(Management Support)을 정의하고, 관리츠이 지원 요인이 노력기대, 성과기대에 유의미한 영향을 미치는지 알아보고자 한다.

  • H11 : 관리층지원은 노력기대에 긍정적 영향을 미칠 것이다.
  • H12 : 관리층지원은 성과기대에 긍정적 영향을 미칠 것이다.

환경적 상황(Environment Context)은 기업의 활동영역에 있는 산업계, 경쟁 회사, 공급자, 국가나 정보조직 등으로부터의 영향을 의미한다[7]. 이러한 환경적 상황에 해당하는 구체적인 변수로는 규정/제도적 지원, 경쟁적 압박, 외부압력(External pressure), 시장의 변화, 공급업체 등의 압력, 정부의 지원, 법적/정책적 지원 등이 선행연구에서 사용되었다[18, 20, 21, 22].

본 연구에서는 환경적 상황에 대한 요인으로써, 제도적 지원(Institutional Support)은 '시스템사용에 대한 정책적, 제도적 지원의 정도'라고 정의하고, 노력기대, 성과기대에 유의미한 영향을 미치는지 알아보고자 한다.

  • H13 : 제도적지원은 노력기대에 긍정적 영향을 미칠 것이다.
  • H14 : 제도적지원은 성과기대에 긍정적 영향을 미칠 것이다.
3) UTAUT 모형 요인

노력기대(Effort expectancy)는 정보시스템을 사용하는 것이 쉬운 정도’로 정의된다[9]. 정보시스템의 사용이 명확하고 이해가능 여부, 능숙해지기 쉬운정도, 사용과 배우기 쉬운정도 등으로 선행연구에서 측정, 검증되었다[9, 22, 23].

본 연구에서는 ‘시스템을 이용함에 있어 기존 방식보다 편리하고 쉬울 것이라고 생각하는 정도’로 정의하였다.

성과기대(Performance Expectancy)는 정보시스템을 사용하는 것이 직무성과에 도움(gains)을 줄것이라고 믿는 정도로 정의한다[9]. 유용성, 일을 쉽게 처리하는 정도, 업무성과 향상, 생산성 향상, 성과급의 향상 등의 측정항목들이 활용되어 왔다[9, 22, 23].

본 연구에서는 선행연구결과를 토대로 ‘시스템을 사용함으로써 업무의 성과를 향상시키는데 도움을 받을 수 있다고 믿는 정도’로 정의하였다.

노력기대와 성과기대가 각각 적극적 사용의도에 유의미한 영향을 미치는지 알아보고자 한다.

  • H15 : 노력기대는 적극적 사용의도에 긍정적 영향을 미칠 것이다.
  • H16 : 성과기대는 적극적 사용의도에 긍정적 영향을 미칠 것이다.

종속변수인 사용의도 또는 행위의도(Behavioral Intention)는 UTAUT모형에 개념적으로 포함된 기존 TRA, TPB 및 다양한 연구에서 사용되는 개념으로써, 시스템을 사용자가 지속적으로 사용하거나 다른 사람에게 추전하는 의도라고 하였다[9]. 선행연구에서 사용의도에 관한 측정항목으로 향후 수개월간 사용의도, 자주 사용정도, 주변 추천 가능성, 사용결정에 대한 만족 등으로 측정하였다[9, 22, 23].

본 연구는 비자발적 환경하에서 국방표준 업무 종사자들을 대상으로 하고 있으므로, 행위(Usage) 자체보다는 사용자들의 실질적이고 자발적인 심리상태에 초점을 맞추어, ‘정보시스템을 보다 적극적으로 업무에 활용하고 능동적으로 이용하려는 의도’로 정의하였다.


Ⅳ. 실증분석

4-1 자료수집 및 표본의 특성

본 연구의 실증분석을 위해 국방표준종합정보시스템의 사용자인 방위사업청, 국방부, 군, 국방과학연구소(이하 '국과연') 등 국방 내부 사용자와 방산업체, 조달업체, 군수지원 업체 등 국방 외부 민간 사용자를 대상으로 실시하였다.

국방표준종합정보시스템에 승인된 사용자 8,200여명 중 무작위로 1,230명에게 구글 온라인 설문조사 방식으로,2020년 7월 23일부터 8월 14일까지 실시하였다. 회수된 설문응답자는 총 369부였으며, 측정항목 등을 불성실하게 기입한 설문지 등 48부를 제외한 유효한 총 321부의 설문지를 이용하여 최종 분석을 실시하였다. 설문의 인구통계학 질문은 명목척도, 설문 문항은 등간척도 7점으로 구성하였다.

인구통계학적 특성은 아래 표 1.에 정리하여 제시하였다.

The frequency analysis of the survey data for demographic questionnaires

4-2 신뢰도 분석 및 탐색적 요인분석

SPSS를 활용한 탐색적 요인분석은 각각의 변수들 간에 내포된 요인을 파악하기 위해 활용되는 분석기법이다. 본 연구의 변수들의 상관관계와 공분산 등 상호 연관성을 알아보고, 연구에 활용된 변수 중 자료의 값을 대표할 수 있는 변수를 파악하는 기법이다.

표 3.에 작성한 탐색적 요인분석 및 신뢰도 분석 결과는 각 변수 간 타당성이 요인 적재량이 0.5이상으로 확보되어 측정항목을 선정하였다. 본 연구의 변수들의 내적일관성을 확인하기 위해 Cronbach’s α를 확인하였다. 결과는 0.7 이상으로 신뢰도 검증간에 이상이 없는 것으로 확인되었다[24].

Results of Exploratory Factor Analysis & Reliability Analysis

요인의 수, 요인의 해석가능성을 파악하기 위해 탐색적요인분석을 진행하였다. 요인분석의 방법은 최대우도법을 사용하였다. 회전방식은 베리맥스을 사용하였다.

4-3 확인적 요인분석

탐색적 요인분석 결과를 토대로 확인적 요인분석을 실시한 결과는 표 4.에 작성하였다. 척도들이 해당 변수에 대한 대표성을 갖는지를 평가하기 위해 구성신뢰도(C.R) 0.7 기준, 분산 추출값(AVE) 0.5를 기준으로하여 도출한 결과, 구성신뢰도는 기준치인 0.7, 분산추출값 0.5을 상회하여 결과값에 대해 이상이 없다고 할 수 있다[25].

Result of the conceptual reliability and intent validity test of the measurement model

4-4 판별타당성분석

판별 타당성을 분석하기 위해 변수의 평균분산 추출값의 제곱근(The Square Root of Average Variance Extracted Value)이 변수 간의 상관계수보다 크면 판별 타당성이 있는 것으로 분석하는 Fornell & Larcker[1981]의 방법을 이용하였다[26]. 판별타당성분석 결과를 표 5.에 작성하였다. 평균분산추출값이 각 요인의 상관계수보다 크기 때문에 구성 변수 개념 간에 이상이 없는 것으로 판단하였다.

Results of Discriminant Validity Analysis

4-5 구조방정식 모델 적합도 검증

가설 검증을 실시하기에 앞서서 본 연구의 구조방정식 모형의 적합도를 검정하였다. 표 6.에 본 연구의 연구모형의 적합도를 작성하였으며 수용기준에 만족한 결과를 보였다.

Confirmatory Factor Analysis Results of the Fitness Test of the Measurement Model

4-6 연구모형의 검증

가설에 대하여 실증 분석한 검증 결과를 도식화 하여 그림 7.로 나타냈으며, 표 8.에는 세부사항을 제시하였다.

Fig. 7.

Results of Structural Equation Model Hypothesis Test

The result of Path Analysis

본 연구에서 설정한 16개의 가설의 채택, 기각 그리고 영향관계를 알아보기 위해 경로 분석을 시행한 결과는 표 8.에 제시되어있다. 상대적으로 더 큰 영향을 주는 요인을 알아보고자 할때에는 표준화 계수를 통해 확인한다. 본 연구가 설정했던 연구가설의 채택 여부는 C.R +1.96 이상, P-Value 0.05 이하를 기준으로 설정하였다.

가설 검증결과를 살펴 보면, 첫째로 정보시스템 성공모형 요인 중 시스템 품질은 사용자 만족, 노력기대, 성과기대에 모두 유의미한 영향을 미치는 반면, 정보품질은 사용자 만족, 노력기대에 긍정적 영향을 미치지 않는 것으로 분석되었다.

둘째, TOE 프레임워크의 요인인 기술적 이점은 사용자 만족, 노력기대, 성과기대에 모두 긍정적 영향을 미치고, 관리층지원도 노력기대, 성과기대에 모두 긍정적 영향을 미치나, 제도적 지원은 노력기대에만 긍정적 영향을 끼치는 것으로 분석되었다. 셋째, 매개변수인 사용자 만족과 노력기대, 성과기대는 모두 적극적 사용의도에 긍정적 영향을 미치며, 경로계수를 기준으로 상대적인 영향도를 살펴보면 ①성과기대(0.534), ②노력기대(0.193), ③사용자 만족(0.152) 순으로 나타났다.


Ⅴ. 결 론

국방표준종합정보시스템의 사용자의 적극적 사용의도 연구를 위해 정보시스템 성공모형 요인, TOE 프레임워크 요인, UTAUT요인을 통합하여 설정한 총 15개의 연구가설을 실증, 검증한 결과, 12개는 채택되었고 3개는 기각되었으며, 다음과 같이 요약할 수 있다.

첫째, 국방표준종합정보시스템의 시스템 품질은 사용자 만족, 노력기대, 성과기대에 모두 중요하지만, 정보품질은 성과기대에만 영향을 미치는 것으로 나타났다. 이는 정부에서 독점적으로 제공되는 정보에 수동적으로 의존하여 업무처리를 위해 사용해야하는 비자발적 환경하의 시스템인 바, 정보의 품질 자체가 사용자 만족과 노력기대에는 유의미한 영향을 끼치지 못하는 것으로 분석되며, 유영민(2019), 황태호(2011) 등 공공 정보제공시스템 연구에서 유사하게 정보품질 요인의 영향도가 낮은 것으로 나타난 바 있다[22, 29].

둘째, 기술적 이점과 관리층 지원은 각각 사용자 만족, 노력기대, 성과기대에 유의미한 영향을 끼치지만, 제도적 지원은 성과기대에 영향을 끼치지 못하는 것으로 나타났는데, 이는 정부의 제도적 지원이 사용자 입장을 고려하지 않을 경우 오히려 부(-)의 영향을 끼치거나, 유의미한 영향을 끼치지 못한다는 연구결과와 유사하다. 따라서, 현재 시스템 사용을 위한 규정, 매뉴얼, 교육훈련 체계 등을 사용자의 실질적 니즈(Needs)에 맞추어 재설계 등의 개선이 필요하다고 판단된다.

섯째, 사용자 만족, 노력기대, 성과기대가 적극적 사용의도에 긍정적 영향을 미치고, 업무처리를 위한 시스템의 특성상 성과기대가 적극적 사용의도에 상대적으로 매우 큰 비중으로 영향을 주는 것을 실증적으로 확인할 수 있었다.

첨단 무기체계 개발을 위한 기술발전이 더욱 가속화되면서 이를 뒷받침하기 위한 국방표준 정보를 관리, 공유, 제공하는 일은 중요성이 날로 높아지고 있으나, 또한 기밀성, 보안성 등으로 인해 정부의 직접 독점 관리하며 일정한 제한이 있을 수 밖에 없다. 우리나라는 2013년부터 Web을 기반으로 국방외부 민간도 보다 쉽게 접근하고, 군과 협업할 수 있는 국방표준종합정보시스템을 구축, 운영중에 있으나, 그 중요성에도 불구하고 널리 알려지지 않았으며, 본 연구가 이에 대한 최초의 연구이다.

본 연구를 통해 국방표준종합정보시스의 국방내부및 외부 사용자들의 적극적 사용의도에 상대적으로 시스템의 유용성에 대한 기대 측면인 성과기대가 가장 큰 영향요인으로 작용함을 알 수 있었으며, 흥미롭게 현재의 제도적 지원 분야는사용자가 실제 시스템을 사용의 유용성에는 별다른 영향을 끼치지 못하고 있는 것으로 식별되어, 개선의 필요성을 확인할 수 있었다.

그럼에도 불구하고, 본 연구의 한계점은 사용자의 사용의도에 촛점을 맞춘 연구이다 보니, 실질적 업무성과 측면에서의 요인들을 제시할 수 는 없었다. 가령, 본 연구에서 정보품질은 수동적인 입장의 사용자의 사용의도에는 영향이 없는 것으로 나타났지만, 향후 연구에서 정보품질 요인이 실제적인 업무성과에는 어떠한 영향을 미치는지를 살펴본다면 시스템에 대한 보다 종합적인 고찰이 가능할 것으로 판단된다.

References

  • J. Y. Park & S. C. Choi “A Study on Improvement for Defense Specifications/Standards System,” Journal of the Military Operations Research Society of Korea, Vol 35, No.1, pp. 102-120, April 2009.
  • Defense Standardization Guideline, Defense Acquisition 7Prograam Administration, October 2020.
  • DeLone, W.H.. and McLean, E.R. “Information systems success: The quest for the dependent variable,” Information Systems Research. Vol. 3, No .1, pp. 60-95, 1992. [https://doi.org/10.1287/isre.3.1.60]
  • Seddon, P. B, “ A respecification and extension of the DeLone and McLean model of IS success,” Information systems research, Vol. 8, No. 3, pp. 240-253, 1997. [https://doi.org/10.1287/isre.8.3.240]
  • Delone, W. H., & McLean, E. R, “The DeLone and McLean model of information systems success: a ten-year update,” Journal of management information systems, Vol. 19, No.4, pp. 9-30, 2003. [https://doi.org/10.1080/07421222.2003.11045748]
  • Adamson, I., & Shine, J, "Extending TAM to measure end user computer satisfaction in a mandatory environment: A bank’s treasury," Technology Analysis and Strategic Management Journal, Vol. 15, No. 4, pp. 441-454, 2003. [https://doi.org/10.1080/095373203000136033]
  • Tornatzky, L. G., Fleischer, M., & Chakrabarti, A. K,. Processes of technological innovation. Lexington books. 1990.
  • Ko Tae-Hyung, Kim Young-Taek,." A Study on Adoption and Performance Analysis in Korea SMEs through Integrate IT Acceptance Model,"  Korean Jouranl of Business Administration, Vol. 25, No. 5, pp. 2509-2529, 2012.
  • Venkatesh, V., Morris, M. G., Davis, G. B., & Davis, F. D, “User acceptance of information technology: Toward a unified view,” MIS quarterly, Vol. 27, No. 3, pp. 425-478, 2003. [https://doi.org/10.2307/30036540]
  • Wang, Y. S., & Liao, Y. W,. "Assessing eGovernment systems success: A validation of the DeLone and McLean model of information systems success," Government information quarterly, Vol. 25, No.4, pp 717-733, 2008.. [https://doi.org/10.1016/j.giq.2007.06.002]
  • Chong-Man Kim, In-Jai Kim,." A Study of Influencing Factors Upon Using C4I Systems: The Perspective of Mediating Variables in a Structured Model ," Asia pacific journal of information systems,  Vol. 19, No. 2, pp. 73-94, 2009.
  • Moon-Seok Kang, Young-Soo Chung, Chulho Jung, "The Influencing Factors of Performance in University Information Systems ," Journal of Knowledge Information Technology and Systems, Vol.  6, No. 4, pp 113-123, 2011.
  • Young-Sin Jeong, "A Study on the Success Factors of Command, Control, Communication, Computer and Intelligence System," Ph.D. dissertation, Soongsil University, Seoul, March 2016.
  • Young-Min Yoo , Kyu-Ok Choi, Han-Jong Baek , Yongtae Shin, "An Empirical Study of Success Factors of the Defense Interoperability Support System," Jounal of The Korea Society of Information Technology Policy & Management Vol. 11, No. 4, pp. 1279-1285, October, 2019.
  • Lee, Jae-Jon Kim, Jae-Sung Park. (2010). A Study on Enhancement of Utilization of BI-Net. Proceedings of the Korean Society of Computer Information Conference , 18(2), 301-306.
  • Zhu, K., Kraemer, K., & Xu, S, "Electronic business adoption by European firms: a cross-country assessment of the facilitators and inhibitors,"  European journal of information systems, Vol. 12, No.4, pp. 251-268, 2003. [https://doi.org/10.1057/palgrave.ejis.3000475]
  • Oliveira, T., & Martins, M. F,. (2010). Understanding e‐business adoption across industries in European countries. Industrial Management & Data Systems, Vol. 110, No. 9, pp. 1337-1354, 2010. [https://doi.org/10.1108/02635571011087428]
  • Oliveira, T., Thomas, M., & Espadanal, M, "Assessing the determinants of cloud computing adoption: An analysis of the manufacturing and services sectors," Information & Management, Vol. 51, No. 5, pp. 497-510, 2014. [https://doi.org/10.1016/j.im.2014.03.006]
  • Lee, Joon-Peel, Chang, Myung-Hee., " A Study on the Intention to Use Big Data Based on the Technology Organization Environment and Innovation Diffusion Theory in Shipping and Port Organization,"  Journal of Korea Port Economic Association, Vol. 34, No. 3,  pp. 159-181, 2018. [https://doi.org/10.38121/kpea.2018.09.34.3.159]
  • Chan, F. T., Chong, A. Y. L., & Zhou, L, “An empirical investigation of factors affecting e-collaboration diffusion in SMEs,” International Journal of Production Economics, Vol. 138, No. 2, pp. 329-344, 2012. [https://doi.org/10.1016/j.ijpe.2012.04.004]
  • Soon-Kyu Woo, Sung-In Cho, Soo-Yeon Yoon, "A Study on the Use of Big Data-based Personal Information De-identification Measures in the Financial Industry : Focused on TOE Framework,"  The Journal of Internet Electronic Commerce Resarch, Vo1. 18, No. 3,  pp. 71-90, 2008.
  • Hyeon-Seok Jung, "A Study on Factors Affecting the Itention to Use MultiCloud Computing," Ph.D. dissertation, Soongsil University, Seoul, December 2019
  • Woon-Heok Ko, Kil-Hwan Shin, Choon-Yeul Lee, " A Study on User Behavioral Intention of e-Procurement System,"  The Journal of Korean Institute of Information Technology, Vol. 13 No. 11, pp. 167-175, 2015. [https://doi.org/10.14801/jkiit.2015.13.11.167]
  • J. M. Bland, & D. G. Altman, “Statistics notes: Cronbach's alpha,” Bmj, Vol. 314, No. 7080, pp. 572. 1997. [https://doi.org/10.1136/bmj.314.7080.572]
  • J. F. Hair, C. M. Ringle, & M. Sarstedt, “PLS-SEM: Indeed a silver bullet”, Journal of Marketing theory and Practice, Vol. 19, No. 2, pp. 139-152, 2011. [https://doi.org/10.2753/MTP1069-6679190202]
  • C. Fornell, & D. F. Larcker, “Structural equation models with unobservable variables and measurement error: Algebra and statistics”, 1981. [https://doi.org/10.2307/3150980]
  • Kyuhong Park, Minseok Oh, Jae-Hyeon Ahn, Dongyeon Kim, “Expected Values on the Continuous Intention to Use IoT Products from the Perspective of Expectation-Confirmation Theory”, Journal of the Korean Operations Research and Management Science Society, 44(4), 2019. [https://doi.org/10.7737/JKORMS.2019.44.4.019]
  • Ji-Hee Jung, Jae-Ik Shin, Ki-Han Chung, “A Study on Satisfaction and Integrated Loyalty for Smartphone Use in Expectation-Confirmation Model(ECM)”, The Journal of Internet Electronic Commerce Resarch, 17(4), 2017.
  • Tae-Ho Hwang, "Empirical Study on factors Affecting User Satisfaction of EVM system," Ph.D. dissertation, Kwangwoon University, Seoul, March 2011.

저자소개

조재일(Jae-Il Cho)

1995년 : 육군사관학교 문학사

2003년 : 미국 공군공과대학원(AFIT) (시스템 공학 석사, M.S)

2008년 : 프랑스 국립항공우주대학원(ISAE) (ILS공학 석사)

2011년 : 숭실대학교 경영학과(박사과정)

2006년~현 재: 방위사업청

※관심분야 : 국제방산협력 및 수출, 국방경영정보시스템 등

한경석(Kyeong-Seok Han)

1979년 : 서울대학교 문학사

1984년 : 서울대학교 대학원 경영학 석사

1989년 : 미국 퍼듀 대학교 대학원 경영정보시스템전공 박사

1989년~1990년: 미국 휴스턴 대학교 조교수

1997년~1999년: 한국경영기술 컨설턴트 협회 이사

1998년~2000년: 미국 펜실베니아대학교 와튼경영대학 교환교수

1993년~현 재: 숭실대학교 경영학부 경영정보시스템 교수

※관심분야 : 디지털저작권, ETC, 회계정보시스템, 중소기업정보화, ERP, 정보보호(Personal Information) 등

안용준(Yong-Jun An)

2015년: 숭실대학교 경영학과 (경영학 석사)

2019년: 숭실대학교 IT정책경영학과 (박사과정)

2019년~현 재: ㈜굿컨설팅그룹

※관심분야:클라우드 컴퓨팅(Cloud Computing), 빅 데이터(Big Data), 블록체인(Block Chain), 사물인터넷(IoT), 인공지능(A. I) 등

박찬석(Chan-Seok Park)

2007년: 국민대학교 BIT전문대학원 (경영정보학 석사)

2020년: 숭실대학교 IT정책경영학과 (박사과정)

2011년~현재: LIG시스템 국방영업팀장

※관심분야:빅데이터, 클라우드컴퓨팅, AI, VR, AR, IOT 등

오동식(Dong-Shik Oh)

1995년: 해군사관학교 공학사

1999년: 국방대학원 전자계산 (이학석사)

2010년: 광운대학교 방위사업학과(박사과정수료)

2006년~현 재: 방위사업청

※관심분야 : 국방표준화, 함정전투체계, 무기체계 SW 등

Fig. 1.

Fig. 1.
Elements of Korea Defense Specification

Fig. 2.

Fig. 2.
Korea Defense Standard Information System

Fig. 3.

Fig. 3.
Information System Success Model(Delone & McLean, 2003)

Fig. 4.

Fig. 4.
TOE Framework(Tornatzky & Fleischer, 1990)

Fig. 5.

Fig. 5.
UTAUT model(Venkatesh et al. 2003)

Fig. 6.

Fig. 6.
Research Model

Fig. 7.

Fig. 7.
Results of Structural Equation Model Hypothesis Test

Table 1.

Information of registered item in NMCRL(ref : NMCRL)

Number of items Total Active
NSN(재고번호 : National Stock Number) 35,823,228 17,536,623
NCAGE(생산자 정보 : NATO Commercial & Government Entity) 3,402,962 2,983,942

Table 2.

The frequency analysis of the survey data for demographic questionnaires

Category Frequency Ratio
성별 남자) 267 83.2
여자 54 16.8
연령 20대 32 10
30대 114 35.5
40대 109 34
50대 이상 66 20.6
사용자 유형 국방내부 국방부, 군, 국과연 등 53 16.5
방위사업청 83 25.9
국방외부 업체 및 민간사용자 185 57.6

Table 3.

Results of Exploratory Factor Analysis & Reliability Analysis

Construct Ingredient Cronbach’s A
1 2 3 4 5 6 7 8 9
SQ_1 .065 .111 .205 .237 .139 .690 .246 .191 .038 0.834
SQ_2 .024 .091 .096 .097 .015 .883 .052 .075 .110
SQ_4 .090 .111 .040 .162 .091 .848 .054 .115 .008
IQ_1 .142 .190 .104 .069 .084 .167 .119 .839 .023 0.853
IQ_3 .147 .226 .194 .175 .143 .093 .027 .759 .213
IQ_5 .236 .305 .228 .171 .161 .189 .166 .669 .089
TA_1 .241 .769 .121 .186 .190 .192 .169 .247 .104 0.95
TA_2 .239 .768 .156 .229 .150 .143 .158 .237 .168
TA_3 .272 .782 .186 .143 .121 .059 .119 .159 .197
TA_4 .216 .775 .206 .190 .155 .134 .164 .141 .177
TA_5 .190 .719 .255 .244 .158 .032 .175 .156 .190
MS_1 .256 .393 .202 .119 .183 .063 .179 .122 .659 0.905
MS_2 .250 .215 .128 .208 .235 .089 .203 .144 .759
MS_3 .236 .248 .192 .232 .269 .088 .176 .106 .745
IS_1 .070 .149 .149 .233 .737 .187 .175 .084 .283 0.905
IS_2 .206 .185 .108 .176 .854 .036 .139 .124 .150
IS_3 .240 .208 .093 .139 .823 .070 .139 .149 .122
US_1 .211 .257 .192 .742 .168 .250 .192 .149 .151 0.935
US_2 .171 .224 .184 .776 .161 .251 .214 .110 .149
US_3 .339 .274 .247 .647 .226 .084 .119 .182 .121
US_4 .150 .231 .132 .774 .204 .194 .222 .110 .188
EE_1 .223 .287 .158 .196 .180 .122 .698 .129 .165 0.867
EE_2 .183 .130 .205 .210 .185 .043 .786 .103 .147
EE_3 .159 .203 .177 .178 .114 .222 .764 .079 .151
PE_2 .330 .194 .741 .124 .161 .092 .132 .167 .135 0.948
PE_3 .303 .203 .780 .194 .100 .136 .180 .187 .148
PE_4 .303 .201 .780 .188 .077 .141 .211 .137 .138
PE_5 .332 .230 .789 .164 .104 .111 .136 .122 .097
BI_1 .752 .230 .297 .253 .154 .065 .114 .150 .208 0.959
BI_2 .752 .200 .221 .226 .182 .074 .142 .186 .214
BI_3 .825 .260 .236 .108 .135 .070 .129 .110 .072
BI_4 .804 .204 .288 .090 .129 .018 .186 .059 .182
BI_5 .821 .214 .248 .153 .125 .087 .134 .175 .119

Table 4.

Result of the conceptual reliability and intent validity test of the measurement model

Constructs Measure Factor Loading C.R AVE
SQ SQ_1 0.772 0.836 0.630
SQ_2 0.809
SQ_4 0.8
IQ IQ_1 0.758 0.850 0.654
IQ_3 0.789
IQ_5 0.876
TA TA_1 0.911 0.950 0.795
TA_2 0.928
TA_3 0.877
TA_4 0.893
TA_5 0.847
MS MS_1 0.82 0.909 0.771
MS_2 0.884
MS_3 0.927
IS IS_1 0.797 0.905 0.768
IS_2 0.94
IS_3 0.891
US US_1 0.926 0.936 0.787
US_2 0.926
US_3 0.806
US_4 0.887
EE EE_1 0.839 0.867 0.685
EE_2 0.825
EE_3 0.82
PE PE_2 0.852 0.948 0.821
PE_3 0.938
PE_4 0.92
PE_5 0.913
BI BI_1 0.921 0.958 0.823
BI_2 0.898
BI_3 0.898
BI_4 0.898
BI_5 0.923

Table 5.

Results of Discriminant Validity Analysis

SQ IQ TA MS IS US EE PE BI
- Diagonal number are Square Root of The AVE(Average Variance Extracted)
- off-diagonal are Correlations coefficient via Amos
SQ 0.630
IQ 0.252 0.654            
TA 0.185 0.500 0.795          
MS 0.129 0.314 0.475 0.771         
IS 0.104 0.262 0.311 0.413 0.768       
US 0.329 0.350 0.461 0.421 0.333 0.787     
EE 0.213 0.300 0.413 0.429 0.312 0.462 0.685   
PE 0.177 0.381 0.393 0.354 0.207 0.377 0.391 0.821 
BI 0.100 0.354 0.438 0.424 0.286 0.365 0.356 0.545 0.823

Table 6.

Confirmatory Factor Analysis Results of the Fitness Test of the Measurement Model

Fit indices Indicator Desirable range
Absolute fit index χ²(CMIN)p 1101.189
(P=0.000)
p≦0.05~0.10
χ²(CMIN)/df 2.156 1.0≦CMIN/df≦3.0
RMSEA 0.06 ≦0.08
GFI 0.837 ≧0.8~0.9
AGFI 0.805 ≧0.8~0.9
PGFI 0.7 ≧0.5~0.6
Incremental fit index NFI 0.907 ≧0.8~0.9
NNFI(TLI) 0.941 ≧0.8~0.9
CFI 0.948 ≧0.8~0.9
Parsimony fit index PNFI 0.806 ≧0.6
PCFI 0.842 ≧0.5~0.6

Table 7.

The result of Path Analysis

Hypothesis Standardized
Estimate
S.E. C.R P-
value
Results
->
주) ***: p < 0.001 **: p < 0.01 *: p < 0.05
SQ US 0.429 0.071 6.087 *** O
SQ EE 0.216 0.065 3.306 *** O
SQ PE 0.14 0.068 2.061 0.039 O
IQ US 0.132 0.091 1.44 0.15 X
IQ EE 0.052 0.088 0.584 0.559 X
IQ PE 0.328 0.095 3.461 *** O
TA US 0.493 0.067 7.347 *** O
TA EE 0.236 0.073 3.217 0.001 O
TA PE 0.226 0.077 2.935 0.003 O
MS EE 0.277 0.07 3.928 *** O
MS PE 0.262 0.074 3.557 *** O
IS EE 0.137 0.066 2.082 0.037 O
IS PE -0.011 0.069 -0.167 0.867 X
US BI 0.152 0.048 3.176 0.001 O
EE BI 0.193 0.058 3.304 *** O
PE BI 0.534 0.054 9.966 *** O