Korea Digital Contents Society

Journal Archive

Journal of Digital Contents Society - Vol. 22 , No. 5
[Paper List] [Go to Volume List]

[ Article ]
Journal of Digital Contents Society - Vol. 22, No. 5, pp. 867-876
Abbreviation: J. DCS
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 May 2021
Received 07 May 2021 Revised 21 May 2021 Accepted 21 May 2021
DOI: https://doi.org/10.9728/dcs.2021.22.5.867

과학기술 지식인프라 통합서비스의 품질평가모델 연구
이혜진1 ; 신재민1 ; 배수영1 ; 최희석1 ; 이석형2, *
1한국과학기술정보연구원 국가과학기술데이터본부 융합서비스센터
2한국과학기술정보연구원 국가과학기술데이터본부 융합서비스센터

A Study on the Quaility Evaluation Model for S&T Knowledge Infrastructure Integrated Service
Hye-Jin Lee1 ; Jae-Min Shin1 ; Su-Yeong Bae1 ; Hee-Seok Choi1 ; Seok-Hyoung Lee2, *
1Convergence Service Center, Korea Institute of Science and Technology Information, Daejeon 34141, Korea
2Convergence Service Center, Korea Institute of Science and Technology Information, Daejeon 34141, Korea
Correspondence to : *Seok-Hyoung Lee Tel: +82-42-869-1779 E-mail: skyi@kisti.re.kr


Copyright ⓒ 2021 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Funding Information ▼
초록

웹 기반의 통합서비스는 개별서비스를 통합적으로 제공하기 때문에 개별서비스의 품질이 통합서비스 품질에 큰 영향을 미친다. 통합서비스의 품질을 일관성있게 유지하기 위해서는 품질평가모델이 필요하지만 일반적인 웹서비스 품질평가모델은 통합서비스와 개별서비스 간의 관계를 고려하지 않기 때문에 통합서비스 차원에서 품질을 판단하기에는 미흡한 점이 있다. 본 연구에서는 R&D 연구활동을 지원하는 지식인프라의 통합서비스 측면에서 개별서비스가 갖추어야 할 요건을 고려한 통합서비스 품질평가모델을 제안하였다. 본 연구의 평가모델은 정보품질, 서비스품질, 시스템 운영 성과를 반영하여 품질속성을 25개로 추출하고, 각각의 속성은 11개의 품질지표와 매핑하였다. 그리고, 각각의 품질지표의 통합적 관리가 용이하도록 품질측정 기준을 활용성, 안전성, 지속성으로 구분하여 일관성 있는 서비스 제공 기준을 마련하였다.

Abstract

The quality of individual services has a great influence on the quality of integrated services because web-based integrated services provide individual services totally. In order to maintain the quality of the integrated service, a quality evaluation model is needed. However, the web service quality evaluation model does not consider the relationship between the integrated service and the individual service, it is insufficient to judge the quality at the level of the integrated service. Therefore, in this study, an integrated service quality evaluation model was proposed that can analyze the requirements of individual services in terms of integrated services. The evaluation model of this study was developed in consideration of information quality, service quality, and system operation performance. We extracted 25 quality attributes and mapped each attribute to 11 quality indicators for our model. In order to manage quality indicators easily, quality measurement standards are divided into usability, safety, and sustainability and consistent service provision standards have been established.

Keywords: Quality Evaluation Model, Science and Technology Knowledge Infrastructure, Integrated Service, Service Quality, Information Quality, System Operation Outcome
키워드: 품질평가모델, 과학기술 지식인프라, 통합서비스, 서비스품질, 정보품질, 시스템운영성과
Ⅰ. 서 론

최근 웹서비스는 이용자의 접근성과 편의성을 높이기 위해 분산되어 있는 개별 시스템이나 서비스를 통합하여 제공하는 경향이 높아졌다. 특히 행정서비스, 공공서비스 부문에서 정부, 지자체 등이 제공하는 서비스를 하나로 통합하여 단일 포털에서 제공하는 사례가 많아지고 있다[1]. 이러한 서비스의 통합 요구는 R&D 환경에서도 예외는 아니며, 특히 연구자들은 R&D 환경이 복잡해지고 융복합 연구가 활발해짐에 따라 연구에 필요한 핵심 데이터, 정보, 연구인프라 자원에 대한 신속하고 망라적인 접근이 필요하게 되었다. 연구지원을 위한 통합연구환경이 구성되면, 연구자는 R&D 단계에서 단절없이 관련 정보와 서비스를 이용할 수 있다. 이에 개별서비스로의 산발적 접근을 줄임으로써 손쉽게 연구지원 서비스에 접근이 가능하고 관련 인프라를 적재적소에 활용할 수 있게 된다.

그러나 운영중인 개별서비스를 통합하여 서비스하는 것은 상호운용성과 서비스의 품질관리 측면에서 크고 작은 문제를 야기시킨다. 각각의 개별서비스는 이미 특정한 목적을 가지고 개발되어 개별서비스의 운영방향, 콘텐츠의 내용과 범위, 서비스 관리 방법, 이용자의 특성, 이용목적 등이 서로 매우 이질적이기 때문이다. 특히 단방향 제공 서비스의 경우, 서비스의 가치를 무엇에 우선순위를 두느냐에 따라 이용자의 기대치가 달라지게 된다. 예를 들어, 서비스와 이용의 가치를 기능 완성도에 높게 두는 서비스라면 이용자는 전반적인 화면 UI가 불편하더라도 품질을 크게 문제시하지 않는 측면이 있다. 반면, 이질적인 서비스를 통합하여 제공하게 되면 개별서비스의 요소들이 동등하게 평가되고 그것은 통합서비스 자체의 품질 평가로 이어지게 된다. 따라서 개별서비스가 통합서비스에 연계·융합되기 위해서는 품질에 대한 진단 및 통제가 필요하다. 그리고 통합서비스의 방향과 흡수되는 서비스의 이용목적이나 서비스 방향에 따라 품질 측정은 차별적으로 적용될 필요가 있다.

이에 본 연구에서는 여러 개의 상호 이질적인 서비스들을 통합하여 제공하는 과학기술 지식인프라 통합서비스의 효율적 운영과 관리를 위한 품질평가모델을 제안한다. 이를 위해 <그림 1>과 같이 데이터, 시스템, 서비스 측면의 평가 기준에 대한 대표적 사례를 분석하고 통합서비스에 적합한 품질평가 요소와 품질 지표를 도출하였다. 특히, 본 연구의 품질평가모델이 연구자의 R&D활동을 통합적으로 지원하는 과학기술 지식인프라 통합서비스를 대상으로 하기 때문에, 웹서비스 품질평가모델 뿐만 아니라 국내 공공서비스의 품질관리체계도 분석하였다. 이를 근거로 통합서비스의 품질평가모델을 개발하고, 통합서비스를 대상으로 품질평가방법을 제시하였다.


Fig. 1. 
Development process of quality evaluation model

본 연구의 구성은 다음과 같다. 2장에서는 과학기술 지식인프라 통합서비스의 특성에 따른 품질관리요소를 정의하고 기존의 품질평가모델을 분석한다. 3장에서는 품질관리요소에 따라 통합서비스 품질평가모델을 도출한 후 품질평가방법을 제안하고 4장에서 결론을 맺는다.

Ⅱ. 선행연구
2-1 과학기술 지식인프라 통합서비스의 품질관리요소

본 연구의 품질평가모델 설계를 위해서는 적용 대상인 과학기술 지식인프라 통합서비스의 특성과 품질관리요소를 정의해야한다. 과학기술 지식인프라 통합서비스는 과학기술분야 연구자의 R&D활동을 한 곳에서 수행할 수 있도록 한국과학기술정보연구원에서 개발·운영중이다[2]. 연구자의 R&D활동은 크게 R&D 전주기에 따라 아이디어 발굴, 과제발굴 및 펀딩, 실험 및 실습, 연구성과창출의 단계별로 진행되며, 각 단계별로 요구되는 과학기술 지식인프라들이 존재한다. 연구자의 R&D활동을 통합적으로 지원하는 과학기술 지식인프라는 과학기술 정보·데이터, R&D 정보서비스, 분석서비스, HPC 기반 서비스, 시스템 인프라 자원 등을 모두 포함한다[3].

과학기술 지식인프라 서비스는 <표1>과 같이 다양하고 이질적인 기능들을 포함하고 있으며 모두 독립적으로 운영되고 있으며, 기능적으로 크게 정보서비스, 연구자원 활용, 정보분석서비스 부분으로 나눌 수 있다. 정보서비스는 성과정보와 R&D 정보 등 정보콘텐츠 중심의 제공범위를 가지고 있으며, 연구자원활용서비스는 각종 시뮬레이션 프로그램과 같은 실험 실습 및 웨비나와 같은 협업연구를 위한 실행환경기능을 제공한다. 그리고 정보분석 서비스는 논문,특허 등 다양한 정보를 분석여 경쟁정보분석, 기술기회탐색 등 2차 가공 정보와 분석도구 등을 제공한다.

Table 1. 
Quality Management Attributes of S&T Knowledge Infrastructure
Type Service Contents Coverage factors for Quality
Information Service NTIS research results, R&D information, researcher, institution, statistics etc information service
NDSL articles, patents, reports, researcher, institution, S&T trends information service
KOAR research results information
Scent S&T trends information
KOSEN research results, S&T trends, community information service
Resources for Research KREONET research network backbone service
KAFE integrated login system, utilization platform service
Super Computing Center utilization platform, R&D information, researcher etc information service
EDISON utilization platform, research results, education information service
Information Analysis KMPAS S&T trends, product, technology information
ASTI product, technology, S&T trends information
SATRVALUE value analysis for technology, S&T trends information
TOD product analysis information service
COMPAS product/technology competitive information information service

따라서, 통합서비스는 R&D에 도움이 되는 각종 정보, 실험 및 실습 등에 필요한 서비스 기능이 제공되기 때문에 본 연구에서 통합서비스 품질평가모델을 설계하기 위한 품질관리요소는 정보품질, 서비스품질을 모두 고려해야 한다. 또한, 개별서비스의 지속적이고 안정적인 운영이 통합서비스의 신뢰성과 안정성에 영향을 미치기 때문에 통합서비스 및 NTIS, EDISON, TOD 등 개별서비스의 운영성과도 품질관리요소로 포함하였다. 이에 본 연구에서는 통합서비스를 위한 품질평가모델을 설계하기 위해 정보품질, 서비스품질 및 운영성과를 위한 품질평가모델 및 매뉴얼을 분석하였다.

2-2 서비스 품질평가모델 분석

인터넷이 발달하면서 기존의 서비스 품질평가모델을 온라인 서비스에 적용하여 품질을 관리하는 웹서비스 품질평가모델에 대한 연구가 활발히 진행되었는데, 본 연구에서는 대표적인 품질평가모델인 SERVQUAL과 e-SERVQUAL에 대해 분석하였다. SERVQUAL은 1988년 Parasuraman, Zeithaml, Berry에 의해 개발되어 현재 전 세계적으로 많이 사용되고 있는 서비스 품질 측정의 대표 모델 중 하나이다. <그림 2>와 같이 이용자의 기대와 경험의 일치정도와 방향을 측정하는 분석방법으로 서비스 인식 값과 서비스 기대 값의 차이로 서비스의 품질 정도를 측정한다[4]. 따라서 이용자 관점에서 기대와 지각 간의 격차를 항목과 서비스차원별로 분석하여 서비스 기업이 서비스 품질 개선을 위해 노력해야 할 핵심차원과 항목을 명확히 할 수 있다[5].


Fig. 2. 
SERVQUAL Model

SERVQUAL 모델은 <표 2>와 같이 유형성, 신뢰성, 대응성, 공감성, 확신성 등 총 5개의 품질 차원에 대해 고객의 기대와 지각을 측정하는 22개의 문항으로 구성되어 있다. 그러나 이러한 평가 모델은 바로 적용 가능한 구체적인 평가방법을 제시하는 것은 아니기 때문에 서비스의 특징이나 평가 주체의 목적에 따라 적합한 형태로 조정되어야 한다[6].

Table 2. 
SERVQUAL Quality Measurement Instrument
Dimensions Measurement instrument
Tangibles (4) appearance of physical facilities, equipment, personnel, and communication materials
Reliability (5) ability to perform the promised service dependably and accurately
Responsiveness (4) willingness to help customers and provide prompt service
Assurance (4) knowledge and courtesy of employees and their ability to convey trust and confidence
Empathy (5) the caring, individualized attention the firm provides its customers

왜냐하면 SERVQUAL의 품질 지표와 측정문항이 추상적이고, 유연성이 큰 상위 차원으로 구성되어 있기 때문이다. 그리고 각 속성들이 최종 품질에 미치는 영향이 모두 같다고 볼 수 없기 때문에 서비스의 유형에 따라 각 품질이 가지는 속성의 중요도와 영향력 등을 결정하여 평가에 반영할 필요가 있다[7].

이에 기존의 모델을 바탕으로 온라인의 특성에 맞는 e-SERVQUAL 모델을 개발하기도 하였다. 대표적인 e-SERVQUAL 모델의 차원은 기존의 신뢰성, 반응성에 접근가능성, 유연성, 네비게이션의 용이성, 효율성, 보증성/신뢰, 안정성/프라이버시, 가격정보, 장소의 미학, 고객화/개인화 등으로 기존의 SERVQUAL과 다른 11개의 차원으로 이루어져있다[8].

기타 웹 서비스를 위한 서비스 품질평가모델사례로는 WEBQUAL[9], SITEQUAL[10], e-GovQual[11], LibQual[12] 등이 있다[13]. 이들 평가모델은 모두 SERVQUAL, e-SERVQUAL 기반으로 서비스 특성에 맞게 재정의 된 것으로 파악되었다. 따라서 본 연구의 품질평가모델의 서비스 품질은 SERVQUAL을 기반으로 정의하는 것으로 하였다.

2-3 정보품질평가 및 운영성과측정 모델 분석

과학기술 지식인프라를 통해 제공되는 논문, 특허, 보고서 및 각종 분석 정보는 공공재의 성격을 가지고 있으며 이용자에게 개방과 공유 목적으로 제공되고 있다. 따라서 본 연구에서는 행정안전부의 공공데이터 품질관리 및 수준평가 가이드를 분석하고 본 연구의 품질평가모델의 지표로 적합한지 여부를 분석하였다.

1) 공공데이터 품질관리 매뉴얼

우리나라는 1980년대 중반 ‘행정전산망사업’을 시작으로 2000년대 후반까지 전자정부서비스 및 국가DB구축사업을 통해 다양한 공공데이터를 축적하여 행정 및 대국민 서비스에 활용하였다[14]. 공공데이터는 공공기관이 업무 수행의 결과로 생성 또는 취득한 모든 자료를 말하며, 다양한 형식의 전자화된 파일을 포함할 수 있다[15]. 오랜 시간동안 구축되고 다양하게 활용되는 공공데이터는 표준화와 신뢰성 확보가 중요하다. 특히 2013년 “공공데이터의 제공 및 이용 활성화에 관한 법률”이 시행됨에 따라 공공데이터의 제공 및 활용이 확대되면서 데이터의 품질은 매우 중요한 요소가 되었다. 이를 위해 행정안전부에서는 공공기관이 보유하고 있는 공공데이터의 품질을 효율적으로 관리하고 향상시키기 위해 2014년 “공공데이터 관리지침”으로 제정하였다. 이에 한국정보화진흥원에서는 공공데이터 관리지침에서 규정하는 내용을 보다 구체화하여 공공기관에서 효율적인 데이터 품질관리 활동을 수행할 수 있도록 2018년 “공공데이터 품질관리 매뉴얼 v.2.0”(이하, 공공데이터 품질관리 매뉴얼)을 개발하였다. 공공데이터 품질관리 매뉴얼은 개별 공공기관에서 발생하는 데이터에 적합한 품질관리를 수행하는 것뿐만 아니라 관련종사자들이 공공데이터 품질관리에 대한 전문적 지식을 습득할 수 있도록 하는 것이 목적이다.

공공데이터 품질관리 매뉴얼은 크게 품질관리 활동 체계와 데이터 품질 확보를 위한 품질진단 및 절차로 구성되어 있다. 품질관리 활동 체계는 품질관리 실행 조직, 품질관리 절차 및 관리 요소로 나눌 수 있다. 또한 기관에 적합한 품질관리 정책을 세우고 그에 따른 조직과 활동이 이루어질 수 있도록 구성되어 있다. 공공데이터 품질관리 매뉴얼에서 제시하는 품질관리 절차는 <그림 3>과 같이 정보의 생명주기를 고려하여 계획단계, 구축단계, 운영단계, 활용단계 등 총 4단계로 구성된다.


Fig. 3. 
Diagram of Public Data Quality Management[14]

이 중 운영단계에서 데이터 품질 진단을 주요 내용으로 포함하고 있으며, 진단대상의 정의, 품질진단 실시, 진단결과 분석, 개선계획 수립, 개선수행, 품질통계 등 6단계의 절차를 제시하고 있다. 데이터의 품질은 준비성, 완전성, 일관성, 정확성, 보안성, 적시성, 유용성으로 7개의 주요지표로 구분된다. 각 지표는 전반적 품질관리 수준의 현황을 파악하기 위해 총 72개의 설문 문항으로 구성하였다. <표 3>은 각 지표별 정의와 괄호 안에 해당 문항수를 나타낸 것이다. 지표별 체크리스트 평가 방법은 지표특성별 각 문항의 측정결과인 적정, 보통, 미흡 3단계를 100점 기준으로 환산한 후 점수를 평균하여 지표특성별 품질점수를 산출한다. 그리고 지표특성별 가중치를 적용하여 지표별 품질점수를 집계한다. 각 지표별 점수결과가 81점 이상은 적정, 50점이상에서 80점 미만은 보통, 50점 미만은 미흡으로 평가한다.

Table 3. 
Quality Indicator and Definition of Public Data
indicator definition
preparedness (9) Indicators that define the elements that need to be managed by default for data management in public data
completeness (7) Indicators of logical design and physical structure in building databases that are repositories of public data
consistency (15) Indicators that measure whether attributes of an entity conform to defined standards (standard terms, code, domain) and whether attributes are consistent with redundant use or data association
accuracy (13) Indicators that measure the level of action, such as logic or methods to prevent errors in the data entry stage, the range and format of stored data to meet defined criteria
security (11) Indicators that measure the level of management of who is responsible for generating data to ensure continuous quality, the level of access to data according to authority, and DB supplementary management to minimize disruption to information services
timeliness (7) Indicators that measures whether the program's performance is secured with a response time satisfied by the user, and the level of required information is up to date
usefulness (10) indicator of whether sufficient information is provided to the user's satisfaction, access to the information is convenient for the user, and whether the user is making use of the information

현재 공공데이터 품질관리 매뉴얼에 따른 공공데이터 품질관리 수준평가는 2020년 기준으로 중앙·지방자치단체 및 공공기관까지 평가 대상을 확대하여 진행중에 있다. 본 연구의 품질평가모델 적용 대상서비스는 <표 1>과 같이 개별서비스별로 논문, 특허, 보고서, 동향, 분석정보 등 다양한 유형의 데이터를 수집, 가공, 구축, 서비스하고 있으며 통합서비스를 통해 한 곳에서 이들을 검색하고 접근할 수 있는 접근점을 제공한다. 따라서 고품질의 과학기술관련 정보를 신뢰성 있게 제공하기 위해서는 정보의 구축, 운영, 활용 단계에서의 품질관리가 요구되며 정보구축관리시스템 및 이를 운영하는 부서의 임무와 역할이 정의되어야 할 것이다. 따라서, 본 연구의 품질평가모델의 정보품질은 공공데이터 품질관리 매뉴얼을 기반으로 정의하였다.

2) 행정안전부 정보시스템 운영 성과 측정 매뉴얼

정보시스템 운영 성과측정 매뉴얼은 2017년 고시된 “정보시스템운영 성과관리 지침”에 따라 정보시스템 운영 성과를 측정하기 위한 구체적인 기준과 절차, 방법 등을 상세하게 설명하여 정보시스템 운영 담당자가 보다 쉽고 정확하게 성과측정 활동을 수행하고 정보시스템 운영 성과관리 제반 사항에 대한 이해를 증진시키는 것을 목적으로 하고 있다[16]. 정보시스템 운영 성과측정 매뉴얼 개발의 배경은 다음과 같다. 정보시스템은 정보기술의 급성장에 따라 활용 필요성은 증대되었으나 비계획적 수용 및 운용 등으로 말미암아 복잡도가 증가하고 관리비용의 증가를 초래하였다[17]. 따라서 불필요하게 투입되는 예산을 방지하고, 업무 효율을 향상시킬 수 있는지에 대해 객관적이고 타당하게 측정하여 운영 타당성을 판단할 수 있는 관리 지침이 필요하게 되었다. 매뉴얼에서 제시하는 정보시스템 운영 관리는 정보시스템 운영 타당성을 판단하기 위한 정해준 기준에 따라 성과를 측정하고, 그 결과에 따라 정보시스템의 효율적 운영을 위한 유지관리 유형을 결정하여 업무 및 비용 측면의 성과를 높이기 위한 제반활동을 의미한다[16]. 이에 정보시스템 운영 성과측정 모델은 <그림 4>와 같이 유지관리 유형을 판단하는 1차 측정과 그 결과에 따라 필요한 개선방안을 마련하는 2차 측정으로 구성되어 있다.


Fig. 4. 
Measurement Model for Information System Operation Achievement [16]

정보시스템 운영 성과는 비용과 업무 측면에서의 측정항목과 항목별 측정지표로 개발비용, 유지보수비, 운영비, 접속자 수, 데이터 용량, 응용기능 및 활용 현황, 사용자 만족도 등의 정량적 기초 데이터를 사용하여 측정한다. 비용 측면의 운영 성과는 운영 및 유지보수에 소요되는 비용의 전체적인 규모, 증감수준, 활용규모에 비해 적절하게 투입되고 있는지를 정량적으로 측정하여 비용 효율성을 높이기 위한 정보시스템 구조개선 등 재개발 여부를 판단한다. 업무측면의 운영성과는 정보시스템의 서비스 및 업무지원이 효율적으로 이루어지고 있는지를 정량적으로 측정함으로써 정보시스템의 서비스 및 업무지원 강화 등 기능 고도화 여부를 판단한다. 개별 측정항목과 정의는 <표 4>와 같다.

Table 4. 
Achievement Factor for Information System Operation
type factors definition
cost Operational adequacy If the accumulated maintenance costs exceed a certain percentage of the total development costs, determine whether efforts are needed to improve the costs
maintenance convenience The level of increase and decrease in input operation and maintenance costs shall be analyzed to determine whether the information system maintains a cost-effective structure
Cost efficiency It determines whether it maintains a cost-effective structure compared to the scale of use of information systems
task Performance Impact It determins whether it is necessary to improve and upgrade functions to enhance the efficiency of business support
use convenience It determines whether it is necessary to improve functions to enhance users' convenience in utilizing information system
performance achievement It determins whether it is necessary to improve and upgrade functions in order to improve business performance and achieve goals at the time of initial construction

2차 성과측정에서 자원효율성 측정은 서버 장비의 효율적 사용과 성능을 파악하기 위하여 CPU 활용률, 메모리 활용률, 디스크 활용률 등을 측정하며 자원의 재배치나 클라우드 컴퓨팅 활용 등과 같은 자원의 효율화 방안, 구조개선 방안 마련의 기초 자료로 활용하게 된다.

본 연구의 연계·통합 대상이 되는 다양한 개별서비스들 뿐만 아니라 통합서비스의 안정적인 제공을 위해서는 정보시스템의 효율적 운영이 필수 조건이라 할 수 있다. 따라서, 통합서비스와 개별서비스의 운영 성과를 반영함으로서 통합서비스 품질수준을 제고하는 것이 필요하다. 이에 본 연구에서는 통합서비스 운영 성과 측정 매뉴얼을 기반으로 시스템 운영 품질관리요소를 정의한다.

Ⅲ. 통합서비스 품질평가모델 개발

본 장에서는 2장의 품질관리체계 현황 분석 내용을 기반으로 서비스, 데이터, 시스템 운영 관점에서의 통합서비스를 위한 품질특성요소와 이에 따른 품질 평가항목을 정의하고, 품질측정방법에 대해 기술하였다.

3-1 통합서비스 품질특성과 평가항목 정의
1) 품질 특성 정의

품질관리체계 현황 분석 결과를 기반으로 품질 특성을 도출하여 지표를 구성하면 <그림 5>와 같다. 본 연구에서는 사례분석에서 도출한 데이터, 시스템, 서비스 측면에서의 품질관리체계를 중심으로 품질속성을 25개로 추출하고, 각각의 속성은 11개의 품질지표와 매핑하였다. 각각의 품질지표는 통합적 관리가 용이하도록 측정기준을 크게 활용성, 안전성, 지속성(일관성)으로 구분하였다.


Fig. 5. 
Quality Characteristics of Integrated Service

먼저, 3가지 품질 기준 중 활용성은 서비스 활용성, 사용편의성, 연계용이성을 포함한다. 서비스의 활용성은 지식인프라의 활용도를 측정하는 기준으로 이용자, 페이지뷰, 서비스 이용에 대한 증가율을 속성으로 포함하였다. 세 가지 속성은 정보시스템 운영 품질관리 체계의 업무성과증감률을 참조하였으며, 서비스의 규모와 이용자의 특성이 다르기 때문에 명시적 숫자가 아닌 증가율로 지표를 구성하였다. 사용 편의성은 만족도, 응답속도, 검색편의, 웹접근성과 같이 이용자가 서비스를 사용하는데 얼마나 편리한지를 측정할 수 있는 속성으로 구성하였다. 연계용이성은 해당 지식인프라 서비스가 통합서비스에 얼마나 잘 연계될 수 있는지에 대한 평가로 정보공개와 연계서비스를 제공하는지에 대해 측정할 수 있도록 하였다. 이는 공공데이터 품질관리체계의 세부지표를 참조하였다.

둘째, 안정성은 보안성, 호환성, 신뢰성을 포함한다. 보안성은 데이터 측면의 세부 지표를 참조하여 보안과 개인정보보호 정책의 여부로, 호환성은 서비스 측면의 세부지표를 참조하여 표준준수와 브라우저/디바이스 호환성을 속성으로 구성하였다. 신뢰성은 정확한 정보를 제공하고 저작권을 명확히 표현하는지의 여부를 측정할 수 있도록 정보의 정확성 및 정합성, 저작권 표기 여부로 구성하였다. 모두 데이터 측면에서 측정하기 때문에 공공데이터 품질관리 체계 세부 지표를 참조하였다.

셋째, 지속성은 최신성, 정기성, 협조체계, 가용성, 준비성을 포함한다. 최신성과 정기성은 모두 정보 중심으로 평가하며, 최신정보를 적시에 잘 제공하는지, 정기적·지속적으로 제공되는지의 여부로 측정할 수 있도록 하였다. 협조체계는 연계된 지식인프라 서비스가 데이터, 서비스 변경 혹은 시스템 장애 시 신속·정확하게 관리할 수 있는 전담조직이나 담당자 협조체계가 구축되어 있는지의 여부로 구성하였다. 가용성은 시스템 장애 시 장애관리 정책과 시스템 복구 체계가 구축되어 있는지를 품질속성으로 구성하였다. 마지막으로 준비성은 시스템 운영 전담체계가 구축되었는지, 서비스 이용정책이 있는지로 측정이 가능하도록 하였다. 협조체계, 가용성, 준비성은 모두 시스템 측면의 세부 측정지표를 활용하여 정의하였다.

2) 품질 목표와 평가항목 정의

품질 측정을 위해 25개의 각 품질속성에 대한 품질목표를 설정하고 이를 측정하기 위한 평가항목을 구성하였다. 품질목표는 통합서비스의 품질지표에 부합할 수 있는 각 속성들에 대해 객관적으로 산출 가능한 정량적 지표로 설정하였다. <표5>는 품질 지표, 지표의 속성, 속성에 대한 품질 목표 및 평가항목 등을 정리한 표이다.

Table 5. 
Quality Goals and Evaluation Items for Integrated Service
Indicator Attribute Evaluation Items Quality Goal Type Classification Evaluation Attribute
content type service type user type
Service Usability User increasing rate (No. of User in the year–No. of User in prev. year)/No. of User in prev. year × 100% No. of users increases compared to the prev. year function/service information/analysis/R&D resource public/specific qualitive indicator
Page view increasing rate (pageview in the year-pageview in prev. year) / pageview in prev. year × 100% page view increases compared to the prev. year function/service information/analysis/ public/specific quantitive indicator
Service usage rate (usage rate in the year–usage rate in prev.year) / usage rate in prev. year × 100% increase in service use rate compared to the prev. year function/service information/analysis/R&D resource public/specific quantitive indicator
Convenience User Satisfaction whether to survey user satisfaction survey and reflect user satisfaction function/service information/analysis/ public quantitive indicator
User feedback access point whether access points are provided (heldesk,FAQ, Q&A) provide user feedback access point such as helpdesk, FAQ function/service information/analysis/R&D resource public quantitive indicator
whether to provide usage guideline management and provision of usage guideline function/service information/analysis/R&D resource public qualitive indicator
Service responsible service response speed (consider result of user satisfaction) provide immediate service to user requests function/service information/analysis/ public quantitive indicator
Info. Structure Clarity provide clear hierarchy and detailed information provide clear hierarchical structure and detailed information of content components function/service information/analysis/ public qualitive indicator
Search convenience whether to provide easy, fast and accurate information retrieval service provide easy, fast and accurate information search results function/service information/analysis/ public qualitive indicator
Web access whether to provide convenience for the disabled and elderly, etc. web accessibility authentication completed function/service information/analysis/ public qualitive indicator
Ease of Connection Ease of service connection whether to provide information related service providing linkage services between organizations thorugh linkage system function/service information/analysis/R&D resource public/specific qualitive indicator
Information Open whether information disclosure All information is public function/service information/analysis/ public qualitive indicator
Security Information security whether to manage information-linked security policy Manage the information-linked security policy and related guidelines function/service information/analysis/R&D resource public/specific qualitive indicator
Security measures in the network when linking information Encrypts and transmits important data when linking information function/service information/analysis/R&D resource public/specific qualitive indicator
Personal information security whether to manage personal information policy Compliance with privacy policy and management guidelines function/service information/analysis/R&D resource public/specific qualitive indicator
whether privacy terms of agreement compliance compliance with the standards for the privacy terms of agreement function/service information/analysis/R&D resource public/specific qualitive indicator
whether to protect personal information personal information is managed by non-identifying measures function/service information/analysis/R&D resource public/specific qualitive indicator
Compatibility Web standard observance whether to use web non-standard technology Use web standard technology function/service information/analysis/ public qualitive indicator
Browser compatibility compatibility with various web browser Support at least 3 cross browsing function/service information/analysis/ public qualitive indicator
Device compatibility interface compatibility with various devices provide responsive web service considering compatibility with various devices function/service information/analysis/ public qualitive indicator
Reliability Information accuracy accuracy of the information provided provide accurate information without clear source and result errors information information/analysis/ public/specific qualitive indicator
Information consistency whether to manage data consistency data list, item information management and regularization information information/analysis/ public/specific qualitive indicator
Copyright notation whether the provided information is copyrighted copyright notation of the information provided information information/analysis/ public qualitive indicator
Recency Information update whether the information provided is up-to-date provide the latest data within 1 year information information/analysis/ public/specific qualitive indicator
Periodicity Information regularity whether provide up-to-date information regularly provide the latest information regularly information information/analysis/ public/specific qualitive indicator
Cooperation Change management whether management system exists when the system failure is occurred Dedicated organization for change/failure management, presence of person in charge function/service information/analysis/R&D resource public/specific qualitive indicator
Availability System failure management system failure measures system failure policy and recovery system function/service information/analysis/R&D resource public/specific qualitive indicator
system recovery time recovery within 1 hour function/service information/analysis/R&D resource public/specific qualitive indicator
Readiness System operation dedication whether there is a system dedicated to operating the system dedicated organization for system operation, presence of person in charge function/service information/analysis/R&D resource public/specific qualitive indicator
Service use policy presence of service use policy provision of service use policy and management guidelines function/service information/analysis/ public qualitive indicator

품질 속성 중 증가율과 관련된 이용자 증가율, 페이지뷰증가율, 서비스 이용 증가율 등 3가지 속성은 전년도 건수 대비 당해년도 건수 증가분으로 측정한다. 사용자 만족도, 서비스 연계 용이성, 정보보안 등 25개의 품질은 관련 내용을 보유하고 있는지에 대한 여부로 판단하며, 이 중 정보 구조의 명확성, 검색 편의성, 웹 접근성 등 3가지 속성은 이용자가 체감하는 지표이기 때문에 사용자 만족도를 통한 결과를 활용하도록 구성하였다. 서비스의 응답성은 서비스 응답속도에 대한 이용자 체감형 평가지표로 역시 만족도 조사 결과를 반영하여 평가한다. 시스템 장애관리 체계 속성은 복구시간을 평가항목으로 구성하였다.

개별서비스들은 모두 독립적으로 운영되며, 다양하고 이질적인 기능과 이용자 범위를 가지고 있기 때문에 평가기준을 차별적으로 적용할 필요가 있다. 따라서 본 연구에서는 품질 진단 시 가중치나 환산이 가능하도록 품질 지표의 개별 속성마다 콘텐츠 유형, 서비스 유형, 이용자 유형에 따라 분류하고, 필수여부를 추가하여 평가측정을 보완하였다.

콘텐츠 유형은 정보와 기능/서비스로 나뉘며, 정보의 정확성, 정보의 정합성, 저작권 표기 여부, 정보의 최신성, 정보의 정기성은 정보유형으로 나머지 속성은 기능/서비스에 분류하였다. 따라서 정보를 포함하는 지식인프라는 해당 속성을 추가적으로 측정할 수 있도록 구성하였다. 유형은 <표5>의 유형과 같이 정보, 분석, 연구자원활용로 분류하였다. 총 30개의 속성은 모두 정보와 분석을 대상으로 하는 서비스 측정에 포함할 수 있는 속성들이며, 이 중 페이지뷰 증가율, 서비스 응답성, 정보구조의 명확성 등 14개의 속성들은 연구자원 인프라에서는 측정이 어렵기 때문에 평가 측정 시 제외하고 측정할 수 있도록 구성하였다. 이용자 유형은 대민과 특정으로 나누었으며, 특정 이용자층만 이용할 수 있는 서비스의 경우, 사용자 만족도, 서비스 응답성 등 13개 항목에 대해서는 필수 측정요소로 구성하지 않았다. 품질속성 및 평가 항목을 기준으로 본 연구에서 제안하는 통합서비스의 품질평가 모델은 <그림 6>과 같다. 품질측정을 위해 활용성, 안정성, 지속성 등 3가지의 상위 품질 기준을 설정하여 관련 지표와 속성을 구성하였다. 각 품질속성은 각각의 품질목표를 가지며 그에 상응하는 평가항목을 수립하고, 진단을 위해 평가항목을 활용하되 각 개별서비스의 특성을 반영한 콘텐츠 유형, 서비스 유형, 이용자 유형을 선별하여 선택적으로 항목을 구성할 수 있도록 하였다.


Fig. 6. 
Quality Evaluation Model of Integrated Service

3-2 품질평가모델 적용

도출된 품질평가모델을 활용한 평가방법은 정량적, 정성적으로 구분하여 접근 가능하다. 정량적 지표의 경우 시스템 로그분석, Google Analytics 등을 활용하여 특정기간동안 5개의 정량적 지표에 대해 서로 비교·분석이 가능하다.

정성적 지표의 경우 주로 이용자 만족도 및 설문조사를 통한 점수를 도출하여 평가하는 방식을 따른다. 즉 각 지표별로 리커트 척도 방식 등을 활용한 중요도를 측정한 후 각 관측치마다 평가영역별 순위를 매김으로써 선호도를 확인하는 방식이다. 또한, 전문가 및 이용자의 주관적 의견을 긍정/부정 등의 방식으로 파악하여 품질향상 전략을 도출할 수 있다. 본 연구에서는 리커드 척도 기반의 설문을 통한 공공데이터 품질관리 매뉴얼 방식을 따르도록 하였다. 즉, 평가기준은 3점 척도로 산정하며, 척도별로 적정, 보통, 미흡으로 평가하고, 문항별 답변을 100점 기준으로 환산하여 적정은 100점, 보통은 50점, 미흡은 0점으로 환산 점수를 구한다. 최종 평가점수는 환산점수/평가 문항수를 계산하여 산술평균으로 점수를 산정하며, 적정은 81점 이상, 보통은 50점에서 80점, 미흡은 50점 미만으로 진단 결과를 도출한다.

Ⅴ. 결론 및 제언

본 연구에서는 이질적인 서비스를 연계‧융합하여 서비스하는 통합서비스의 관점에서 개별서비스가 갖추어야 할 품질에 대한 평가모델을 개발하였다. 기존에 활용되는 데이터, 시스템, 서비스 측면의 평가지표를 기준으로 과학기술 지식인프라 통합서비스에 적합한 품질지표를 도출하고, 개별서비스의 특성을 반영한 품질평가기준을 수립하여 통합여부를 판단할 수 있는 근거를 마련하였다. 기존의 품질평가모델은 개별서비스 자체를 평가하는 데에 문제가 없으나 통합서비스의 통합여부를 판단하기 위한 개별서비스의 품질요건을 평가하기에는 다소 부적합하다. 이는 기존 품질평가지표는 개별서비스의 특성을 고려한 차별된 평가 방법을 제시하지 않고 있기 때문이다. 따라서 본 연구에서 제안한 평가모형은 연구지원을 위한 통합서비스의 품질을 관리하기 위하여 개별서비스의 다양한 측면을 고려했다는 것이 기존모델과의 차별성이라고 할 수 있다.

통합서비스를 위한 개별서비스의 연계·통합 수준은 시스템 서비스의 복잡도, 소스코드의 호환성, 서비스 정책 등에 따라 다양한 방법으로 이루어질 수 있다. 따라서, 이기종 서비스를 통합하기 위해서는 연계, 융합, 표준적용 등 통합의 방식, 콘텐츠 레벨, UI 레벨, 시스템 레벨 등 통합의 영역 등 다양한 차원의 통합형태가 고려되어야 할 것이다.

향후 본 품질평가모델과 기존의 품질평가모델을 다양한 통합서비스에 적용하여 본 품질평가모델의 유용성과 우수성을 검증할 계획이다.

Acknowledgments

본 연구는 2020년도 한국과학기술정보연구원(KISTI) “과학기술지식인프라 융합서비스 개발 및 운영(K-20-L01-C07)” 사업 과제로 수행한 결과입니다.

References
1. Choi, Young-Hoon. “E-government Customization and Connectivity: An Early Review of Search Functions of Government 24 Portal.” Journal of Korean Association for Regional Information Society, Vol. 20, No. 3, pp. 135-166, 2017.
2. KISTI, ScienceON. Available: https://scienceon.kisti.re.kr/
3. Seok-Hyoung Lee. “A Study on the Building of Integrated Service for Science and Technology Knowledge Infrastructure Supporting the Entire R&D Cycle” Journal Of The Korean Biblia Society For Library And Information Science, Vol. 31, No. 4, pp. 235-256, September 2020.
4. Jae-Won Lee, “Analytical Study on Classification and Service Quality Improvement for Keyword & Blog Advertising Marketing Services”, Journal of Korean Contents, Vol. 15, No.11, pp.456-466, 2015.
5. In-ho Jeon, “Effect of Service Quality on Corporate Performance, Customer Satisfaction and Intention : Focus on Outsourcing of Exhibition/Convention Industry”, Journal of Korea Contents, Vol. 12, No. 1, pp.275-298, 2012.
6. Jang-Hyeok Yoon, “Perception Gap Analysis on Service Quality Factors of Academic Libraries”, Journal of Korea Contents, Vol. 13, No. 8, pp.371-385, 2013.
7. M. Donnelly and M. Wisniewski, “Measuring service quality in local government: the SERVQUAL approach,” International Journal of Public Sector Management, Vol.8, No.7, pp.15-20, 1995.
8. JooYeun Huh, “An Inductive Study on the Service Quality Evaluation Model of Online Information Service : Focusing on the National Online Information Service NTIS and NDSL”, Journal of Korean IT Service, Vol. 19, No. 1, pp. 71-87, 2020.
9. S. Barnes and R. Vidgen, “An Evaluation of Cyber-bookshops : the WebQual method,” International Journal of Electronic Commerce, Vol.6, No.1, pp.11-30, 2001.
10. B. Yoo and N. Donthu, “Developing a Scale to Measure the Perceived Quality of an Internet Shopping Site(Sitequal),” Quarterly Journal of Electronic Commerce, Vol.2, No.1, pp.31-46, 2001.
11. X. Papadomichelaki and G. Mentzas, “e-GovQual: A Multiple-item Scale for Assessing e-Government Service Quality,” Government Information Quarterly, Vol.29, No.1, pp.98-109, 2012.
12. Yunkeum Chang, “A Study of e-Service Quality and User Satisfaction in Public Libraries”, Journal of Korean Information and Library Science, Vol. 41, NO. 1, pp. 315-329, 2007.
13. Seung-Chul Kim, “An Exploratory Study on the Development of Indicators for Assessing e-Service Quality in B2B e-Marketplace”, E-Trade Review, Vol.11, No.2, pp.25-48. 2013.
14. Ministry of the Interior and Safety , Public Data Quality Management Manual v.2.0, Jinhan M&B, 2018.
15. Hakrae Kim, “Quality Evaluation of the Open Standard Data”, Journal of Korea Contents, Vol. 20, No. 9, pp.439-447, 2020.
16. National Information Society Agency, Information System Operation Outcome Indicator Manual. Ministry of the Interior and Safety, 2017.
17. Kyung-Il Kim, “An Exploratory Study on IMS Performance Modeling Using Information System Success Model”, Journal of Digital Convergence, Vol. 12, No. 3, pp. 127-140, 2014.

저자소개

이혜진(Hye-Jin Lee)

2002년 : 숙명여자대학교 문헌정보학과(문헌정보학석사)

2017년 : 숙명여자대학교 문헌정보학과(문헌정보학박사)

2004년～현 재: 한국과학기술정보연구원 융합서비스센터 책임연구원

※관심분야：정보분석(Information Analysis), 소셜네트워크분석(Social Network Analysis), 큐레이션 서비스(Curation Service), 서비스 평가(Service Evaluation), 데이터 구조화(Data Structure) 등

신재민(Jae-Min Shin)

2006년 : 충남대학교 문헌정보학과(문헌정보학사)

2008년 : 충남대학교 문헌정보학과(문헌정보학석사)

2014년～현 재: 한국과학기술정보연구원 융합서비스센터 선임기술원

※관심분야：정보분석(Information Analysis), 웹애널리틱스(Web Analytics), 이용자연구(User Study) 등

배수영(Su-Yeong Bae)

2012년 : 홍익대학교 컴퓨터공학과(공학사)

2015년 : 홍익대학교 컴퓨터공학과(공학석사)

2015년 5월～현 재 : 한국과학기술정보연구원 융합서비스센터 기술원

2015년～현 재: 한국과학기술정보연구원 융합서비스센터 선임기술원

※관심분야：정보처리(Information Processing), 검색시스템(Search System), 학술정보서비스(S&T Information Service) 등

최희석(Hee-Seok Choi)

1998년 : 부산대학교 컴퓨터공학과 (공학사)

2000년 : 부산대학교 대학원 컴퓨터공학과 (공학석사)

2007년 : 부산대학교 대학원 컴퓨터공학과 (공학박사)

2004년～2006년: 한국전자통신연구원(ETRI)

2007년～현 재: 한국과학기술정보연구원(KISTI) 정책연구부 책임연구원

※관심분야：과학기술정보·데이터(S&T Information Service·Data), 플랫폼서비스(Platform Service), 인공지능(Artificial Intelligence), 기계학습(Machine Learning), 마이데이터(MyData) 등

이석형(Seok-Hyoung Lee)

1999년 : 충남대학교 컴퓨터공학과 (공학사)

2001년 : 충남대학교 대학원 컴퓨터공학과(공학석사)

2012년 : 충남대학교 대학원 문헌정보학과(정보학박사)

2001년～현 재: 한국과학기술정보연구원(KISTI) 융합서비스센터 책임연구원

※관심분야：과학기술 지식인프라 통합서비스(S&T Knowledge Infrastructure Integrated Service), 큐레이션 서비스(Curation Service), 통합아키텍처(Integration Architecture), 마이데이터(MyData), 의미중의성 해소 (Word Sense Disambiguation)

 
Copyrightⓒ2015 Korea Digital Contents Society. All Right Reserved.

Korea Digital Contents Society(KDCS) #914, 133, Dunsan-ro, Seo-gu, Daejeon, Republic of Korea (Zip code : 35240)
Phone : +82- 70 - 4212-0127, 042-484-3232 Email : dcs@dcs.or.kr Homepage : http://www.dcs.or.kr