지방자치정부 유튜브 PR활동 평가 지표 개발 연구

2-1 PR 커뮤니케이션 성과 측정 모델

효율성과 효과성을 강조하는 전략적 커뮤니케이션 영역에 투입되는 예산이 증가하면서 커뮤니케이션 효과를 측정할 수 있는 측정과 평가방법의 필요성은 지속적으로 제기되고 있다. 이에 관한 학술 및 실무적 관심이 증가하면서 데이터 지향적이며, 과학적인 방법에 대한 표준화를 위해 바르셀로나 원칙(Barcelona Principle)과 같은 국제적 협약이 체결되기도 하였고, 특히 새로운 미디어를 활용하는 통합적 효과 측정 모형의 필요성이 제기되었다[8]. 이러한 필요성이 제기된 이유는 첫 번째로 조직의 생존과 발전에 관련 산업의 전문가가 중요한 역할을 하고 있다는 위상정립과 같은 전문성과 책임성의 논리가 있으며, 두 번째로 평가를 기반으로 한 학습을 통해 향후 커뮤니케이션 방향성 정립이라는 실천적인 이유가 존재한다[9][10].

커뮤니케이션 활동의 효율성 및 효과성 검증에 대한 관심과 노력이 증가하면서 “어떻게 평가할 것인가?”와 같은 실천적 문제를 해결하기 위한 많은 노력들이 진행되어왔다[11]. 대표적으로 [12]는 PR 커뮤니케이션 영역을 대상으로 준비(Preparation), 실행(Implementation), 영향(Impact)의 세 단계로 보는 커뮤니케이션 효과를 제안한 PII모델을 제안했다. 그들의 연구에 따르면 준비는 체계적인 조사를 통해 메시지, 활동, 콘텐츠, PR 프로그램의 기획에 대한 적절성을 평가하고(준비), 실행은 메시지, 활동의 노출 및 제작의 수 등 PR 프로그램이 사전 계획한 바대로 실행되었는지를 평가하며(실행), 마지막으로 영향은 학습, 의견, 태도, 행동의 유발 및 변화와 같은 설정된 목표가 달성되었는지(영향)를 의미한다.

다음으로 [13]의 거시 모델(Macro Model)은 성취된 목적(objectives achieved)이라는 최상부에 결과(results), 산출(outputs), 투입(inputs)의 피라미드 형태로 세 단계로 구성되어 있다. 첫 번째 단계인 투입은 메시지와 콘텐츠 품질, 기획의 적절성으로 [12]의 준비와 유사한 특징을 갖는다. 두 번째 단계인 산출은 생산, 노출된 메시지의 수를 의미한다. 세 번째로 결과는 문제나 목표가 달성 또는 해결되었는지에 대한 것으로 학습, 태도변화, 의도된 행동변화와 같은 지표로 구성되어 있다. 거시 모델은 세 단계의 지표별 측정방법에 구체적인 소개를 하여 매우 실천적인 모델로 평가받고 있다[14].

세 번째로 [15]의 효율성 척도(effectiveness yardstick)는 상대적으로 낮은 비용과 짧은 시간에 커뮤니케이션 효율성을 검증하기 위해 실제 사례를 중심으로 산출(output), 중급(intermediate), 상급(advanced)의 세 수준으로 구분하였다. 먼저 산출수준에서는 타겟 수용자들에게 도달할 가능성이 있는 미디어와 메시지의 실행을 중심으로 측정된다. 두 번째 수준인 중급에서는 타겟 수용자들의 메시지 수용, 기억, 이해, 인지와 같은 아웃그로스(outgrowth)를 중심으로 측정된다. 세 번째 수준인 상급에서는 사전과 사후 조사를 진행하여 의견, 태도, 행동 변화와 같은 측정도구를 활용한다.

이와 유사한 내용으로 [16]은 세 수준 모델(Three level model)을 고안하였다. 그의 연구에 따르면 첫 단계인 산출은 커뮤니케이션 활동의 노력을 평가하는 단계로 메시지가 타겟 수용자들을 목표를 하는 메시지가 산출되었는지를 의미한다. 두 번째로 아웃테이크(outtake) 단계에서는 타겟 수용자들의 메시지에 대한 인지, 저장, 이해를 말한다. 마지막 단계인 성과단계에서는 산출물 또는 캠페인이 타겟 수용자들의 의견, 태도, 행동을 변화시켰는지를 중심으로 측정된다.

2-2 동영상 콘텐츠 평가 모델

동영상 콘텐츠 평가에 관한 선행연구는 광고 비히클(vehicle)로써 가치 정도를 판단하는 관점과 콘텐츠의 속성, 소구 유형, 표현방식 등 콘텐츠의 내용 및 구성에 관한 연구로 크게 구분될 수 있다.

먼저, 동영상 콘텐츠의 가치에 관한 주요 연구들의 기본 가정은 동영상 콘텐츠의 가치를 가늠할 수 있는 대표적인 지표로 시청률을 활용하여 시청자의 규모를 추정함으로써 가치를 판단한다[17]. 최근에 진행된 연구들에서 공통적으로 논의하는 것은 시청률이 동영상 콘텐츠에 대한 가치평가도구로써 광범위하게 활용되고 있지만 다매체 환경에서 변화한 시청행태의 변화를 담고 있지 못하는 문제점 또한 존재한다는 것이다[18]. 이러한 문제점을 해결하기 위해 온라인에서의 시청자 반응을 체계적으로 수집, 분석할 수 있는 분석도구와 지표의 개발이 진행됨에 따라 방송환경 변화 및 시청률 한계를 극복할 수 있는 다양한 논의들의 진행되고 있다. 예를 들어 시청률 조사기관인 AGB닐슨미디어 리서치와 소셜 가이드는 트윗 데이터를 수집 분석하여 프로그램의 인기도라는 지표를 개발하였다(박명진, 박천일, 이미나, 원순우, 2018). 정부차원에서도 이러한 문제를 극복하기 위해 한국방송광고진흥공사는 라코이라는 방송 콘텐츠 가치정보 분석시스템을 개발하였다. 라코이의 배경은 스마트 기기의 보급에 따른 방송매체 이용행태의 변화, 기존 TV시청률 중심의 콘텐츠 평가를 보완할 새로운 지표의 필요성에 기반을 두었다. 라코이의 특징은 방송콘텐츠에 대한 인터넷반응을 시청자버즈와 미디어버즈로 분류한 것이다.하였다. 시청자버즈는 게시글 수 , 댓글 수, 동영상 조회수, 미디어버즈는 관련 뉴스기사 수, 동영상 수로 세분화하여 운영되고 있다. 이와 함께 인터넷 반응의 정량적 수치뿐만 아니라 정성적 의미 활용, 인터넷 반응지표와 함께 시청 지표(실시간‧비실시간 TV 시청률‧시청자수 및 PC‧모바일 시청자수)를 복합적으로 고려하여 동영상 콘텐츠의 가치를 평가하고 있다[20].

동영상 콘텐츠 관련 두 번째 연구 흐름은 유튜브와 같이 동영상 콘텐츠를 제작·활용하는 차원에서 논의되고 있다. 유튜브는 개인의 관심사, 기업 또는 조직의 브랜디드 콘텐츠 차원에서 수용자들의 관심 및 행동을 유도하기 위한 다양한 주제와 형태로 업로드 되고 있다. 수용자들이 스스로 생산한 UCC(User Created Contents), 기업의 브랜드 메시지, 정부의 정책 메시지 등 다양한 콘텐츠를 무료로 시청할 수 있는 플랫폼이 유튜브이다. 특히 기업과 공공기관은 상대적으로 낮은 비용으로 조직의 메시지를 콘텐츠화하여 생산·배포할 수 있으며, 일반적인 광고와 달리 비용에 따른 시간적 제약이 적기 때문에 조직의 콘텐츠를 더 구체적으로 구현할 수 있는 특징을 갖는다[6]. 이로 인해 유튜브는 대표적인 동영상 콘텐츠 플랫폼으로 평가받고 있으며, 실제 홍보채널로써도 긍정적 평가를 받고 있다[21].

동영상 콘텐츠의 제작 및 활용의 관점에서 진행된 연구는 콘텐츠를 어떻게 제작했을 때 수용자들로부터 긍정적 반응을 유도할 수 있을지에 관한 내용을 중심으로 논의되고 있다. 예를 들어 [22]는 유튜브의 광고 매체로써의 가능성을 검증하는 차원에 화장품 유튜브 영상 콘텐츠 유형을 오디오(포화, 배경음악, 크고 빠른 음악, 효과), 비디오(컷 수, 효과, 강렬한 이미지, 슬로 모션, 강하고 일반적이지 않은 색상), 콘텐츠(시연, 기대하지 않은 형식, 반전), 메시지 소구(합리성, 공포, 사회, 젊음, 통계, 행사, 유명인)로 구분해서 소비자 반응(시청수, 좋아요)에 미치는 효과를 검증했다. 연구결과에 따르면 사회, 젊음, 슬로모션, 포화, 배경음악, 소리가 큰 음악, 기대하지 않은 포맷이 소비자들의 시청수와 정적 상관관계가 존재하는 것으로 밝혀졌다. 이와 유사한 접근법으로 [6]은 유튜브 콘텐츠의 특성을 유형, 메시지전략, 크리에이티브 전략으로 구분하여 실제 유튜브의 콘텐츠 특성은 무엇이며, 콘텐츠 특성별 소비자 반응(좋아요, 싫어요, 댓글, 공유, 조회, 누적 시청 시간)별로 차이가 있는지를 내용분석을 통해 검증하였다. 먼저 유형은 제품 속성 및 기능을 의미하는 제품 중심형과 브랜드 관련 인물 및 캐릭터에 관한 내용이거나 감성적인 정보를 담고 있는 브랜드 중심형으로 구분하였다. 다음으로 소비자 중심형의 하위 유형으로 소비자들의 실제 경험 또는 경험을 연출한 내용의 경험 기반형과 소비자들 감성을 자극할 수 있는 희망적인 스토리를 중심으로 제품을 상징적으로 표현한 상징 기반형이 있다. 콘텐츠의 메시지 전략은 대분류로 정보적 전략, 감정 전이적 전략, 두 전략을 동시 활용하는 양면적 전략이 존재한다. 메시지 전략의 세부 전략으로 정보 제공 중심의 이성, 시급성, 일상, 감성적 이야기를 중심으로 하는 자아, 사회, 감각 등으로 구분하였다. 마지막으로 유튜브 브랜드 채널 콘텐츠의 메시지 내용을 전달방식인 크리에이티브 전략은 정보적 전략 차원의 비교광고, 특장점을 소개하는 USP 등 5개의 전략으로 유형화되었고, 감정전이적 전략으로 사용자 이미지, 브랜드 이미지 등 4개의 전략으로 구분되었다.

[23]은 새로운 동영상 콘텐츠 유형인 인터랙티브 무비의 콘텐츠 속성으로 상호작용성, 공감성, 오락성, 정보성으로 유형화하여 이것이 콘텐츠에 대한 태도와 구전의도에 미치는 영향력을 검증하였다.

2-3 SNS 환경에서 공공기관 PR활동 평가

소셜미디어는 미디어 환경의 변화만을 가져오는 것이 아니라 우리 사회 전반을 걸쳐 영향을 주고 있다. 특히 마케팅 커뮤니케이션 관점에서 소셜미디어가 기업의 소비자 커뮤니케이션에서 차지하는 비중이 폭발적으로 증가하면서 조직의 PR활동 또한 전통적인 4대 매체에서 소셜미디어로 급격하게 이동하고 있다. 민간 기업에서 가시적 성과가 지속되면서 공적 이익을 목적으로 하는 공공 영역에서의 PR활동 또한 소셜미디어로 점차 이동하기 시작했다. TV와 같은 편재성을 가지고 있으며, 시공간의 제약이 낮으며, 실시간, 맞춤형 정보 제공이 가능하기 때문에 공공 영역에서의 소셜미디어 활용은 더욱 증가될 가능성이 높다[1].

정책 커뮤니케이션 도구로써 소셜미디어의 활용이 증가되면서 커뮤니케이션 성과 측정에 대한 필요성이 강조되고 있다[8]. 정부 공공기관의 정책 커뮤니케이션 차원에서 소셜미디어 활용도가 늘어날수록 민간 PR 커뮤니케이션에서와 마찬가지로 성과 평가에 대한 필요성이 제기되고 있지만 관련 연구는 매우 제한적이다[24][25]. 예를 들어 [24]는 공공 PR영역에서 소셜미디어의 활용이 증가하지만, 공공 영역의 소셜미디어 성과측정 및 평가방법이 체계적이지 못하다는 지적을 하며, 공공기관의 성과 측정방법, 문제점, 실무에서 적용 가능한 성과 측정방법을 제언했다. 연구결과에 따르면 연구대상이었던 10개의 공기업 및 준정부기관은 모두 소셜미디어 채널을 운영하고 있으며, 성과측정을 위한 지표는 회원수(팬, 팔로워), 방문자수, 제작물수(정보제공건수), 댓글수로 한정적으로 운영하고 있는 것으로 밝혀졌다.

[24]에서는 20개의 정부 부처의 페이스북을 대상으로 활동, 참여, 대화, 연결이라는 4개의 차원으로 구성된 관계 평가 프레임워크를 개발하여 페이스북 페이지를 분석했다. 네트워크 이론을 기반으로 연구자의 직관으로 구성한 소셜 미디어 활동 평가 프레임을 구축하였고 구성 요소의 조작적 정의는 다음과 같다. 먼저 활동은 운영자의 포스팅 활동 정도로 포스팅 수로 측정하였다. 두 번째로 참여는 사용자의 참여 정도이며, 포스팅의 좋아요 수, 공유 수, 댓글 수로 만들어진 지표이다. 세 번째로 대화는 운영자의 사용자와의 댓글에 대한 답글 정도로 정의되었으며, 운영자의 답글 수로 측정하였다. 마지막으로 연결은 사용자와의 구독을 통한 관계망 구축 정도로 개념화하여 채널 좋아요 수와 1개월 좋아요 증가 수, 팔로워 수와 1개월 팔로워 증가수로 측정하였다.

소수의 소셜미디어 성과 평가를 위한 연구가 진행되었지만, 이론 및 방법론적 문제점이 존재하였다. 이러한 문제점을 극복하고자 [3]에서는 정부 및 공공기관이 운영하는 소셜미디어 홍보 활동 효과를 측정하기 위한 구조방정식 모형을 기반으로 평가지표 도출을 위한 측정모델을 구축하였고, 이를 기반으로 지표별 중요도를 밝혀냈다. 그들의 연구결과에 따르면 정부 및 공공 기관 소셜미디어 평가모델은 정량과 정성적 차원으로 구분될 수 있다. 먼저 정량적 차원은 소셜미디어 운영 관리 능력(소셜미디어 채널 운영 여부, 콘텐츠 수, 이벤트 수), 채널 영향력(팬, 구독자, 팔로워 수, 증가율, 조회수), 사용자 참여(좋아요, 공유수, 댓글수, 증가율 등), 대국민 응대(답변수), 협업 우수 사례(협업 기관 수, 협업 수, 협업에 따른 콘텐츠 생산수, 조회수, 참여자 수 등)인 것으로 나타났다. 정성평가 항목에는 소셜미디어 운영평가(목표, 연계, 타겟 설정의 명확성, 콘텐츠 참신성, 진정성, 이해성, 부합성, 확산성, 반응성 등), 온라인 정책 우수 사례(임팩트, 목표, 이해성, 진정성, 확산성, 실시간성 등), 부처 협업 우수 사례(일관성, 적시성, 진정성, 이해성, 실시간성, 참여성 등)인 것으로 밝혀졌다.

지금까지 유튜브를 포함한 PR 커뮤니케이션 성과 평가, 동영상 콘텐츠 평가, 소셜미디어 환경에서의 공공기관 PR 활동 평가에 관한 이론적 논의를 확인하였다. 본 연구에서는 이러한 이론적 논의를 기반으로 전통적인 PR 커뮤니케이션 성과 평가 모델을 기반으로 유튜브의 동영상 콘텐츠 특성과 지방자치 정부의 특성을 반영하여 지방자치정부 유튜브 PR활동 평가 지표 개발을 위한 모델을 설정하고, 지표별 상대적 중요도를 도출하고자 한다.

3-1 연구문제

이론적 배경과 관련 선행 연구에서 논의된 PR활동의 성과평가, 동영상 콘텐츠, 공공기관 성과 평가를 기반으로 지방자치정부의 유튜브 PR활동 성과 평가를 위한 모델은 무엇이며, 구체적인 지표는 무엇인지를 아래와 같은 연구문제 1에서 검증해고자 한다.

연구문제 1: 지방자치정부 유튜브 PR 활동 평가를 위한 상위 및 하위 지표는 무엇인가?

다음으로 연구문제 2에서는 지방자치정부 유튜브 PR활동 평가 모델의 개별 지표가 갖는 상대적 중요도를 파악하기 위해 설정되었다. 구체적인 연구문제 2는 아래와 같이 설정되었다.

연구문제 2: 지방자치정부 유튜브 PR 활동 평가를 위한 상위 및 하위 지표별 상대적 중요도는 어떠한가?

3-2 연구방법

본 연구는 지방자치정부가 유튜브를 활용하여 활발한 PR활동을 펼치고 있지만 이에 관한 관련 연구가 존재하지 않는다는 문제의식을 기반으로 평가 및 활용을 위한 지표개발을 진행하였다. 이를 위해 유튜브를 포함한 소셜미디어를 활용한 정책 커뮤니케이션 활동 평가를 위한 지표개발을 진행한 선행 연구를 기반으로 측정방식 및 평가지표의 문제점을 기반으로 전통적인 PR활동에 대한 성과 평가 모델, 지방자치정부의 특성, 유튜브 콘텐츠 평가 등이 추가된 지방자치정부의 유튜브 PR 활동 평가를 위한 지표를 개발하였다.

평가지표 개발을 위해 광고, PR, 마케팅 전문가라고 할 수 있는 교수 및 현업 종사자 50명을 대상으로 설문조사를 실시했다. 설문조사는 2020년 5월 4일부터 11일까지 온라인으로 진행되었고 수집한 자료의 타당도 및 신뢰도 분석을 위해 확증적 요인분석을 실시하였고, 개별 평가 지표의 상대적 중요도를 분석하기 위해 계층 과정 분석방법인 AHP(analytical hierarchy process)를 활용하였다.

3-3 지방자치정부 유튜브 PR활동 평가 모델 구성

대표적인 PR 커뮤니케이션 성과 평가 모델에서 공통적으로 논의하고 있는 두 가지 요소는 정량과 정성적 요소를 모두 고려해서 성과를 평가해야한다는 것이다. 2020년 개정된 바르셀로나 원칙에서 변함없이 논의되는 내용 중 하나는 성과 측정의 편이성으로 인해 정량적 지표만을 평가하면 평가를 하는 근본적인 이유 중 하나인 향후 전략의 개선점 파악이 불가능하다[26]. 다시 말해 정성적 차원의 평가지표에서는 심층적 원인 진단과 해결점을 제공하기 때문에 필수적인 요소로 고려되고 있다[3]. 따라서 본 연구에서도 정량적 차원(output, outtake)과 정성적 차원(input, outcome)을 동시에 고려해서 모델을 설정하였다. 두 번째로 연구자들마다 용어상에서 차이는 있지만 투입(input), 산출(output), 성과(outcome)라는 과정에 따라 평가한다는 것이다[14]. [13]의 거시 모델에 따르면 투입은 메시지 제시의 질(디자인, 스토리 가치), 메시지의 적절성, PR 기획의 적합성을 의미한다. 본 연구에 이를 적용시켜보면 콘텐츠가 얼마나 적절하게 구성되어 있는지를 의미할 수 있다. 따라서 본 연구에서도 투입은 유튜브 동영상 콘텐츠의 적절성으로 정의하였다. 구체적인 세부 지표를 보면 소셜미디어에서 CEO와 같은 조직의 리더가 활발하게 활동하거나 이에 대한 관심이 높으면 성공적인 소셜미디어 운영이 될 가능성이 높다는 것이 입증되었다[27].

일반적인 공공기관 달리 지방자치정부는 선출직으로 어떤 공공기관보다 리더십의 역할은 중요하다. 따라서 본 연구는 투입 차원에 해당된다고 판단하였다. 이외에도 이해 용이성, 정책 일치성, 활용성, 시의성, 차별성은 본 연구와 유사한 대상인 정부 및 공공기관을 대상으로 진행한 [3]의 연구에서 사용된 측정 및 정의를 활용하였다. 그리고 소셜미디어 콘텐츠의 중요한 속성으로 신뢰성과 흥미성이 고려하고 있는 선행연구([23] [28])를 본 연구에서도 차용하였다.

다음으로 산출은 기사 수 등 PR 캠페인을 통해 메시지가 얼마나 많이 배포되었는지를 평가하는 것으로, PR 활동의 노력을 의미한다[14]. 본 연구에서는 유튜브 영상 콘텐츠 수, 생산 정기성, 분기별 콘텐츠 수의 개선도로 산출 차원을 정의하였다. 세 번째로 아웃테이크는 타겟 수용자들이 PR 메시지 노출, 주의, 기억 등 메시지에 대한 반응을 의미한다[15]. 본 연구에서는 조회수, 구독자수, 좋아요수, 댓글수, 월별 실제 사용자수에 [3]이 제안한 성과 개선도를 추가하여 아웃테이그 차원을 구성하였다. 마지막으로 성과차원은 PR활동 또는 프로그램을 진행한 후 타겟 수용자들의 의견, 태도, 또는 행동이 목표한 바대로 변화되었는지에 관한 것이다[15]. 본 연구에서는 지방자치정부가 유튜브와 같은 소셜미디어를 운영하는 이유를 성과로 고려한 선행연구[1][28]에서 제기된 개방, 공유, 참여, 상호작용, 협력을 성과로 판단하였다.

지금까지 논의된 지방자치정부 유튜브 PR 활동 평가 지표에 대한 설명은 아래 <표1>과 같다.

Table 1.

Evaluation Measurements of Local Governments’ YouTube PR Activities

3-4 AHP

본 연구는 지방자치정부 유튜브 PR 활동의 평가 지표의 상대적 중요도를 검증하기 위해 계층 과정 분석법(AHP; analytic hierarchy process, AHP)을 활용했다. AHP는 의사결정 상황에서 영향을 미칠 수 있는 항목의 중요도를 중심으로 의사결정의 요인을 계층적으로 나누어 각 계층별 요인을 응답자들이 비교하는 평가방법이다[29]. AHP는 의사결정에 영향을 미칠 수 있는 요인들을 대상으로 개별 요인간 중요도 판단을 쌍대비교(pair-wise comparison)를 하는 것으로 요인 간 우선순위를 분석할 수 있다. 주로 관련 산업 또는 학문 영역의 전문가들을 대상으로 진행하는 방법론으로 응답자들이 속한 집단의 평가 기준을 기반으로 도출하기 때문에 목표 중심적이고, 요인별 중요도 순위 및 점수를 도출하는데 활용도가 높은 방법론이다[3][30][33]. AHP는 복잡한 다기준 의사결정 상황에서 수치화가 가능한 정량적 요소와 수량화가 어려운 정성적 요소까지 합리적이고 체계적인 방법으로 분석이 가능하다. AHP는 요소 간 상대적 중요도를 비교적 간편하고 명확하게 파악할 수 있어 의사결정의 구조를 파악하는데 널리 활용되고 있다[31].

AHP 분석을 수행하는 과정은 먼저 다양한 조직의 의사결정과정에서 발생될 수 있는 문제(지방자치정부의 유튜브 PR활동 평가 지표 개발)의 구조를 결정하는 것이다. 두 번째로 평가 기준을 확정하고 계층구조를 설정하는 것이다. 이 단계에서는 평가 요인을 동질적으로 집합화하고, 이 집합을 상이한 계층으로 배열한 후, 문제의 속성을 계층적으로 세분화하는 것이다. 네 번째로 요소 간 비교를 통해 얻어낸 우선순위 요소와 구체적인 가중치를 부여하고 다음 아래 요소를 다른 요소와 비교하여 가중치를 산정하는 방식으로 진행한다[29].

AHP 기법에서 신뢰도는 설문 응답자들이 쌍대비교를 얼마나 일관성을 갖지고 응답하는지를 판단하는 일관성 비율(CR; consistency ratio)로 파악할 수 있다. 일관성 비율(CR)은 일관성 지수(CI; consistency index)를 무작위로 응답할 때의 일관성 지수(RI; random index)로 나눈 값으로 도출된다[32].

따라서 본 연구에서도 Input(투입), Output(산출), Outtake(반응), Outcome(성과)의 대유목으로 계층화하여 이들간 비교를 통해 우선순위와 가중치를 도출할 것이다. 다음으로 대유목 내 개별 지표간 비교를 실시함으로써 어떤 지표가 지방자치정부의 유튜브 PR활동을 평가하는데 중요한 지표인지를 파악하고자 한다. 마지막으로 CR(일관성 비율)을 계산하여 응답자들의 비교가 얼마나 신뢰성을 가질 수 있을지 판단하였다.

4-1 응답자 특성

지방자치정부 유튜브 PR 활동 평가 지표 개발을 위해 응답한 전문가 집단은 총 50명이었으며, 성별은 응답자 50명 중 남성이 76%(38명), 여성이 24%(12명)로 남성의 비중이 높을 나타났다. 응답자의 연령 비중은 20대 후반이 56%(28명)로 가장 높았으며, 다음으로 30대가 30%(15명), 40대기 14%(7명)의 순이었다. 직업분류는 광고/PR대행사가 58%(29명), SNS 대행사가 30%(15명), 교수가 12%(6명)인 것으로 나타났다. 전공은 광고가 36%(18명), PR이 30%(15명), 신문방송이 18%(9명), 마케팅이 14%(7명)의 분포를 이뤘다. 해당 분야 업무경력은 4~5년 미만이 58%(25명), 5년 이상에서 10년 미만이 22%(11명), 10년 이상이 14%(7명), 무응답이 6%(3명)으로 나타났다.

4-2 지방자치정부 유튜브 PR활도 평가 모델 적합도

본 연구에서 설정한 지방자치정부 유튜브 PR활동 평가 차원별 구성 지표의 신뢰도와 설정한 모델의 적합도를 검증하였다. 먼저 평가 차원별 신뢰도를 크론바하 알파값을 기준으로 분석한 결과 신뢰도 계수가 .896에서 .977로 기준을 상회하는 것으로 밝혀졌다.

다음으로 설정한 지방자치정부 유튜브 PR활동 평가 모델의 적합도를 확증적 요인분석(CFA)을 통해 검증하였다. 이와 관련해 모델의 적합도를 검증하는데 탐색적 요인 분석(EFA)을 실시한 후 확증적 요인 분석을 통해 검증해야한다는 과정에 대한 의견이 엇갈린다[3]. 그러나 본 연구와 같이 이론적 논의와 선행 연구에서 사용된 모델을 활용하는 상황에서는 확인적 요인 분석만을 활용한 모델 적합도를 검증하는 것이 무리가 없다는 논의[33]를 기반으로 본 연구에서 상정한 지방자치정부 유튜브 PR활동 평가 모델의 적합도를 실증하였다.

본 연구는 전문가 집단(교수, 현업 종사자)과 같은 특수 표본을 대상으로 진행되어 표본 크기가 상대적으로 작기 때문에 표본 크기에 영향을 덜 받는 척도자유최소자승법(scale-free least square)을 사용하여 적합도를 분석하였다[3][34]. 설정한 모델의 적합도를 검증한 결과 χ2(224) ＝63.289, p ＜ .001, GFI ＝ .981, AGFI ＝ .977, NFI ＝ .977, RFI ＝ .974, RMR ＝ .095로 적합도 수용 권장기준을 상회하는 것으로 밝혀졌기 때문에 본 연구에서 상정한 모델의 적합도는 수용할 수 있는 수준으로 판단되었다. 그리고 모델의 수렴 타당도(convergent validity) 검증을 위해 각 구성 차원의 개념 신뢰도(CR; construct reliability)와 평균 분산 추출값(AVE; average variance extracted)을 검증하였다. 각 구성 개념의 수렴타당도 표준화경로계수는 최저 0.82에서 최고 1.03 사이에서 값을 취하였고, 평균 분산 추출값은 최저 0.53에서 최고 0.61 사이의 값을 갖는 것으로 나타났기 때문에 수용 권장 기준값(CR ≥ 0.7 이상, AVE ≥ 0.5)을 충족하였기 때문에 개별 구성 개념에 수렴타당도는 확보되었다고 볼 수 있었다[35]. 본 연구에서 설정한 모형을 기반으로 대유목, 소유목 지표별 중요도를 AHP를 통해 밝혀내고자 하였다.

4-3 지방자치정부 유튜브 PR활도 평가 지표별 중요도

본 연구는 지방자치정부 유튜브 PR 활동의 평가 지표별 상대적 중요도를 알아보기 위해 계층 과정 분석법인 AHP를 적용하였다. 분석 결과의 신뢰도는 응답의 일관성을 의미하는 CR 값을 기준으로 판단하였다. 본 연구에서 가정한 모든 비교의 CR 값이 권장기준인 0.2 이하를 나타냈기 때문에 상대적 중요도 수치를 아래와 같이 보고하였다.

지방자치정부 유튜브 PR 활동 평가모델의 대유목 중요도를 분석한 결과는 <표 2>와 같다. 구체적으로 대유목의 중요도는 참여, 공유, 확산과 같은 웹 2.0의 실질적인 성과를 담고 있는 Outcome 유목이 38.0%로 가장 중요한 것으로 나타났으며, 다음으로 시민들의 반응지표라 할 수 있는 Outtake가 25.5%, PR 활동을 위한 노력인 Output이 21.9%, 유튜브 콘텐츠의 적절성을 의미하는 Input이 14.6%로 나타나 대유목 중 가장 낮은 중요도인 것으로 밝혀졌다.

Table 2.

Upper Level of Category of Evaluation Measurements

대유목 지표별 중요도를 분석한 결과는 <표 3>을 통해 확인할 수 있다. 먼저 Input 중 첫 번째는 지방자치정부의 유튜브 PR활동의 콘텐츠가 강조하는 정책과 일치성이 얼마나 높은지를 의미하는 정책과의 일치성(21.1%)인 것으로 밝혀졌다. 두 번째로 자치정부의 장이 유튜브 콘텐츠에 대한 관심 또는 관여하는 정도를 의미하는 리더십(13.6%)인 것으로 나타났다. 세 번째는 유튜브 PR 활동의 콘텐츠가 시민의 눈높이에서 쉽게 이해할 수 있는 정도를 말하는 이해용이성(13.7%)인 것으로 밝혀졌다. 이하 순서는 유튜브 PR활동이 얼마나 시기적절한지를 의미하는 시의성(12.7%), 흥미성 (11.3%), 연계성(10.1%), 활용성(7.2%), 신뢰성(7.8%), 차별성(2.5%)의 순으로 해당 지방자치정부의 유튜브 PR활동이 다른 시도들과 차별적으로 운영되는지에 관한 것이며 가장 낮은 지표인 것으로 나타났다.

Table 3.

Lower Level of Category of Evaluation Measurements

다음으로 Output 유형을 구성하는 지표의 중요도 순위는 첫 번째로 얼마나 많은 콘텐츠가 생산되었는지를 의미하는 콘텐츠 수(42.2%)가 가장 높았다. 다음으로 전분기 대비 얼마나 콘텐츠 수가 증가하였는지를 의미하는 개선도(42%)는 콘텐츠 수와 큰 차이는 없지만 두 번째로 중요한 것으로 밝혀졌다. 마지막으로 콘텐츠가 얼마나 정기적으로 업로드되는지를 의미하는 정기성 (15.9%)은 가장 낮게 평가되었다.

지방자치정부 유튜브 PR 활동에 대한 반응지표인 Outtake 유목의 세부 순위는 먼저 좋아요 수 (35.2%)가 가장 높게 나타났으며, 다음 순위로 좋아요, 조회수, 팬수 등 정량적 성과이 개선정도를 의미하는 성과 개선도 (24.2%)인 것으로 나타났다. 이후 순위로 구독자 수 (16.8%), 월별 실제 사용자가 얼마나 되는지를 보여주는 월별 실제 사용자 수 (10.6%), 댓글 수(8.6%)인 것으로 밝혀졌다.

마지막으로 지방자치정부 유튜브 PR 활동 평가의 대유목중 가장 높은 평가를 받는 Outcome 유목이다. 이에 대한 순위와 중요도 수치를 보면 첫째, 지방자치정부의 유튜브 PR 콘텐츠의 실질적인 효과인 정책에 참여하고 싶은 의지(40.1%)가 가장 중요하게 평가되었다. 다음으로 지방자치정부의 정책에 대한 협력의지(17.3%), 이해관계자들간 상호작용성(15.1%), 유튜브와 같은 정책 PR채널을 통한 상호작용을 통한 정책반영 (13.9%)과 의견수렴 (13.6%)의 순인 것으로 밝혀졌다.