북한 정보통신 관련 국내 연구 동향 분석 : 토픽 모델링을 기반으로

Ⅰ. 서 론

Ⅱ. 이론적 배경 및 선행연구

2-2 LDA(Latent Dirichlet Allocation) 기반 토픽 모델링

현대 정보기술의 발달은 정보의 생산 및 확산에 걸리는 시간을 단축했을 뿐 아니라 그 규모를 엄청나게 확대했으며 이 정보들을 소비하는 방식도 다양화시켰다. 핵심적인 텍스트나 키워드들을 추출하기 위해 검색 엔진을 사용할 때, 대다수의 검색 결과는 문서의 위치만 알려주기 때문에, 필요한 데이터를 수동으로 추출하는 데 많은 시간과 노력이 소요되었다. 최근 빅데이터의 증가로 특정 주제 이슈를 추출하고 그에 대한 사람들의 의견이나 인식 구조를 보다 명확하게 파악하는 것이 점점 더 어려워지고 있다. 방대한 데이터로부터 특정 텍스트나 키워드가 포함된 핵심 주제(topic)를 분석하는 자동화된 알고리즘을 적용할 필요성이 대두된 것이다[17].

토픽 모델링이란 일련의 문서를 스캔하고, 그 안에서 단어와 문장 패턴을 밝혀내고, 문서의 특성을 가장 잘 나타내는 단어 그룹(말뭉치, corpus) 및 유사 표현들을 자동으로 묶어 분류하는 텍스트 마이닝 방법의 하나이다. 폭발적으로 증가하는 전자 문서 아카이브를 관리하기 위해 대규모 문서의 모음을 자동으로 구성, 검색, 색인화 및 탐색할 수 있는 새로운 도구가 필요하다는 아이디어에 기반하여 Blei와 그의 동료들에 의해 문서 컬렉션에서 단어 패턴을 찾는 기술이 개발되었다[18]. 여기서 발견된 패턴은 문서의 기본 주제를 종종 반영하기 때문에 이러한 모델을 “주제 모델(topic model)”이라 불렀다. 토픽 모델은 단어 간의 계층적 의미 관계[18], 구문과 의미 간의 상호 작용[19]과 같은 언어의 몇 가지 흥미로운 속성을 포착하기 위해 확장되었다[20]. 이러한 계층적 확률 모델은 이미지, 생물학적 데이터나 설문 조사 데이터 등 다른 종류의 데이터로 쉽게 일반화할 수 있다. 이후 Blei와 Lafferty는 순차적으로 구성된 문서 그룹(corpus)에서 주제의 진화를 포착하는 동적 주제 모델(Dynamic Topic Model)을 개발하고, 시간의 흐름에 따른 주제들의 내용 변화를 파악하여 예측 정확도를 더 높일 수 있는 새로운 방식을 제안하였다[21]. 이 방식은 문장을 구성하고 있는 차원을 줄일 수 있으므로 SNS와 같이 노이즈가 많은 데이터 분석에서도 원하는 단어나 문장만 추출하는 것이 가능하다는 장점이 있다. 그러나 이 방법론에서 매우 중요한 과정인 토픽의 수와 토픽명의 결정이 연구자의 주관적 선택에 달려있기 때문에, 문서의 주제와 개념구조에 대한 연구자의 사전 지식 및 경험 기반이 필요하다는 점을 유의해야 한다.

토픽 모델링 기법 중에서도 가장 대표적으로 활용되고 있는 잠재 디리클레 할당(Latent Dirichlet Allocation; LDA)은 말뭉치의 생성 확률론적 모델로서, 그 기본적인 아이디어는 문서가 잠재 주제에 대한 무작위 혼합물로 표현되며 각 주제는 단어들에 대한 분포로 특징지어진다는 것이다[18]. 토픽 모델링의 목표는 문서 모음(corpus)에서 주제를 자동으로 검색하는 것인데, 여기서 문서 자체는 관찰되지만 주제 구조(토픽, 문서별 토픽 분포 및 문서별 토픽 단어분포에 대한 설정값)는 숨겨진다. 그림 1을 보면, 검게 나타나는 변수 w(토픽 단어, 문헌 등)는 관찰이 가능한 부분이므로 이를 통해 잠재된 나머지 변수들을 추론해 내야 한다. 궁극적으로는 전체 문서 모음의 주제들과 문서별 주제에 포함될 단어들의 분포 및 문서별 주제 비율 등을 도출할 수 있다[22]. 즉 토픽 모델링 알고리즘은 원본 텍스트의 단어를 분석하여 텍스트를 관통하는 주제가 무엇이며, 해당 주제가 서로 어떻게 연결되어 있으며 시간이 지남에 따라 어떻게 변화하는지를 알아내는 통계적 방법이다[23].

Fig. 1.

Conceptual Model of LDA Topic Modeling[18]

그러므로 이 모델은 분석하고자 하는 문서를 분류 또는 요약하고, 새로운 주제를 감지하거나, 유사성 및 관련성을 판단하는 등의 필수 통계를 사용하여 대규모 문서들을 효율적으로 처리하는 데 적합하다. 토픽 모델링은 다양한 학문 분야의 연구 동향을 파악하는 학문적 용도로 활용될 수도 있고, 미디어 보도나 신문기사, 소비자 리뷰, 댓글 분석 등 다양한 텍스트 분석을 위한 실무적 목적으로도 다양한 분야에서 활발히 활용되고 있다[24].

Ⅲ. 연구방법

3-2 연구의 진행

1) 데이터 수집

본 연구에 사용될 텍스트를 수집하기 위해 한국학술지인용색인(https://www.kci.go.kr)에서 ‘북한 정보통신’, ‘북한 이동통신’, ‘북한 ICT’, ‘북한 IT’, ‘북한 정보화’ 등의 키워드를 포함한 논문을 망라적으로 수집하였다. 이렇게 수집된 231건의 논문을 Excel 파일에 제목, 저자, 발행년도, 학술지명, 키워드, 초록 등으로 구조화하였다. 이 과정에서 1차로 기사 및 동향, 보고서, 학술대회 발표문, 중복된 논문을 제외하고 한국연구재단 등재지 및 등재 후보지에 출판된 논문 중 국문 초록이 있는 160건의 논문을 분석의 대상으로 확정했다. 분석대상 논문 160건의 연도별 발행 추이는 그림 2와 같다. 분석대상 논문 160건을 그 주요 내용에 따라 정리하면 표 1과 같다.

Fig. 2.

Current Status of Publication of Korean Academic Papers on Information and Communication in North KoreaI

Table 1.

An Analysis of the Contents of Korean Academic Papers on Information and Communication in North Korea

비교 분석용 신문기사는 뉴스 빅데이터 시스템 빅카인즈(BigKinds)에서 논문 검색과 동일한 검색어로 2000년 1월 1일부터 2022년 2월 28일까지의 전국 일간지를 기준으로 추출한 기사 총 6,635건 중 실제로 관련성이 없는 기사 5,343건을 제외하고 1,292건에 대한 데이터를 수집하였다.

2) 전처리 및 토픽 분석

본 연구에서 활용한 소셜 네트워크 분석 도구인 넷 마이너(Netminer 4.0) 프로그램에는 Filters & Dictionary Setting 과정을 통해 유의어(Thesaurus), 지정어(Defined words), 제외어(Exception list, Spam) 등을 지정할 수 있다. 전처리 과정으로 유의어, 지정어, 제외어 등을 설정하는 작업을 거쳤는데, 의미가 동일한 유사어를 하나로 통일시켰고(새터민, 탈북자, 탈북민→ 북한이탈주민/ 모바일폰, 이동전화, 휴대전화, 손전화→ 휴대폰 등), 연속적으로 자주 사용된 단어는 하나의 단어로 취급할 수 있게 지정하고(이동 통신→ 이동통신, 정보 통신→ 정보통신, 발전 전략→ 발전전략, 남북 교류→ 남북교류. 경제 협력→ 경제협력 등), 1차 워드 클라우드에서 특정한 의미를 나타내지 않는 단어(이상, 미만, 모두, 이제 등)는 제외어로 지정하였다. 키워드 추출은 명사에 한정하여 분석을 시행하였다.

텍스트 마이닝은 기본적으로 문장을 구성하는 단어와 단어를 구성하는 형태소의 분석을 통해 문서 또는 주제의 특성을 규명하는 것이므로[26], 전체 데이터에서 일반적인 개념을 제외하고 분석에 유의미한 단어를 추출하기 위하여 단어빈도 - 역문서 빈도(TF-IDF, Term Frequency - Inverse Document Frequency)를 지정한다[39]. 유의미한 단어의 특성은 발생 빈도와 발생 위치에 의해 결정된다. 한 문서 내에서 발생 빈도가 높은 단어는 중요도가 높아 보이지만, 이 단어가 여러 문서에 걸쳐 발생 빈도가 높다면 그 중요도는 낮다고 본다. 본 연구의 데이터는 ‘북한 정보통신’이라는 공통 주제를 공유하므로 문서 간 발생 빈도가 높은 공통 단어들이 존재한다. 이 단어들이 말뭉치에서 토픽을 추출하는 과정을 교란하지 않게 TF-IDF를 추출하여 중요 단어에서 제외하는 것이다[26]. TF-IDF가 작을수록 포괄적으로 사용된 단어를 뜻하므로, 본 연구에서는 TF-IDF가 0.5이하이고 글자수 2이상인 단어들을 제외하였다.

다음으로 넷 마이너를 사용하여 LDA 기반의 토픽 모델링을 실시하였는데, 비지도 토픽 모델링의 중요한 과제 중 하나는 말뭉치를 특징짓는 잠재 주제의 수를 식별하는 것이다[40]. 토픽의 개수가 너무 많거나 적어지면 분석 결과가 다르게 나타날 수 있다. 앞에서 살펴본 바와 같이 LDA 기반 토픽 모델링에서는 토픽의 개수를 결정하는 확고한 방법이 제시되어 있지 않으므로 본 연구에서는 토픽 개수를 다양화하여 각 토픽 모델의 질을 비교하는 방법[41]을 사용하였다. 분석대상 논문 수가 많지 않음을 감안하여 토픽의 개수를 3-10개로 정해 사전 테스트를 실시했다. 토픽의 개수가 5개 이상일 때는 중복단어가 많아 토픽 간 구분이 명확하지 않았고 토픽의 개수를 4개로 분석하였을 때 토픽별로 단어들이 반복되지 않으면서 그 의미가 종합적으로 요약되었으므로 본 연구에서는 토픽의 개수를 4개로 확정하여 본 테스트를 진행했다.

신문기사 분석은 한국언론진흥재단에서 운영하는 뉴스 빅데이터 시스템 빅카인즈(BigKinds)를 활용하여 검색된 데이터로 연관어 분석을 시행했다. 본 연구의 연구모델을 도표화 하면 그림 3과 같다.

Fig. 3.

Research Model

Ⅳ. 연구 결과

4-1 북한 정보통신 관련 학술 논문의 주요 토픽

1) 워드 클라우드 분석

먼저 2000년부터 발행된 160건의 북한 정보통신 관련 학술 논문 초록에서 중요하게 다뤄진 주제를 살펴보기 위한 워드 클라우드 분석 결과는 그림 4와 같이 나타났다.

Fig. 4.

Word Cloud Analysis of Korean Paper on Information and Communication in North Korea*This figure is in Korean language because it shows the topic modeling of Korean words

워드 클라우드란(Word Cloud)란 문서에 사용된 키워드, 개념 등을 한눈에 파악할 수 있도록 핵심단어를 시각적으로 표현하는 기법이다. 이는 방대한 양의 정보를 취급하는 빅데이터(big data) 분석에서 데이터의 특징을 도출하기 위해 활용되며, 워드 클라우드에 표현된 단어의 크기가 클수록 사용된 빈도가 많음을 의미한다.

워드 클라우드를 통해 TF-IDF 가중치를 기준으로 초록에서 사용된 단어의 중요도를 분석한 결과, ‘사이버’, ‘공격’, ‘교육’, ‘이동통신’, ‘미디어’, 외부’, ‘중국’, 방송’, ‘표준’, ‘디지털’ 등 단어의 중요도가 높은 것으로 나타났다. ‘사이버’라는 단어는 사이버스페이스(cyberspace), 즉 컴퓨터나 인터넷상의 가상공간을 의미하는 말로 정보통신 기술이 실현되는 공간을 통칭하여 쓸 수 있는 접두어이기 때문에 빈도가 높게 나타난 것으로 보인다. ‘공격’이라는 키워드도 눈에 띄는데, 서론에서도 지적했듯이 북한의 사이버 공격의 규모와 양상이 다양해지고 있어서 그에 관련된 연구들이 늘어가는 추세를 반영하는 것으로 보인다. 정보통신과 관련되어 ‘교육’이라는 키워드가 강조되는 이유는 디지털 기술과 미디어를 활용하는 시대에는 새로운 매체에 대한 디지털 리터러시 교육이 필수적이기 때문이다. 또한 ‘이동통신’과 관련된 키워드들도 나타나는데, 실제로 2001년 1월에 김정일 위원장이 상해 푸동 경제특구 방문 당시 수행했던 당 간부들에게 2002년 태양절까지 이동전화 개통을 지시한 후 북한에 이동통신 서비스가 공식적으로 도입됐다. 2004년에 4년간 서비스 금지 기간을 거쳐 2008년에 다시 제3 세대(3G) 서비스가 재개된 시점에 평양지역에 12만 6천 명 정도를 수용할 수 있는 이동통신 인프라를 구축하기까기 김정일 정권 내내 이동통신 산업은 북한에서 핵심적 관심 분야였다. 김정은 정권에 들어와서도 제2, 제3 이동통신 사업자인 강성네트와 별(Star 통신사)을 선정하여 이동통신 사업에 대한 정부 지분율을 높여가고 있으며, 새로운 스마트폰을 계속 출시하면서 이동통신 산업을 확장해 나가고 있다. 이동통신 산업 전반에 대한 북한의 정책 및 태도는 국내 학술연구에서도 핵심적인 키워드가 된 것으로 보여진다.

이 워드 클라우드 분석에서 도출된 단어들은 정보통신의 공급 측면인 산업과 관련된 단어뿐 아니라 수요 측면인 이용자와 관련된 단어, 그리고 사이버 공간에서 행해지는 테러와 관련된 단어들까지 폭넓게 포함하고 있으므로 토픽 모델링을 통하여 각 토픽별 분류 및 분석을 시행했다.

2) 토픽별 분류 및 키워드 분석

앞에서 설명한 대로 추출된 단어를 대상으로 토픽 수 4개, alpha 값은 0.1, beta 값은 0.01로 지정하였다. 일반적으로 LDA 모형의 다른 파라미터 값을 고정시킨 후, α = [0.05, 0.1, 0.5, 1, 5, 10, 50], β = [0.01, 0.05, 0.1, 0.5, 1, 5, 10]로 변경하면서, perplexity 점수를 계산하여 가장 작은 perplexity 점수를 가진 α와 β 값을 산출하는데[42], α =0.1, β = 0.01은 사회과학 연구에서 흔히 쓰이는 값[26],[43]이다. 토픽 모델링의 결과는 그림 5와 같고, 각 토픽별 상위 7개의 키워드를 정리하면 표 2와 같다.

Fig. 5.

Topic Modeling Results of Korean Paper on Information and Communication in North Korea*This figure is in Korean language because it shows the topic modeling of Korean words

Table 2.

Topics and Keywords Analysis of Korean Paper on Information and Communication in North Korea

먼저, 토픽 1에서 추출된 키워드 ‘교육’, ‘표준’, ‘과학’, ‘지역’, ‘역량’, ‘인프라’, ‘노력’은 정보통신의 기반에 대한 키워드이다. ‘교육’, ‘과학’, ‘역량’, ‘노력’은 인적 기반과 관계가 있는데, 여기에는 정보통신 이용자에 대한 교육과 산업에 종사하는 전문인력 및 생산자들을 위한 교육도 포함된다. 김정일은 일찍부터 IT 관련 정부 기관을 정비하고, 인력 양성을 위한 교육 및 연구체계를 정비하는 등 IT 입국의 기반을 구축하기 위해 노력했다[44]. 북한은 S/W 기술을 배우기 위해 1993년과 1994년, 1998년 세 차례에 걸쳐 ‘유엔대학교 소프트웨어기술연구소(UNU-IIST)’와 협력했고, 2001년 10월에는 조선인민연구원과 김책과학기술대학의 연합 대표단이 미국의 IT산업 현황을 견학하였으며, 2011년 3월에도 북한 경제사절단이 퀄컴과 구글 본사를 방문하여 실리콘밸리에서 교육 세미나를 열기도 했다[4]. 이러한 노력들을 통해 정보통신 발전의 인적 기반이 마련되었다고 볼 수 있다. 북한의 IT 교육은 학생 수준에 따라 기초교육, 기술활용 교육, 융합 IT 교육, 전공 교육, S/W 수재 교육의 5가지 형태로 진행된다[45]. 북한 각 도에 설립된 제1 고등중학교에서 우수한 설비를 활용해 컴퓨터 등 S/W 첨단과목을 조기에 교육하고, 여기서 선발된 컴퓨터 영재들을 중점대학에 진학시켜 ICT 전문인력으로 양성하고 있다. 토픽 1에서 추출된 키워드들 중에서 ‘표준’, ‘과학’, ‘지역’, ‘인프라’는 기술적 기반에 관계된 단어로 이 키워드들을 망라하는 토픽명은 “정보통신 기반”으로 정했다. 통신에 대한 인프라, 기술적 현황파악 및 정보통신 발전을 위한 정책적 제언에 관한 연구들과 교육 및 인적 역량 제고에 관한 논문들, 또는 남북 간 통신 교류협력 시 양측을 아우르는 기술적, 법적, 제도적 표준이 필요하다는 논의들이 이 토픽에 포함되었을 것으로 보인다.

토픽 2에는 ‘이동통신’, ‘서비스’, ‘디지털’, ‘지원’, ‘사업’, ‘소통’, ‘기업’ 등 이동통신 사업 및 서비스 측면에 대한 키워드들이 나타났다. 북한은 2001. 4. 27일자 〈로동신문〉에서 “정보산업의 발전수준에 따라 나라의 경제발전과 전반적 국력이 좌우”된다며 “컴퓨터와 정보기술이 사회경제 발전을 좌우하는 관건”이 될 것이라 천명하였다. 북한에서 이동통신 서비스가 일반에 확산되는 과정에서 당국은 가입자 확보를 위해 단말기 가격을 인하하고, 단말기의 자체생산을 위해 공장을 건설하거나 통화 범위 확대를 위해 통신 설비를 교체하는 등 전폭적 지원을 아끼지 않았다. 그러나 한편으로 이 새로운 기술이 사회를 개방하고 정보의 유출과 유입이 체제 통제를 어렵게 한다는 정치적 이유로 일반 주민에게 제한적인 서비스만을 제공하고 있기도 하다. 디지털 기술로 인해 자율성과 새로운 통제력을 갖게 되는 것을 권력에 대한 위협으로 인식하기 때문에 일반 주민의 인터넷 및 소셜미디어 접속을 금지하고 있다[4]. 이동통신 서비스를 통한 발전 및 사회개방이 정치적 민주화를 가져올 것에 대해 북한 당국이 두려움을 갖고 있다고 보여지는 대목이다. 북한은 강력한 집행력을 바탕으로 일정 수준에 도달한 첨단기술을 보유하고 있으나 체제의 폐쇄성 및 UN 안보리의 대북제재, 인프라와 자금 부족이라는 한계점도 분명히 가지고 있다[3]. 토픽 2의 다양한 키워드들을 포용하는 토픽명은 “정보통신 서비스”로 정의했다.

토픽 3에는 ‘사이버’, ‘공격’, ‘안보’, ‘위협’, ‘기관’, ‘공간’, ‘테러’ 등 사이버 공격에 관련된 키워드들이 포함되어 있다. 북한에서는 과학기술 인력에 대해 최고의 대우를 하고 있으며 컴퓨터 영재들에게 전문교육을 실시하고 있다. 컴퓨터에 소질을 보여 선발된 인원들은 평양의 금성 중학교 컴퓨터영재반을 거쳐 김일성종합대학, 김책공업종합대학, 김일자동화대학 또는 정찰총국 산하 모란봉대학 등에서 집중 교육이 이루어지는데, 북한에는 현재 소프트웨어 관련 총 2만 명의 인력이 있고 숙련된 최상급 수준의 인력이 1,000명 정도 양성된다[46]고 알려져 있다. 그러나 이 인력들의 대부분은 체제 옹호 및 다른 체제에 대한 공격이나 외화벌이를 담당하는 해커로 길러지고 있다. 국방부의 보고에 따르면 북한이 6,800여 명의 사이버전 인력이 있다고 하는데, 북한의 실제 사이버 전력 규모는 이보다 훨씬 더 많을 것으로 추정된다[4]. 김정은 정권에 들어와서 국가적 차원에서 해커를 육성하여 전 세계를 상대로 사이버 공격을 감행하고 있는 것으로 보여진다. 2008년부터 북한과의 사이버 전을 연구하고 있는 “이슈메이커스랩”에 따르면 북한의 소행으로 추정되는 사이버 공격이 2004년에는 5건에 불과했으나 2021년에는 무려 300배 이상 급증했다고 한다[47]. 그러나 사이버 공격은 익명성으로 인해 책임소재가 불분명하여 공격자에 대한 처벌에 타당성을 갖기 어렵다. 이런 이유로 국가적 차원뿐 아니라 국제적 차원에서의 대응책에 관련된 연구들이 필요하다. 이 토픽의 토픽명은 “사이버 공격”으로 정의하였다.

마지막 토픽 4에는 ‘미디어’, ‘중국’, ‘외부’, ‘방송’, ‘뉴스’, ‘유입’, ‘확산’ 등 북한 내 외부정보 유입 확산과 관련된 키워드들이 나타났다. 이 토픽의 토픽명은 “북한 내 외부정보 유입”으로 명명하였다. 북한은 전통적으로 폐쇄적 사회로서 일반 주민들이 외부정보를 접할 방법이 없어 당국은 사회 내부에 대한 완전한 통제권을 유지해 왔다. 그러나 1990년대 ‘고난의 행군’ 기간을 거치면서 중국에서 들어 온 휴대폰, DVD 등을 통해 외국 물품과 정보가 북한 내부로 흘러들어오면서 당의 정보통제력도 다소 감소했다. 북한 시장이 발달하면서 시장을 통해 유입된 외부정보와 한류는 북한 주민들에게 남한 사회의 실상을 파악하게 할 뿐 아니라 자본주의적 사고와 행동방식을 경험하게 했다. 외부정보와 문화콘텐츠는 북한 당국이 주민들에게 이식해온 정보에 대한 혼란과 불신을 가져올 수 있다. 북한 당국은 외부로부터 밀수된 콘텐츠를 유통하거나 소비한 사람들을 처벌하기 위한 법체계를 정비하여 엄단하고 있다. 최근 전 세계적으로 흥행을 이룬 “오징어 게임”을 북한에 유통한 판매자는 사형 판결을 받았고, 드라마 파일을 구입해 시청한 학생들은 7명은 무기징역을 선고받았다고 알려졌다[48]. 독일의 통일과정에서 서독 방송이 두 독일의 민족적, 문화적 공동체의 동질성을 유지에 중요한 역할을 수행했던[49] 것처럼 뉴미디어 기기를 통한 외부정보의 유입과 확산은 북한 주민의 의식을 변화시키고 결과적으로 민주화 실현의 계기가 될 수 있기에 중요하다.

결과를 종합하면, 북한 정보통신 관련 국내 학술 논문에서 다루어진 주요 토픽들은 정보통신 산업의 기반과 정보통신의 서비스 측면, 그리고 북한의 사이버 공격 및 북한 내 외부정보의 유입 확산에 관한 주제들로 분류된다.

4-2 북한 정보통신 관련 신문기사 분석

위에서 분석한 연구 동향이 북한의 실제적 통신 환경변화나 정치 경제적 이벤트 등과 어떤 관련성이 있는지를 좀 더 자세히 비교하기 위해 동 기간(2000.1.1.-2022.2.28.)의 신문기사를 수집했다. 이 기간의 ‘북한 정보통신’, ‘북한 이동통신’, ‘북한 ICT’, ‘북한 IT’, ‘북한 정보화’ 관련 기사 수는 6,635건이었으며, 그 분포는 그림 6과 같다.

Fig. 6.

Number of Articles in Information and Communication in North Korea

1) 워드 클라우드 분석

이 중에서 실제적으로 정보통신과 직접적 관련성이 없는 ‘북핵’, ‘비핵화’, ‘미사일’, ‘북미 회담’, ‘북미 관계’ 등을 일차적으로 제외한 후 내용 검토를 통해 북한 정보통신과 관련성이 없는 기사들을 제외하고 남은 1,292건의 기사의 본문을 대상으로 워드 클라우드 분석을 실시했는데, 분석 결과는 그림 7과 같다.

Fig. 7.

Word Cloud Analysis in Newspaper Articles of Information and Communication in North Korea*This figure is in Korean language because it shows the topic modeling of Korean words

전체적으로는 논문의 워드 클라우드가 ‘사이버’를 제외하고 그 크기가 작았던 것에 비해 신문기사의 워드 클라우드는 핵심단어들이 비교적 고른 크기의 중요성을 보여준다.

이 중 가장 핵심적 키워드 10개는 ‘남북’, ‘통신’, ‘평양’, ‘중국’, ‘인터넷’, ‘협력’, ‘경제’, ‘사업’, ‘사이버’, ‘기업’ 이다.

2) 토픽별 분류 및 키워드 분석

신문기사의 워드 클라우드 분석에서 도출된 단어들도 상당히 포괄적인 내용을 담고 있어서 토픽 모델링을 통하여 각 토픽별 분류 및 분석을 시행했다. 비교가 용이하도록 논문 분석과 동일하게 토픽 수는 4개, alpha 값은 0.1, beta 값은 0.01로 지정하였다. 분석 결과는 그림 8과 같다. 각 토픽명과 그에 포함된 상위 7개의 키워드들을 정리하면 표 3과 같다.

Fig. 8.

Topic Modeling Results of Newspaper Articles on Information and Communication in North Korea*This figure is in Korean language because it shows the topic modeling of Korean words

Table 3.

Topics and Keywords Analysis of Newspaper Articles on Information and Communication in North Korea

토픽 1에는 ‘남북’, ‘통신’, ‘평양’, ‘협력’, ‘사업’, ‘기업’, ‘추진’의 키워드들이 추출되어 이 토픽명을 “남북 통신 교류협력”으로 명명했다. 역사적으로 보면 2000년 남북 정상회담 이후 정보통신부는 향후 남북경협과 이산가족 교류 등 다양한 분야에서의 남북협력이 급 진전될 경우 남북한 간의 통신수요가 급증할 것을 예상하여 관계부처와 민간업체와 함께 남북 간 통신협력을 위한 전담반을 구성하여 남북 이동통신 협력사업을 추진했으나, 2002년 6월 29일 서해교전(제2 연평해전) 발발로 현실화되지 못했던 전례가 있다[50].

2018년에도 남북 정상회담을 계기로 국내 기업 총수들이 평양을 방문하여 상호 교류·협력의 물꼬를 트는 듯하였으나 하노이 북미회담의 협상 결렬로 남북 경협 역시 무산되었다. 그나마 성과를 거둔 남북 ICT 협력사업으로는 평양과학기술대학 설립, 중국 단둥지역에서의 북한 S/W 인력 양성, 의료인 교육, 북한 대학에의 한국 교수진 파견, 개성공단 내 기술교육센터 설립 지원 등이 있다. 분단 상황의 정치 변동이 늘 협력의 걸림돌로 작용하여 전면적인 남북 통신 교류는 현재까지 이루어지지 않고 있다. 토픽 1은 이러한 역사적 사건들과 관련성을 가지고 있다.

토픽 2에는 ‘사이버’, ‘국내’, ‘공격’, ‘국가’, ‘해킹’, ‘기관’, ‘해커’ 등의 키워드가 나타났다. 북한의 사이버 공격의 대상 및 목적도 시기에 따라 변화되고 있는데, 초기에는 주로 남한의 군사정보 탈취를 위한 공격이었다면, UN 안보리 대북제재가 길어지는 상황에서 외화벌이 목적으로 전 세계 SWIFT 은행 및 ATM 등을 해킹하거나 정부 및 연구기관의 주요 인사들에 대한 정보수집, 또는 코로나 19로 인한 제약 및 관련 기관들에 대한 정보 탈취와 외화 획득을 위해 가상화폐를 타깃으로 하는 사이버 공격들로 이어지고 있다[47]. 이 키워드들의 토픽명은 “사이버 공격‘으로 정의했다.

토픽 3에는 ’중국‘, ’인터넷‘, ’위원장‘, ’휴대폰‘, ’방송‘, ’보도‘, ’김정일‘ 등의 키워드가 추출되었다. 중국은 북한의 정보통신 발전에 가장 크게 기여한 국가로, 성공적인 정보통신 개발의 모델을 제시했으며 북한의 IT분야 초기 성장단계에서 통신 하드웨어 및 소프트웨어의 외국 공급업체로서의 역할을 수행했다[4]. 북한 주민들이 사용하는 휴대전화는 대부분 중국에서 생산된 제품이거나, 중국에서 제조된 모델을 완제품이나 부품 형태로 수입하여 북한 제조회사가 조립하고 운영체계 및 기본 애플리케이션을 탑재하고 로고를 각인하는 작업을 거쳐 출시한 제품이다[4]. 역사적으로 북한 IT 산업 개발에는 김정일 위원장의 역할이 지대했으며, 이와 관련하여 2001년과 2006년, 2010년의 중국방문에 대한 방송 보도 및 기사들도 많았으므로 이 키워드들을 총망라하는 토픽명은 북한의 “정보통신 기술 개발”이라 정의했다.

토픽 4에는 ’평양‘, ’경제‘, ’컴퓨터‘, ’과학‘, ’대학‘, ’산업‘, ’교육‘ 등의 키워드들이 도출되었는데, 이 키워드들은 대부분 평양과학기술대학(PUST; Pyongyang University of Science and Technology)의 설립과 관련이 있다. 평양과학기술대학은 2010년 북한 당국이 제공한 부지 위에 남북한이 공동으로 설립하여 운영하는 과학기술 분야의 특수대학 및 대학원으로 인력 양성을 통한 북한의 국제화 및 경제 자립을 도모하기 위해 세워졌다[4]. 조선민주주의인민공화국의 유일한 사립대학으로 북한의 교육성과 대한민국의 비영리기구인 사단법인 동북아교육문화협력재단이 함께 설립하였다. 2001년 사업을 시작하여 2003년 개교를 목표로 하였으나 여러 차례 개교가 지연되다가 2010년 10월 25일에 학부생 100명, 박사원생 60명으로 교육을 시작했다. 설립계획부터 개교까지 거의 10년이 넘는 장기 프로젝트였기 때문에 오랜 기간 그 과정들이 기사화되었다. 토픽 4의 토픽명은 “평양과학기술대학 설립”으로 명명했다.

토픽 1의 “남북 통신 교류협력”과 토픽 4의 “평양과학기술대학 설립”은 ‘평양’이라는 가장 핵심적 키워드를 공유하고 있다. 평양은 정보통신 산업에서도 중심지 역할을 하고 있다. 2002년 NEAT&T는 이동통신 기지국을 평양지역에 설치하고 2세대(2G) 이동통신 서비스를 제공했으며, 평양 등 대도시의 서비스 가입률이 약 70%로 평양에 거주하는 20~50대 주민 중의 60% 이상이 휴대전화를 사용한다고 보면 된다[3]. 평양과학기술대학은 남북 통신 교류협력의 일환으로 세워졌기에 그 내용 면에서도 연관성이 뚜렷하다고 볼 수 있다.

4-3 논문과 신문기사의 토픽 비교 분석

논문의 토픽과 신문기사의 토픽을 비교하기 쉽도록 관계가 있는 항목끼리 정리하면 표 4와 같다.

Table 4.

A comparison of topics between academic papers and newspaper articles

논문의 토픽 3과 신문기사의 토픽 2는 “사이버 공격”으로 동일 주제를 다루고 있다. ‘사이버’, ‘공격’, ‘기관’ 등 세 가지 핵심키워드가 논문과 신문기사 분석에서 동일하게 추출되었다. 신문기사는 실제 사건에 대한 보도를 목적으로 하기 때문에 북한 IT와 관련하여 시기별로 사이버 공격이나 해킹에 관한 기사와 대응책 등이 많은 양을 차지했고 ‘해킹’, ‘해커’와 같은 현실적인 키워드들을 사용하고 있다. 이에 비해 논문은 일어난 현상에 대한 학문적 연구 결과나 분석을 통한 의견, 주장 등을 기술하므로 이러한 ‘공격’들을 ‘국가’의 ‘위협’이 되는 ‘테러’로 규정하고, 사이버 ‘안보’ 등 대응책에 초점을 맞춘다는 점이 상이하다.

또한 논문의 토픽 2와 신문기사의 토픽 3은 정보통신에 대해 다루고 있기는 하지만, 신문기사에서는 정보통신의 기술적 면에 초점을 맞추고 있는 반면에 논문에서는 정보통신 서비스에 주목하고 있다는 차이점이 있다.

그 외에도 신문기사의 토픽 1 “남북 통신 교류협력”과 토픽 4 “평양과학기술대학 설립”은 역사적 사실로 보도가 가능한 주제인 데 비해, 논문의 토픽 1 “정보통신의 기반”은 신문기사에서 다루어질 수 있는 토픽들에 비해 범위가 넓고 오랜 기간 학문적 연구의 축적이 필요한 분야이며, 토픽 4 “북한 내 외부정보의 유입” 역시 겉으로 드러내기 힘든 북한이탈주민이나 접경지역 주민들에 대한 현상학적 연구가 필요한 주제라 할 수 있다.

Ⅴ. 논의 및 결론

1990년대 이후 자본주의국가들은 정보통신 산업을 중심으로 경제 활성화를 추구하면서 지식기반경제로의 전환을 위한 정보사회화를 담론으로 내세우고 있다. 북한도 이에 발맞추어 정보통신 산업의 육성을 통한 경제발전을 꾀하고 있는 것으로 보인다. 북한의 정보통신 발달에 힘입어 북한 정보통신에 관한 국내의 관심과 관련 연구들도 활성화되어 본 연구에서는 북한 정보통신 관련 국내 논문들의 연구 동향을 파악하여 정리하고 향후 연구에 대한 방향성을 제시하고자 하였다. 분석 방법으로는 2000년 이후 한국연구재단 등재지 및 등재 후보지에 출판된 논문 중 국문 초록이 있는 160건을 대상으로 최근 많이 시행되고 있는 토픽 모델링 분석법으로 연구주제와 키워드 분석을 실시하고, 이 연구주제들이 남북한의 정치·경제·사회·문화적 상황과 연관성이 있는지 알아보기 위해 동시기 11개 전국 일간지에 보도된 1,292건의 기사를 토픽 모델링으로 분석하여 비교하였다.

본 연구의 주요 연구 결과는 다음과 같다. 학술 논문의 주요 주제는 “정보통신 기반”, “정보통신 서비스”, “사이버 공격”, “북한 내 외부정보 유입”이었으며 신문기사의 주요주제는 “남북 통신 교류협력”, “사이버 공격”, “정보통신 기술 개발”, “평양과학기술대학 설립”이었다. 논문과 신문기사 간 공통점으로는 “사이버 공격”이라는 토픽이 공통적으로 추출되었다는 점이며, “정보통신 산업”이라는 주제에 있어서는 기사는 기술적 면에 논문은 서비스 면에 더 관심을 보인다는 점이었다. 결과적으로 북한 연구자들이 관심을 갖는 정보통신 관련 학술 논문의 토픽들은 신문기사에서 다뤄지는 남북한의 정치·경제적 상황 변화와 관련성 있는 시사적 내용도 있지만, 남북 간 입장의 차이나 정치적 상황상 드러내기 어려운 심층적 분야도 포함하고 있다. 보다 깊이있는 학문적 연구와 전문가적 통찰이 필요한 이유이다. 따라서 북한의 정보통신 동향을 발 빠르게 국내 신문기사로 다루는 것도 중요하지만 북한의 정보통신에 대한 체계적인 연구를 강화하여 북한의 정보통신 기반이나 서비스 등에 대한 심층적인 분석을 시도하고 이를 사회적으로 활용하는 기반을 갖추는 것이 시급할 것으로 판단된다.

다른 분야와 달리 북한에 관한 연구가 어려운 이유는 자료가 부족하다는 점과 직접적 현장연구가 불가능하다는 점이다. 그 외에도 북한연구에서는 외부적으로 드러나는 결과 그대로를 연구에 반영하는 데 신중을 기해야 한다. 약 70여년 동안 대치해 온 정치적 상황으로 인해 북한은 우리에게 핏줄을 나눈 형제이면서 도와야 할 대상이기도 하며, 때로는 협력자(동맹자)이면서 동시에 위협적인 적이기도 하다. 남북 간의 입장 차이로 인해 북한이 보여주고자 하는 것과 감추고자 하는 것이 있기 때문에, 드러나는 결과보다는 감추어진 현상과 숨은 의도를 파악하는 것이 중요하다. 그렇기에 단기적인 사실 위주의 신문기사가 갖는 자료의 한계를 인정할 필요가 있고 반면에 장기적인 호흡이 필요한 학술적인 연구에 더 사회적인 가치를 부여하는 것이 바람직해 보인다.

본 연구는 이제까지의 학술 논문에 관한 연구 동향을 파악하여 향후 연구의 방향성을 제시하기 위한 연구였다. 이제까지 다루어진 주제들 중 “정보통신 기반”, “정보통신 서비스”는 정치적·경제적 분야를 다루고 있고, “사이버 공격”은 군사·외교적 분야에 속해 있으며, “북한 내 외부정보 유입”은 사회·문화적인 주제를 다루고 있지만 궁극적으로 정치적 분야와 맞닿아 있다. 향후 연구에서는 기존연구에서 주로 다루어진 주제들 외에 정보통신 기술 표준화, 특허 등 기술적인 주제뿐만 아니라 정보격차, 정보통신 기술 오남용 등 사회적인 주제까지도 폭넓게 다룰 필요가 있다. 또한 ‘코로나 19’ 이후 북한에서도 비대면 교육 및 화상 회의 등이 확대 시행되고 있는데, 이를 위한 일반 주민들의 컴퓨터 및 정보통신 기기 사용이 확대되고 있으리라 짐작된다. 또한 북한의 MZ세대인 “장마당 세대”는 비교적 정보통신 기기에 친숙한 세대로, 디지털 역기능이나 게임 과몰입 등 정보통신 기술의 확대가 초래하는 북한 내의 새로운 문화적인 현상을 분석하는 연구도 의미가 있을 것으로 보인다.

본 연구에서는 토픽 모델링이라는 머신러닝 방법을 통해 연구주제와 키워드를 추출하고 그 연관 분석을 통해 연구 동향을 파악하였다. 북한 정보통신 관련 연구 동향분석에서 객관적이고 신뢰성있는 연구 결과를 도출하는 데 유용한 새로운 방법론을 제시하였다는 데 본 연구의 의의가 있다.

본 연구는 북한 정보통신에 관련된 학술 논문만을 분석하였는데, 후속연구에서는 이런 연구가 활발히 이루어지는 정보통신 관련 기관이나 은행, 기업체 산하 연구소의 보고서와 학위 논문, 학술대회 발표자료도 추가 분석대상으로 고려할 수 있을 것이다. 또한 제목이나 키워드, 초록이 아닌 논문 본문 전체를 대상으로 토픽 모델링 방법을 적용한다면 더욱 유용한 연구 결과를 창출할 수 있을 것으로 기대된다.

References

• B. S. Kim, “Current Status and Implications of North Korea's Cable and Wireless Communications Service”, ICT & Media Policy, Vol. 29, No. 10, pp. 1-43, June 2017.
• M. K. Lee, “Characteristics and Political Implications of the Kim Jong Un regime’s Science and Technology Education Policy”, Journal of Social Science, Vol. 58, No. 1, pp. 339-367, June 2019. [https://doi.org/10.22418/JSS.2019.6.58.1.339]
• Y. J. Shin, “Current status of ICT in North Korea and military implications”, KIDA Defense Issues & Analy, No. 1870(21-38), pp. 1-9, September 2021.
• Y. Kim, Two Essays on the Informatization of South and North Korea, Ph.D. dissertation, Soongsil University, Seoul, June 2021.
• S. K. Kim, “Major ICT TrendsTrends in North Korea and Implications for Inter-Korean Cooperation”, Trends in Information and Communication Industry, No. 32, pp. 1-14. November 2019.
• Software Policy & Research Institute. Current Status of SW Manpower and Education in North Korea, [Internet]. http://spri.kr/posts/view/22602?code=industry_trend
• Hankyoreh Mobile, North Korean mobile phone, “Blue Sky"...It even has a facial recognition function. [Internet]. https://m.hani.co.kr/arti/economy/it/916451.html#cb
• C. Y. Lee & H. S. Moon, “Study on analysis of North Korea's news trends associated with provocations using text mining”, Journal of National Defense Studies, Vol. 59, No. 4, pp. 103-124. December 2016.
• C. S. Park, “An Investigation on the Periodical Transition of News related to North Korea using Text Mining”, Journal of Intelligence and Information Systems, Vol. 25, No. 3, pp. 63-88, September 2019. [https://doi.org/10.13088/jiis.2019.25.3.063]
• C. S. Park, “Discovering Meaningful Trends in the Inaugural Addresses of North Korean Leader Via Text Mining” Journal of Information Technology Applications & Management, Vol. 26, No. 3, pp. 43-59. June 2019. [https://doi.org/10.21219/jitam.2019.26.3.043]
• H. S. Kim & H. C. Kim, “An Keywords Network Analysis of North Korea’s Education Trends in Rodong Sinmun 2014-2018”, Korean Journal of Adult & Continuing Education Studies, Vol. 12, No. 1, pp. 115-135, March 2021. [https://doi.org/10.20512/kjace.2021.3.31.115]
• G. Park, “A Semantic Network Analysis on the Corporate Management System in North Korea: Focusing on the Papers of Gyeongjeyeongu from 1986 to 2018” , Journal of Asia-Pacific Studies, Vol. 27, No. 1, pp. 107-141, March 2020. [https://doi.org/10.18107/japs.2020.27.1.004]
• S. Kim, W. Sohn, “Economic Policy Changes in North Korea: A Text Mining Approach to Economic Research”, Bank of Korea WP 2020-6, pp, 1-47, February 2020. [https://doi.org/10.2139/ssrn.3540582]
• W. J. Lee, J. Y. Kim. “Analysis of North Korean Refugees Research Trends: Based on Keyword Network Analyses”, Welfare & Cultural Diversity Studies, Vol. 2, No. 2, pp. 1-19. December 2020. [https://doi.org/10.51155/KAMW.2020.2.2.1]
• J. Hwang, Y. H. Kim, “Research Subject Trend Analysis on Education Related to North Korea Focusing on Government Differences with Network Text Analysis”, The Journal of Learner-Centered Curriculum and Instruction, Vol. 20, No. 7, pp. 1253-1277, July 2020. [https://doi.org/10.22251/jlcci.2020.20.7.1253]
• J. Lim, K. M. Kim, M. K. Kim, J. M. Yi and J. W. Park, “Analysis of Forest Science Research Trends in North Korea (1962-2016) using Data Mining”, Journal of Korean Society of Forest Science, Vol. 109, No. 1, pp. 81-98, June 2020. [https://doi.org/10.14578/jkfs.2020.109.1.81]
• K. Y. Park, H. J. An, “The Topic Modeling Analysis of The DMZ Tour Issues Using Text Mining”, Tourism and Leisure Research, Vol. 31, No. 4, pp. 143-159, April 2019. [https://doi.org/10.31336/JTLR.2019.4.31.4.143]
• David M. Blei, Andrew Y. Ng, & Michael I. Jordan, “Latent Dirichlet Allocation.” Journal of Machine Learning Research, No. 3, pp. 993-1022. January 2003.
• T. Griffiths and M. Steyvers, “Finding scientific topics”, Proceedings of the National academy of Sciences, 101(suppl 1), pp. 5228-5235, April 2004. [https://doi.org/10.1073/pnas.0307752101]
• M. Steyvers, T. Griffiths, “Probabilistic topic models,” in Handbook of latent semantic analysis, 1^st Ed. Psychology Press, pp. 439-460, 2007
• D. M. Blei, J. D. Lafferty. “Dynamic topic models”, ICML '06: Proceedings of the 23rd international conference on Machine learning, Pittsburgh, pp. 113–120, June 2006. [https://doi.org/10.1145/1143844.1143859]
• J. D. Park, “A Study on Issue Tracking on Multi-cultural Studies Using Topic Modeling”, Journal of the Korean Society for Library and Information Science, Vol. 53, No. 3, pp. 273-289, August 2019.
• D. M. Blei, “Probabilistic topic models”, Communications of the ACM, Vol. 55, No. 4, pp. 77-84, April 2012. [https://doi.org/10.1145/2133806.2133826]
• Y. Baek, M Jang, “Research Trends and Characteristics of Gaming Disorder in Korea”, The Journal of Korean Institute of Communications and Information Science, Vol. 47, No. 2, pp. 357-374, February 2022. [https://doi.org/10.7840/kics.2022.47.2.357]
• B. Kang, M. Song & W. Jho, “A Study on Opinion Mining of Newspaper Texts based on Topic Modeling”, Journal of the Korean Society for Library and Information Science, Vol. 47, No. 4, pp. 315-334, December 2013. [https://doi.org/10.4275/KSLIS.2013.47.4.315]
• S. C. Lee, “Topic Modeling of Newspaper Articles on Government ‘Senior job program’ via Latent Dirichlet Allocation”, Journal of Digital Convergence, Vol. 18. No. 10, pp. 537-546, October 2020. [https://doi.org/10.14400/JDC.2020.18.10.537]
• H. J. Kim, S. Kim & S. T. Kim, “Topic Modeling of Media Reports on Smartphone Addiction: A Study on the Comparison of Government Policies between 2010 and 2018”, Journal of Broadcasting and Telecommunications Research, No. 104, pp. 38-69. 2018.
• K. Y. Kim, K. P. Kang, M. J. Son, C. A. Lee, S. B. Hong & S. T. Kim, “A Big-Data Analysis of Issues on North Korea and Media Agenda Setting Functions: Applying Topic Modeling and Word-embedding Methods”, Peace Studies, Vol. 28, No.1, pp. 287-332, April 2020. [https://doi.org/10.21051/PS.2020.04.28.1.287]
• J. H. Bae, N. G. Han & M. Song, “Twitter Issue Tracking System by Topic Modeling Techniques”, Korea Intelligent Information Systems Society Proceedings of the 2014 Spring Conference, pp. 305-312, May 2014.
• S. Y. Lee, K. M. Lee, “ Trend Extraction using Topic Model Based on Reply Graph”, Journal of the 2014 Academic Conference of the Korean Institute of Intelligent Systems, Vol. 24, No. 2, pp. 99-100. 2014.
• Y. J. Cha, J. H. Lee, J. E. Choi & H. W. Kim, “A Topic Modeling Approach to Marketing Strategies for Smartphone Companies”, Knowledge Management Review, Vol. 16, No. 4, pp. 69-87. December 2015 [https://doi.org/10.15813/kmr.2015.16.4.005]
• J. H. Park, M. Song, “A Study on the Research Trends in Library & Information Science in Korea using Topic Modeling”, Journal of the Korean Society for Information Management, Vol. 30, No. 1, pp. 7-32, March 2013. [https://doi.org/10.3743/KOSIM.2013.30.1.007]
• S. A. Jin, M. Song, “Topic Modeling based Interdisciplinarity Measurement in the Informatics Related Journals”, Journal of the Korean Society for Information Management, Vol. 33, No. 1, pp. 7-32, March 2016. [https://doi.org/10.3743/KOSIM.2016.33.1.007]
• J. H. Park, H. J. Oh, “Comparison of Topic Modeling Methods for Analyzing Research Trends of Archives Management in Korea: focused on LDA and HDP”, Journal of Korean Library and Information Science Society, Vol. 48, No. 4, pp. 235-258, December 2017. [https://doi.org/10.16981/kliss.48.201712.235]
• S. Y. Choi, E. J. Ko, “Analysis of 〈Korean Journal of Journalism & Communication Studies〉 from 1960 to 2018 using Metadata with Dynamic Topic Modeling”, Korean Journal of Journalism & Communication Studies, Vol. 63, No. 4, pp. 7-42, August 2019. [https://doi.org/10.20879/kjjcs.2019.63.4.001]
• J. S. Park, S. G. Hong & J. W. Kim, “A Study on Science Technology Trend and Prediction Using Topic Modeling”, Journal of the Korea Industrial Information Systems Research, Vol. 22, No. 4, pp. 19-28, August 2017. [https://doi.org/10.9723/jksiis.2017.22.4.019]
• C. S Kim, K. Y. Kwahk & H. Yoon, “An Analysis of Research Trends in Tourism Studies: Applying Topic Modeling and Time Series Regression Analysis“, Tourism and Leisure Research, Vol. 29, No. 12, pp. 25-39, December 2017.
• E. M. Park, J. H. Seo, “Analysis of Research Trends in Technology Innovation: Focus on SCOPUS DB”, Journal of Convergence for Information Technology, Vol.10, No. 8, pp. 120-126, August 2020. [https://doi.org/10.22156/CS4SMB.2020.10.08.120]
• S. J. Jeong, “A Topic Modeling Approach to the Analysis of Domestic Environmental Education Research Trend: Focusing on Journal of Korean Society for Environmental Education”, Korean Journal of Environmental Education, Vol. 33, No. 2, pp. 231-246, June 2020. [https://doi.org/10.17965/kjee.2020.33.2.231]
• D. A. McFarland, D. Ramage, J. Chuang, J. Heer, C. D. Manning & D. Jurafsky, “Differentiating language usage through topic models”, Poetics, Vol. 41, No. 6, pp. 607-625, December 2013. [https://doi.org/10.1016/j.poetic.2013.06.004]
• M. Gerlach, T. P. Peixoto & E. G. Altmann, “A network approach to topic models”, Science advances, Vol. 4, No. 7, pp. 1-11, July 2018. [https://doi.org/10.1126/sciadv.aaq1360]
• M. Steyvers, P. Smyth, M. Rosen-Zvi, & T. Griffiths, Probabilistic author-topic models for information discovery, In Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining (pp. 306-315), 2004. [https://doi.org/10.1145/1014052.1014087]
• A. Lee, D. Park, “A Study on the Perception on Korean Language Education of North Korean refugees through Social Network Analysis: Mainly on YouTube”, Journal of Learner-Centered Curriculum and Instruction, Vol. 20, No. 19, pp. 681-706, 2020. [https://doi.org/10.22251/jlcci.2020.20.19.681]
• Y. H. Kim, “IT Industry Policy of North Korea”, Journal of scientific & technological knowledge infrastructure, No. 11, pp. 14-27, 2002.
• C. K. Lee, S&T System, Policy of North Korea, Hanul Academy, 2005.
• E-Korea. North Korea's IT Technology and E-Commerce. http://www.ekoreanews.co.kr/news/articleView.html?idxno=27759
• The BN News. North Korea's alleged cyberattacks, “increased more than 300 times from 2004 to 2021”. http://m.boannews.com/html/detail.html?idx=106606
• Seoul News. North Korea, Smugglers of "Squid Games" are sentenced to death... Students who buy it are sentenced to life imprisonment. [Internet]. Available: https://www.seoul.co.kr/news/newsView.php?id=20211124500181
• K. S. Park, K. Y. Lee, “The Role of Media in the Process of German Reunification: With Emphasis on the Broadcast Spillover and Ban of Sputnik Magazine Circulation”, Korean Journal of Social Theory, No. 57, pp. 43-72, May 2020. [https://doi.org/10.37245/kjst.2020.05.57.43]
• K. M. Ko. “Limitations and possibilities of inter-Korean mobile communication cooperation”, Journal of the 2010 Academic Conference of the Korea International Studies Association, pp. 177-199, August 2010.