합성곱 신경망을 통한 조도 변화에 따른 생활 폐기물 분류

Ⅰ. 서 론

국내 다양한 프랜차이즈 커피 전문점에서는 많은 양의 일회용 플라스틱을 사용한다. 프랜차이즈 커피 전문점 중 가장 높은 매출액을 올린 스타벅스[1]는 환경 보호 활동을 통해 일회용 플라스틱 사용 절감에 앞장서고 있다. 플라스틱 빨대를 없애고, 매월 10일을 일회용 컵 없는 날로 지정해 다회용컵 사용을 권유하는 이벤트를 진행한다.

플라스틱은 1905년 개발된 이래로 편리한 성형, 저렴한 비용 등의 장점을 앞세워 1950년 200만 톤, 2015년에는 3억 8,100만 톤이 생산되었다[2]. 생산량과 비례하여 플라스틱 폐기물도 증가하였고, 플라스틱 폐기물을 처리할 때 발생하는 독성 가스들이 대기 중으로 방출되면서 환경오염 및 여러 질환을 유발한다[3]. 이를 인지한 세계 각국에서는 플라스틱 사용을 규제하고 있다. 한국 또한 일회용품 사용을 줄이고자, 일회용 컵 규제, 비닐봉투 유상구매, 이중포장 금지와 같은 대책을 추진 중이며, UN(United Nations)은 2018년 ‘세계 환경의 날’을 맞아 플라스틱 사용을 금지하고, 분리수거 및 친환경적 대체 제품 사용을 장려하는 보고서를 발표했다[4]. 플라스틱뿐만 아니라 캔, 비닐, 페트병, 종이, 유리 등과 같은 다양한 생활폐기물을 수거·운반·처리하는 과정에서 환경오염 및 많은 비용이 발생하며, 2019년 한국은 생활폐기물 관리 비용으로 6조 5,049억 원 상당의 예산을 책정했다[5]. 또한, 폐기물 처리 작업장에서 근무하는 작업자들은 호흡기 질환 및 각종 질병을 호소하는 것으로 나타났다[6].

폐기물 처리 작업장은 날씨 변화에 따라 바뀌는 외부의 빛, 내부 조명 상태, 폐기물에서 발생하는 먼지로 인한 빛의 반사, 쌓인 폐기물로 인한 그림자 등 조도를 일정하게 통제하기 어렵다. 여러 환경요인에 따라 조도가 변하게 되면 이미지의 픽셀 값이 바뀌어 전혀 다른 폐기물을 예측하거나 폐기물 분류의 성능이 떨어지게 되고, 오 분류가 많아지면 재분류를 위한 경제적 손해 등이 발생할 수 있다.

따라서 본 논문은 작업자들의 안전 및 경제적 이익을 위해 합성곱 신경망을 활용하여 조도 변화에 따른 생활폐기물 분류 문제를 연구하고, 추후 폐기물 자동 분류 시스템 개발에 도움이 되고자 한다. 합성곱 신경망은 2차원 형태의 이미지 데이터를 학습하는데 적합한 인공신경망이다. 캔, 유리, 플라스틱, 페트병, 종이, 비닐 등 6가지 범주의 생활폐기물 데이터를 수집하였고, 폐기물 처리 작업장의 조도에 관련된 자료가 없어, 조도 변화에 따른 합성곱 신경망의 성능을 비교하기 위해 원본 이미지와 어두운 환경을 가정한 3가지의 이미지 그리고 밝은 환경을 가정한 3가지의 이미지를 각 실험당 총 13,920개를 사용하여 학습시켰다.

본 논문의 구성은 다음과 같다. 2장에서 생활폐기물 관련 연구와 합성곱 신경망, 드롭아웃에 대해 소개하고, 3장에서 학습시킨 데이터셋 과 실험 환경, 실험 방법을 소개한다. 4장에서는 조도 변화에 따라 실험한 생활폐기물 분류의 합성곱 신경망의 성능에 대한 실험 결과를 서술하고, 5장에서 결론을 맺는다.

Ⅱ. 관련 연구

Ⅲ. 실험 및 방법

3-2 데이터 셋

과학기술정보통신부와 한국지능정보사회진흥원의 사업의 일환으로 구축된 AI 허브에서 제공되는 생활폐기물 이미지 인공지능 학습용 데이터를 사용하였다[11].

실험을 위해 데이터는 도시 지역에서 버려지는 폐기물인 도시형 생활폐기물(MSW)중 한국폐기물협회에서 발표한 ‘2019년 전국 폐기물 발생 및 처리 현황’ 자료에 따라 종이류, 플라스틱, 유리류, 캔류, 비닐류, 패트병류 등 6개의 데이터를 사용했다[12].

이미지의 해상도가 달라 128x128으로 리사이즈 하였고, local optimum 에 빠지는 가능성을 줄이고 학습속도를 빠르게 하기 위해 이미지 픽셀을 255로 나눠 0~1사이로 정규화 하여 사용하였다.

사용한 데이터셋의 범주는 캔, 유리류, 플라스틱, 패트병류, 종이류, 비닐류 순서대로 0, 1, 2, 3, 4, 5으로 지정하였다. 훈련데이터는 각 범주당 2,320개이며, 총 13,920개로 조도에 변화에 따라 달라지는 이미지데이터 특성을 학습시키기 위해 Python 라이브러리인 PIL(Python Imaging Library)의 ImageEnhance 클래스를 사용해 이미지의 밝기를 바꿔 사용하였다.

$\[ data=image1\times \left(1.0-\alpha \right)+image2\times \alpha \]$

(1)

ImageEnhance 의 Brightness 함수는 원본 이미지(image2), 원본 이미지와 같은 크기와 모드의 검은색 이미지(image1) 만들고 저장한다. 그 후, enhace 함수를 인자(α)와 함께 호출하면 blend 함수에 의해 검은색이미지 와 원본 이미지가 인자값에 따라서 합쳐지게 되고 밝기가 변경된 이미지(data)가 완성되는데, 그 식은 수식1과 같다. 인자 값의 범위는 너무 낮으면 이미지 전체 픽셀값이 0에 수렴되고 너무 높으면 이미지 전체가 픽셀값이 255에 수렴하게 되어 인자값의 범위를 0.6~1.4로 정하였다.

원본 이미지 T1, 원본보다 어두운 이미지는 인자 값 0.6, 0.7, 0.9을 사용해 T2, T3, T4로 설정하였고 원본보다 밝은 이미지는 인자 값 1.1, 1.3, 1.4 사용해 T5, T6, T7으로 설정해 사용하였다. 픽셀 값이 가장 낮은 T2와 픽셀 값이 가장 높은 T7은 그림1과 같다.

Fig. 1.

Image according to the change of illuminance

조도를 변경했을 경우 이미지의 RGB 채널 중 R 채널의 T1, T2, T7의 픽셀값 변화는 그림 2와 같다. 테스트 데이터는 각 범주당 80개, 7가지의 조도 변화를 주어 560개씩이며, 총 3,360개이다. 조도에 변화를 준 이미지 데이터를 통한 합성곱 신경망의 성능을 확인하고자 모든 실험에서의 테스트 데이터를 같게 사용하였고, 조도 변화에 따른 데이터가 모든 조도 환경에서 어떻게 반응하는지 보기 위해 T1 ~ T7에서 사용한 조도를 모두 포함하고 있는 테스트 데이터를 사용하였다. 사용한 데이터는 표 1, 표 2와 같다.

Fig. 2.

Pixel value change according to illuminance change

Table 1.

Number of data by category

Table 2.

Data set

3-3 학습모델

이미지 처리에서 뛰어난 성능을 보이는 합성곱 신경망을 사용하였다[13].

본 논문에서는 Python 라이브러리인 Keras 를 사용하여 합성곱 신경망을 모델링 하였으며 Keras 라이브러리에 ModelCheckpoint를 사용하여 검증 정확도가 가장 높았을 때의 학습을 저장해 사용하였고 EarlyStopping를 사용해 검증 로스가 3에포크 동안 좋아지지 않는다면 학습을 조기 종료 하였다. 모든 실험은 초기 가중치와 학습률을 고정하여 실험하였다.

실험에서 사용할 데이터는 총 6개의 범주만 분류하는 문제이기 때문에 1000개의 범주를 분류하는 구글의 Inception 같은 깊은 모델보다는 간단한 모델을 만들어 사용하였다[14]. 합성곱 신경망층에서는 4개의 히든 레이어 층과 풀링 층을 구성하였다.

노드 수는 각 64, 128, 64, 64개, 필터의 크기는 3x3, 3x3, 3x3, 1x1을, 신경망의 과적합을 방지하기 위해 드롭아웃을 사용 하였다[15]. 완전연결층에는 노드 수 256개의 층과 마지막에는 노드 수 6개와 softmax를 사용하여 범주를 분류하는 층으로 구성하였다. 20 에포크(epoch) 동안 학습하였고, 활성함수는 ReLu를, 풀링은 MaxPooling을, 최적화 함수는 adam을, 손실 함수는 crossentropy를 사용하였으며, 모델의 전체 구조는 그림 3과 같다.

Fig. 3.

Model Summary

Ⅳ. 결 과

학습 데이터를 조도 변화에 따라 나눠 조도에 따른 생활폐기물 분류의 성능을 확인하기 위해 각 실험당 학습 정확도, 학습 로스, 검증 정확도, 검증 로스를 측정하였고 결과는 표 3과 같다. 학습 정확도는 T1, T2, T3, T4, T5, T6, T7 순으로 80.7%, 71.0%, 69.8%, 79.9%, 79.0%, 75.9%, 76.3%로 원본 이미지를 사용한 T1을 제외하면 T4가 학습 정확도가 높게 나왔으며 T3은 학습 정확도가 가장 낮게 나왔다.

Table 3.

Result summary

T1으로 학습한 모델의 검증 정확도는 53.2%로 나타났다.T2, T3, T4의 검증 정확도는 37.2%, 35.1%, 53.1% 로 어두운 이미지를 사용했을 경우에는 모든 테스트 셋이 T1 보다 낮은 정확도를 보였다. T2, T3, T4의 검증 로스도 마찬가지로 T1의 1.4725보다 높은 1.7877, 1,6593, 1.4988로 좋지 않은 성능을 보여줬다. 반면에 T1보다 밝은 이미지를 사용한 T5, T6, T7의 검증 정확도는 60.1%, 59.1%, 58.5%로 더 높았고, 검증 로스 또한 1.3020, 1.3771, 1.2932로 더 좋은 성능을 보여 주었다.

T1~T7 각각을 사용한 모든 실험에서 학습 정확도와 학습 로스에 비해 검증 정확도, 검증 로스가 떨어지는 것을 확인 할 수 있었다. 이는, 테스트 데이터셋이 조도 하나만 학습하는 학습 데이터와는 다르게 모든 조도를 포함하고 있는 테스트 데이터이기 때문이다.

모든 실험에서 학습시 설정해둔 ModelCheckpoint 함수가 작동해 각 에포크 13~14에서 학습한 결과가 저장 되었고, 그 이상에서는 과적합이 발생하여 EarlyStopping 함수에 의해 학습이 조기 종료되었다.

그림 4는 생활폐기물 이미지를 잘 분류된 이미지와 그렇지 못한 이미지를 확인하기 위해 특징을 잘 파악했는지 확인할 수 있는 시각화 기술인 CAM(Class Activation Map)을 사용하였다. 그림 4는 검증 정확도가 높았던 T5 모델로 학습시킨 이미지 중 정답이 캔인 이미지를 확인하였다. 그 결과 잘 분류된 이미지는 캔의 겉 부분이 활성화된 결과를 확인할 수 있었고, 잘 분류하지 못한 이미지는 캔의 특징이 아닌 배경 부분을 특징으로 파악했다는 결과를 확인할 수 있었다.

Fig. 4.

Class Activation Map(CAM)

실험에 진행한 조도의 변화에 따라 분류를 잘한 범주를 확인하기 위해 T1을 뺀 오차 행렬을 그림 5와 같이 정리하였고, 모델의 성능은 오차율(Error rate)로 계산하여 측정하였으며 식2와 같다.

Fig 5.

Confusion Matrix

그림 5를 오차율 관점에서 보면 T2~T7 순서대로 약 75%, 78%, 56%, 48%, 49%, 50%로 오차율이 가장 낮은 T5의 성능이 가장 좋았다.

그림 5를 보면 T2는 종이류에 대한 분류 정확도가 높았지만 다른 범주의 경우에도 종이류로 오 분류 한 경우가 많았고 T3는 비닐류에 대한 분류 정확도가 높았지만 다른 범주의 경우에도 비닐류로 오 분류 한 경우가 많았다. 이는 조도를 낮춘 T2의 종이류와 T3의 비닐류 데이터가 다른 범주의 학습데이터에 비해 더 강한 특징을 가지고 있다고 생각된다.

T5, T6, T7 모두 유리류에 대한 분류정확도가 높았으며, 유리류, 패트병류, 플라스틱 순으로 분류를 잘하는 공통점을 보였다.

false positive 관점으로 보면 T5, T6는 다른 범주들에 비해 종이류에 대한 오 분류가 많았지만 T2, T3, T4와 비교하면 상대적으로 낮은 개수를 오 분류 하였다. 또한 T2~T7의 결과를 통합해 본다면 어두운 이미지보다 밝은 이미지가 좀 더 다양한 조도에 유연하였다.

범주별로 잘 분류한 결과는 캔은 331개를 분류한 T5, 유리류는 472개를 분류한 T7, 플라스틱은 350개를 분류한 T5, 패트병류는 366개를 분류한 T5, 종이류는 435개를 분류한 T2, 비닐류는 358개를 분류한 T3로 나타났다.

어두운 이미지였던 T2, T3, T4는 공통적으로 유리류를 잘 분류하지 못했으며, 밝은 이미지였던 T5, T6는 종이류를 잘 분류하지 못했다. 이는 조도가 변화하게 되면 모든 범주의 이미지들을 변화시키지만, 그 중 더 민감하게 변화하는 범주가 있다고 해석할 수 있다.

Ⅴ. 결 론

본 논문에서는 Python의 Keras 라이브러리를 사용한 합성곱 신경망을 통하여 조도에 변화를 준 T1, T2, T3, T4, T5, T6, T7의 학습 데이터를 사용하여 생활폐기물의 분류 성능을 실험하였다.

조도 변화에 따라 생활폐기물 분류 문제의 정확도와 loss의 차이가 유의미 하다는 것을 알 수 있었다. 그 결과 생활폐기물 분류 문제에 어두운 이미지보단 밝은 이미지가 상대적으로 좋은 결과를 보여 주었고, 가장 좋은 성능을 보였던 모델은 인자값을 1.1로 설정해 변경한 T5 모델이 가장 성능이 좋았다.

추후 검증 정확도를 더 높이는 모델 연구가 필요하며, 생활폐기물 분류 시스템에 적용할 때, 오차 행렬로 확인한 오 분류가 상대적으로 많았던 종이 폐기물의 데이터를 좀 더 보강해 학습을 시킨 후 사용하거나 각 조도에서 잘 분류한 범주만 뽑아 따로 학습한다면 더 좋은 성능을 나타낼 것이다.

현재에는 조도 변화에 따른 학습 데이터를 통한 성능 차이만 연구하였지만 향후 연구 과제로는 새로운 폐기물 데이터가 추가되었을 경우와 이미지의 조도 변화에도 더 강건한 분류 방법을 연구할 예정이다.

References

• Hyundai Research Institute. 5 Trends Changes and Prospects of the Coffee Industry [Internet]. Available: http://www.hri.co.kr/board/reportView.asp?numIdx=30141&firstDepth=1&secondDepth=1&thirdDepth=
• Statista. Annual production of plastics worldwide from 1950 to 2020 [Internet]. Available: http://www.statista.com/statistics/282732/global-production-of-plastics-since-1950/, .
• Verma, R., Vinoda, K. S., Papireddy, M., & Gowda, A. N. S., “Toxic Pollutants from Plastic Waste- A Review”, Procedia Environmental Sciences, Vol. 35, pp. 701-708, July 2016. [https://doi.org/10.1016/j.proenv.2016.07.069]
• Yeomyong Kim, Sanghee Lee, Jiwhan Ahn, "A Brief review on Global Plastic Regulation Trends", Journal of Energy Engineering, Vol. 30, No. 1, pp. 21-25, March 2021.
• Keewon Kim, "Estimating the social cost of residential and commercial waste for Seoul and surrounding cities", Korea Environmental Policy And Administration Society, pp. 44-45, September 2020.
• Perez, H. R., Frank, A. L., & Zimmerman, N. J., "Health effects associated with organic dust exposure during the handling of municipal solid waste." Indoor and Built Environment, Vol. 15, No. 3, pp. 207-212, June 2006. [https://doi.org/10.1177/1420326X06066427]
• Easy to Find, Pratical Law. Disposal of household waste [Internet]. Available: https://easylaw.go.kr/CSP/CnpClsMain.laf?popMenu=ov&csmSeq=1410&ccfNo=1&cciNo=2&cnpClsNo=2
• Joon Han, “Decomposition Analysis on Non-Recycled Plastics in Domestic Residential Wastes”, Journal of Environmental Policy and Administration, Vol. 28, No. 2, pp. 79-100, June 2020. [https://doi.org/10.15301/jepa.2020.28.2.79]
• Junyoung Nam, Christine Lee, Asif Ashraf Patankar, Hanxiang Wang, Yanfen Li, Hyeonjoon Moon, “Object classification for domestic waste based on Convolutional neural networks”, 2019 Autumn Conference of Korean Broadcasting and Media Engineering Association, pp.83 – 86, Nov 2019.
• LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W., & Jackel, L. D., "Backpropagation applied to handwritten zip code recognition.", Neural computation, Vol. 1, No. 4, pp. 541-551, December 1989. [https://doi.org/10.1162/neco.1989.1.4.541]
• AI Hub. Image of household waste [Internet]. Available: https://aihub.or.kr/aidata/27708
• Korea Waste Association. Waste statistics [Internet]. Available: http://www.kwaste.or.kr/bbs/content.php?co_id=sub0401
• Guo, T., Dong, J., Li, H., & Gao, Y., "Simple convolutional neural network on image classification." 2017 IEEE 2nd International Conference on Big Data Analysis (ICBDA), pp. 721-724, March 2017. [https://doi.org/10.1109/ICBDA.2017.8078730]
• Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., & Wojna, Z., "Rethinking the inception architecture for computer vision.", Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2818-2826, June 2016. [https://doi.org/10.1109/CVPR.2016.308]
• Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R, "Dropout: a simple way to prevent neural networks from overfitting.", The journal of machine learning research, Vol. 15, No. 1, pp. 1929-1958, June 2014.