인공지능 냉장고 내 보관된 음식재료 폐기처분 여부를 결정하는 Q_SLT 학습 알고리즘에 관한 연구

2-1 시스템 구성

본 논문의 Q_SLT 학습 알고리즘이 적용되는 인공지능 냉장고는 다음과 같은 시스템 구성으로 이루어진다. 그림 1은 폐기처분 대상 음식재료 검출용 인공지능 냉장고를 지원하는 클라우드 운영관리 시스템을 설명하기 위한 예시도이다.

Fig. 1.

System diagram

즉, Q_SLT 학습 알고리즘으로 활용해 폐기처분 대상 음식재료를 검출해 내는 인공지능 냉장고를 지원하는 클라우드 운영관리 시스템은 인공지능 냉장고, 크라우딩 운영관리 서버, 사용자 통신 단말기 및 적어도 하나의 이웃 통신 단말기로 이루어지며, 이 중 인공지능 냉장고는 식재료 촬영부, 디스플레이부 및 로봇팔 구동부로 구성된다.

인공지능 냉장고는 음식재료마다 각기 다른 자기만의 고유한 생물학적 특성을 내포하고 있어 이를 고려해 냉장 칸에 보관할 것인지 아니면 냉동 칸에 보관할 것인지 구분해야 할 것이다.

음식재료가 냉장 칸 혹은 냉동 칸에 들어가 보관됨에 따라, 식재료 촬영부는 냉장 칸 또는 냉동 칸에 보관된 음식재료를 디텍팅 및 Zoom-in, Zoom-out과 같은 포커싱 동작을 하면서 밀착 촬영을 반복 실행하여 음식재료 영상정보를 생성시킨다.

이때, 크라우드 운영관리 서버는 식재료 촬영부와 기연결된 클라우드 통신망으로부터 음식재료 영상정보를 전달받은 후, 음식재료 영상정보를 토대로 딥러닝을 활용해 음식재료의 품목명과 유통기한을 데이터베이스로부터 찾아내어 이를 인공지능 냉장고에 정보 제공해 준다.

디스플레이부는 음식재료의 품목명과 유통기한을 화면 디스플레이한다.

크라우드 운영관리 서버는 VLDB(Very Large Database)내 저장된 다양한 음식재료에 관한 빅데이터 정보를 참조하며, 클라우드 통신망을 거쳐 전달된 음식재료 영상정보를 기초로 텐서플로우 기법으로 강화 학습시켜 음식재료에 관한 품목명을 정확히 판별한다.

인공지능 냉장고는 품목명이 확정된 음식재료를 대상으로 유통기한을 지속적으로 모니터링함으로써, 음식재료가 소진되었는지를 파악하거나 아니면 아직 보관 중 상태인지를 파악한다.

또한, 인공지능 냉장고가 유통기한이 얼마남지 않은 음식재료에 한해 음식재료의 영상 이미지를 디스플레이부에크게 표시케 해 사용자로 하여금 디스플레이부 상에 나타난 로봇팔 호출 아이콘이 터치되도록 할 시, 냉장-냉동 칸 영역 상단의 슬라이드 도어가 오픈되면서 냉장 칸 혹은 냉동 칸 영역 상단에 은폐·엄폐 형태로 감춰진 로봇팔 구동부는 냉장 칸 또는 냉동 칸으로 내려오면서 자동 노출 및 구동을 시작한다.

즉, 로봇팔 구동부의 구동에 따라 상하좌우로 움직이는 양팔 머신은 음식재료를 들어올려 인공지능 냉장고 내 선반 전면부까지 이동해 안착할 수 있도록 수평을 유지하면서 동작한다.

다만, 음식재료가 선반 전면부로 옮겨지기 전에 인공지능 냉장고는 음식재료 크기와 대비해 제 1 물리적 위치(기존 위치)에서 제 2 물리적 위치(선반 전면부)로 위치 변경해도 될 만한 공간 넓이를 갖고 인지를 비교 판단해야 할 것이다. 다시말해, 제 2 물리적 위치의 공간 넓이가 이 음식재료의 사이즈보다 커야 할 것임을 전제로 한다.

로봇팔 구동부의 양팔 머신은 냉장(동)온도에 상관없이XYZ축 기준 360도 회전, 상하좌우 움직임이 가능해야 할 것임을 전제로 한다.

사용자 통신 단말기와 적어도 하나의 이웃 통신 단말기는 PDA, 스마트폰, 스마트 패드, 태블릿 PC 중 하나인 것으로, 인공지능 냉장고를 원격 제어하기 위한 용도로 크라우드 운영관리 서버로부터 다운로드받은 “나의 냉장고 관리전용 앱 컨텐츠”를 소장한다.

특히, 사용자 통신 단말기는 나의 냉장고 관리전용 앱 컨텐츠로 로봇팔 구동부를 원격 제어해 음식재료를 제 1 물리적 위치에서 제 2 물리적 위치로 이동시킬 수 있으며, 식재료 촬영부로부터 제공되는 냉장 칸-냉동 칸의 현재 상태를 상시 모니터링한다.

이웃 단말기는 인공지능 냉장고 내 보관된 음식재료를 제 3 자 관찰자 시점에서 인지할 수 있어, 사용자의 식습관, 레시피, 음식 섭취 패턴 및 편식정도를 미리 유추해 볼 수 있고 사용자의 현 건강상태를 언제든 조언해 줄 수 있는 조력자 역할도 가능한 IoT 시스템 환경을 지원받는다.

2-2 나의 냉장고 관리 전용 앱 컨텐츠

인공지능 냉장고는 식재료 본연의 맛을 유지토록 하기 위해 온오프 마켓을 통해 구매한 음식재료를 냉장 칸(B, C) 또는 냉동 칸(A, D)으로 정해놓은 A, B, C, D 공간 영역 중 하나, 그 이하에 속한 세부 공간 중 하나에 냉장 혹은 냉동 보관한다.

나의 냉장고 관리 전용 앱 컨텐츠는 크라우드 운영관리 서버에서 요청한 회원인증 절차를 거쳐 실제 소유권자가 사용자임을 검증받아 사물인터넷(IoT)을 위한 고유 IP정보를 부여받는다.

나의 냉장고 관리 전용 앱 콘텐츠는 사물인터넷(IoT) 접속을 통해 인공지능 냉장고 상의 음식재료 보관 전(前)부터 음식재료를 보관하고 있는 현재까지의 음식재료 파악 영상정보를 언제든 볼 수 있다.

나의 냉장고 관리 전용 앱 콘텐츠는 인공지능 냉장고 구조를 그래픽으로 모델링한 후 화면 제공하며(그림 2), 냉장 칸(B, C) 및 냉동 칸(A, D) 즉, A, B, C, D 공간 중 A 공간 영역을 화면 터치할 시, A 공간 영역 이하의 A 세부 공간 영역(AC-1, AC-2, AC-3, AD-1, AD-2, AD-3)을 화면 디스플레이한다.

Fig. 2.

Refrigerator internal monitoring screen using contents of an app dedicated to my refrigerator management

3-1 Q_SLT 학습 알고리즘

본 논문은 인공지능 냉장고 내 보관된 음식재료의 유통기한을 탐지한 후 이를 바탕으로 유통기한 만료일이 도래될만한 음식재료를 대상으로 한 구매한 날로부터 인공지능 냉장고에 보관 중에 있는 음식재료가 생물학적으로 부패하기 시작한 현재시점(t_p)을 알아내고, 그로부터 파악된 FP_t(식품유효 기한) 및 유통기한(T_slt)를 중요 파라미터를 근거로 삼아 음식재료에 대한 폐기처분 여부를 명확히 결정하는 Q_SLT 학습 알고리즘(Q-Leaning Algorithm reflected SLT)을 제안하고자 한다.

기존의 Q-러닝(Leaning) 알고리즘[8],[9]은 에이전트가 특정 상태에서 특정 행동을 선택할 때, 그 행동의 가치를 나타내는 Q 값을 추정하는 것이다. 이 추정된 Q 값은 다음과 같은 벨만 최적 방정식(Bellman Optimality Equation)에 기반한 것으로 수식 (1)과 같이 정의할 수 있다.

Q(s,a)는 상태 s에서 행동 a를 선택할 때의 예상가치를 나타내는 함수이다.

여기서, L : 새로운 정보를 얼마나 빨리 받아들일지를 확률로써 결정하는 학습률(learning rate)

r : 상태 s에서 행동 a를 취했을 때 받는 현재 보상(present reward)

γ는 미래 보상에 대한 가중치를 나타내는 할인 인자(discount factor)로, 0≤γ≤1

s′는 행동 a를 취한 후에 도달한 다음 상태

a′는 다음 상태에서 선택된 행동

maxa′′​Q(s′, a′)는 다음 상태에서 가능한 모든 행동에 대한 가치의 최댓값

벨만 최적 방정식은 강화 학습의 주요 알고리즘 중 하나로, 강화 학습에서 사용되는 Q-러닝(Q-learning) 알고리즘의 업데이트 규칙을 나타내며, 표 1에서 같이 Q 함수의 값을 업데이트하는 규칙을 보여준다.

Table 1.

Initial parameters for the QSLT learning algorithm

이것은 이전의 추정치를 새로운 정보로 조금씩 조정함으로써 점진적으로 학습하는 것을 나타냄을 의미하며, 이전 값에 현재 보상과 다음 상태에서의 최대 Q 값의 가중 평균을 취한다.

이러한 업데이트는 새로운 경험을 토대로 Q 함수를 조정하여 점진적으로 더 나은 정책을 학습하는데 사용된다.

Q-러닝 알고리즘은 특히 환경 모델이 주어지지 않은 경우에도 사용할 수 있는 모델-프리(model-free) 방법으로, 재귀적으로 최적 가치 함수를 정의한다.

본 논문은 음식재료의 유통기한을 대상으로 현재 상태에서의 최적 가치 함수를 계속적으로 학습해 감으로써, 주어진 현재 상태에 대한 최적의 행동을 선택할 수 있도록 하는 것이다. 즉, 학습을 통해 이를 반복하여 최적 가치 함수를 찾는다. 최적 가치 함수를 찾으면, 이를 사용하여 최적 정책을 추론해 낼 수 있음을 제안한다.

유통기한이란 “제품의 제조일로부터 소비자에게 판매가 허용되는 기한”이라고 나타내고 있다. 즉 유통기한은 개념상 판매기한을 의미하는 “Sell by date”를 나타내는 것으로 이는 “소비기한”과 구별되는 개념이다[11].

본 논문에서 제안하는 Q_SLT 학습 알고리즘은 부패의 우려가 다분히 있을 음식재료의 유통기한 정보 혹은 생물학적 폐기 처분기한 정보로부터 인지된 유통기한(SLT, Shelf Life Time : T_slt)에 의해 γ 값을 저해시키는 요소로 작용한다고 하겠다. 즉, γ 는 미래의 보상을 현재 가치로 환산하는 매개변수로써, 음식재료를 대상으로 한 보관 기한 만료일이 도래할수록 반비례적인 추세를 나타내며 미래의 보상을 감소시킨다고 할 것이다.

유통기한과 할인 인자 간의 관련성은 다음과 같다.

유통기한이 짧게 남은 음식재료 : 유통기한이 짧은 남은 음식재료는 빠르게 할인 인자를 감소시킴.

유통기한이 길게 남은 음식재료 : 유통기한이 길게 남은 음식재료는 할인 인자를 큰 변동없이 그대로 유지시킴.

γ는 미래 보상에 대한 가중치를 조절하는 중요 파라미터로, 0≤γ≤1로 추산할 수 있다. 즉, γ는 음식재료를 구매한 날을 최대값 1로 본다면 그날로부터 음식재료에 대한 가용성이 시간에 따라 점점 줄어들 것이고 유통기한이 만료되는 날을 최소값 0으로 설정할 수 있다 하겠다.

FP_t(식품유효 기한)은 수식 (2)와 같이 음식재료의 구매일부터 유통기한 만료일까지의 기간인 유통기한(T_slt)에서 음식재료의 구매일부터 인공지능 냉장고에 보관 중 상태에 있는 현재시점(t_P)을 뺀 잔여 일자가 식품처분 가능기간이다[9],[10].

따라서, T_slt^*(식품유용 가치율)는 음식재료를 대상으로 미래 보상에 대한 가중치를 나타내는 할인 인자 γ 을 대체하는 중요 파라미터라 할 것이고, 수식 (3)처럼 FP_t(식품유효 기한)을 T_slt(유통기한)으로 나누게 되면 식품유용 가치가 생성되고 이를 확률적 개념을 갖도록 %율로 적용하면 비로소, 음식재료가 유통기한 동안에 자신이 가지고 있는 수율(다시말해, 자기만의 고유 생존 수명율)을 얼마나 유지한 채로 보관할 수 있는가를 알려주는 척도인 T_slt^*을 구할 수 있다.

이는 SLT가 반영된 Q-학습 알고리즘이 수식 (4)와 같이 성립됨을 의미한다고 할 것이다.

T_slt^*이 1에 가까울수록 식재료를 사용할만한 미래의 보상가치율은 최대가 되고, 0에 가까울수록 미래에 보상받을 수 있는 확률은 매우 낮아 음식재료를 더 이상 보관해 두어서는 안된다고 할 것이다. 다시말해, 유통기한 만료일이 도래되는 음식재료는 소비자의 건강을 위해 폐기 처분해야 함을 의미한다고 하겠다.

본 논문은 γ(할인인자) 대신 T_slt^*(식품유용 가치율)를 반영함으로써 유통기한 만료일이 도래되는 시점까지 시간에 따라 최적 가치 함수 Q_SLT(s, a)를 찾을 수 있다. 최적 가치 함수를 찾으면, 이를 사용하여 음식재료에 대한 최적 정책을 추론해 낼 수 있다고 하겠다. 즉, 최적 가치 함수 Q(s, a)가 점진적으로 하락 추세를 띈다는 점을 예상해 볼 수 있음을 파악해 수율(收率)면에서 음식재료가 감가 상각되더라도 상대적인 측면에서 접근시 최적 가치 함수 Q(s, a)가 (-)지수 함수적으로 기울기가 급변하기 前 상대 최적값을 가리키는 골든 타임을 찾아낼 수 있다.

3-2 Q_SLT 학습 알고리즘에 관한 모의실험

본 논문의 인공지능 냉장고 내 보관된 음식재료에 관한 폐기처분 여부를 결정하는 Q_SLT 학습 알고리즘은 특정 음식재료, 그 예로써 ‘삼각김밥’의 유통기한 48시간일 경우에 FP_t(식품유효 기한)와 T_slt^*(식품유용 가치율)을 각각 구한다[12].

그림 3, 4에서 보듯이, 삼각김밥의 FP_t(식품유효 기한)은 유통기한(T_slt) 48시간 중 현재시점((t_P) 즉, 약 29.04시간 정도에서 기울기의 변화가 급격히 일어나 아래로 내려오는 지수적인 추세를 갖음을 파악할 수 있다.

Fig. 3.

FPt(food expiration date) of triangle gimbap

Fig. 4.

Tslt*(food utility value ratio) of triangle gimbap

T_slt^*(식품유용 가치율)은 유통기한(T_slt) 48시간 중 약 29.04시간이 가리키는 현재시점(t_P)에서 약 83.94%일 때 급격히 하락추세로 바뀐다는 사실을 알 수 있다.

이외로, 임계점(삼각김밥만의 수율 하락으로 폐기처분을 강제적으로 결정해야만 하는 시점)은 약 41.68시간대이다.

또한, 현재시점(t_P) 약 29.04시간 대비 삼각김밥의 FP_t(식품유효 기한)는 약 40.26의 값을 나타냄을 고려해 본 결과, 삼각김밥의 FP_t 지수곡선과 순간 지나가며 해당 포인트(40.26, 29.04) 상의 가로 평행선과 이루는 제 1 위상각은 수식 (5)에 대입해 보더라도 약 58°의 각도를 유지함을 알 수 있다. 따라서, 이는 삼각김밥의 T_slt^*(식품유용 가치율)을 찾아내는데 현재시점(t_P)과 함께 매우 중요한 파리미터라 할 것이다.

또한, 삼각김밥의 T_slt^*(식품유용 가치율)은 현재시점(t_P) 약 29.07시간일 때, 약 83.94% 정도를 나타냄을 알 수 있겠다.

삼각김밥의 T_slt^* 지수곡선이 순간적으로 지나가며 해당 포인트(83.94, 29.07)을 통과해 해당 포인트 상의 가로 평행선과 이루는 제 2 위상각 역시 수식 (6)에 대입해 보듯이 약 58°의 각도를 형성한다는 것도 알아냈다.

본 논문에서 SLT가 반영된 Q-학습 알고리즘은 삼각김밥의 FP_t(식품유효 기한)와 삼각김밥의 T_slt^*(식품유용 가치율)을 알아내는 것이 핵심사항이다.

그에 따라, T_slt^*이 반영된 최적 가치 함수인 Q_SLT(s, a)을 각각 구하고 기존 Q(s, a)과 Q_SLT(s, a)와의 대비를 통해 음식재료를 대상으로 한 폐기처분 여부를 결정함에 있어 Q_SLT(s, a)의 예상가치를 반드시 고려해야 함을 알려 음식재료마다 미리 정해놓은 유통기한(T_slt) 중에 Q_SLT(s, a)의 예상가치가 생물학적 부패현상으로 급변해져 인공지능 냉장고가 음식재료를 실질적으로 폐기처분해야 하는 실제폐기 처분일 즉, 현재시점(t_P)을 정확히 파악해 냄으로써, 폐기처분 결정에 대한 명확성을 확고히 할 수 있음을 의미한다.

그림 5에 도시된 파란색 선은 삼각김밥이 변질될 가능성이 높아보여 부패 염려되는 특정 상태에 대한 가치분을 기존의 Q-학습 알고리즘을 적용해 Q값을 산출한 결과이다. 48시간의 삼각김밥의 유통기한에서 기준 약 10.58시간 지난 후엔 Q값이 더 이상 변동되지 않고 그대로 유지되거나 하락을 시작하는 추세 꺾임 현상이 일어난다. 다시말해, 부패가 일어나는 시점이 약 10.58시간 이후일 것이라 추정해 본 것이라 하겠다[10].

Fig. 5.

Q-learning algorithm reflected the SLT of triangle Gimbap

T_slt^*(식품유용 가치율)은 음식재료를 구매한 날로부터 인공지능 냉장고에 보관 중에 있는 현재시점(t_p), FP_t(식품유효 기한) 및 유통기한(T_slt)를 중요 파라미터로 삼는다. 이를 바탕으로 SLT가 반영된 Q-학습 알고리즘<일명 : Q_SLT 학습 알고리즘> 일예로, 음식재료로 선정한 ‘삼각김밥’이 언제부터 부패되는지 가늠해 본 후 이때의 특정상태 학습값인 Q_SLT을 본 모의실험을 통해 구한다. Q_SLT가 그림 5에 도시된 녹색선이라 하겠다.

SLT가 반영된 Q-학습 알고리즘로부터 구한 Q값의 변동분이 그대로 유지되거나 하락하는 추세로 바뀌는 시점은 앞서 FP_t(식품유효 기한), T_slt^*(식품유용 가치율)의 추세 변경을 일으킨 현재시점(t_P) 즉, 48시간의 삼각김밥의 유통기한(T_slt) 기준 약 29.03시간 이후라 보는 것이 타당하다 할 것이다.

따라서, 본 논문의 모의시험을 통해 음식재료(예 : 삼각김밥)의 부패가 시작되는 현재시점(t_P)을 알아내는 것은 SLT가 반영된 Q-학습 알고리즘을 성립시키기 위한 핵심사항이라 하겠다.

다른 예로써, 음식재료로 선정한 ‘샌드위치’의 부패가 언제부터 일어날지 알아보기 위한 모의실험으로, 우선 샌드위치의 FP_t(식품유효 기한)은 그림 6에서 보듯이 42시간으로 알려진 유통기한(T_slt) 중 현재시점(t_P) 약 24.8시간 정도에서 확률적으로기울기의 변화가 급격히 일어나 약 35.22 지점에서부터 지수 하락하는 추세를 갖는다 할 것이다.

Fig. 6.

FPt(food expiration date) of triangle gimbap

즉, 샌드위치의 생물학적 부패로 인해 지수 하락이 급격히 일어나려고 하는 순간, 기울기의 변화는 해당 포인트(35.22, 24.8)인 현재시점(t_P)을 기준으로 180° 가로로 그은 평행선과 FP_t(식품유효 기한)의 지수곡선이 만나 생기게 된다. 이때 자동 생성된 제 1 위상각은 약 58°의 각을 이룸을 알 수 있다.

T_slt^*(식품유용 가치율) 역시도 유통기한(T_slt) 42시간 중 현재시점(t_P) 약 24.76시간에서 확인되는 약 83.86%의 가치율을 나타내는 해당 포인트를 지나가는 순간 이후, 급격하게 하락하는 추세로 바뀐다는 사실도 알 수 있다(그림 7 참조).

Fig. 7.

Tslt*(food utility value ratio) of triangle gimbap

또한, 삼각김밥의 T_slt^*(식품유용 가치율)은 현재시점(t_P) 약 24.76시간일 때, 약 83.86% 정도를 나타냄을 알 수 있겠다.

삼각김밥의 T_slt^* 지수곡선이 순간적으로 지나가며 해당 포인트(83.86, 24.76)을 통과해 해당 포인트 상의 가로 평행선과 이루는 제 2 위상각 역시 수식 (6)에 대입해 보듯이 약 58°의 각도를 형성한다는 것도 알아냈다.

T_slt^*(식품유용 가치율)은 음식재료를 구매한 날로부터 인공지능 냉장고에 보관 중에 있는 현재시점(t_p), FP_t(식품유효 기한) 및 유통기한(T_slt)를 중요 파라미터로 삼는다.

이를 바탕으로 SLT가 반영된 Q-학습 알고리즘을 이용해 일예로, 음식재료로 선정한 ‘샌드위치’가 언제부터 부패되는지 가늠해 본 후 이때의 특정상태 학습값인 Q_SLT을 본 모의실험을 통해 구한다. Q_SLT가 그림 8에 도시된 녹색선이라 하겠다.

Fig. 8.

Q-learning algorithm reflected the SLT of triangle Gimbap

SLT가 반영된 Q-학습 알고리즘로부터 구한 Q값의 변동분이 그대로 유지되거나 하락하는 추세로 바뀌는 시점은 앞서 FP_t(식품유효 기한), T_slt^*(식품유용 가치율)의 추세 변경을 일으킨 현재시점(t_P) 즉, 42시간의 삼각김밥의 유통기한(T_slt) 기준 약 24.8시간 이후라 보는 것이 타당하다 할 것이다.

이는 T_slt^*(식품유용 가치율)이 Q 값의 변동분을 실제 컨트롤하는 요인으로 작용하였음을 잘 나타내고 있다고 할 것이며, 음식재료가 특정 상태에 놓여있을 때에 대한 가치분을 변동시킬 수 있을 만한 중요 파라미터로 현재시점(t_p), FP_t(식품유효 기한) 및 유통기한(T_slt)이 이 내부에 작용하고 있다 하겠다.

본 논문의 주목할 점으로, 음식재료가 삼각김밥이든, 샌드위치든 어떤 음식재료가 인용되어 음식재료마다 유통기한(T_slt)이 각기 달리 설정되어있다 하더라도 각각의 FP_t(식품유효 기한)의 지수곡선과 T_slt^*(식품유용 가치율)의 지수곡선과 현재시점(t_P)의 가로 평행선이 순간 만나 기울기 변화로 일어나 형성되어진 제 1, 2 위상각은 약 58° 의 일정 패턴을 상시 유지함을 본 모의실험을 통해 알아냈다.

즉, 본 논문의 SLT가 반영된 Q-학습 알고리즘은 음식재료마다 유통기한이 다르더라도 실제 음식재료가 부패되는 현재시점(t_P)을 찾아내야 함을 강조하며, 이를 토대로 FP_t(식품유효 기한)과 T_slt^*(식품유용 가치율)을 구해 최적 가치 함수인 Q_SLT(s, a)로부터 파악된 인공지능 냉장고 내 보관된 음식재료 폐기처분 여부에 대한 결정을 명확히 할 수 있다는 것을 의미한다.