주야간 로봇 배송시스템을 위한 경로 최적화 연구

2-1 자율 주행 배송 로봇

글로벌 기업들은 다양한 배송 로봇 시제품을 시장에 선보이며 새로운 비즈니스 모델을 구축하고 있다. 여러 형태와 기능을 갖춘 로봇들이 개발되어 현재 일부 지역에서 시범 운영되고 있다. 예를 들어, 미국의 스타십 테크놀로지스(Starship Technologies)는 짧은 거리를 자율적으로 배송할 수 있는 로봇인 ‘스타십(Starship)’을 개발했으며 2023년 4월 기준 배송 로봇 분야에서 최초로 1,000만 킬로미터의 자율 이동 서비스를 달성했다[3]. 한편, 한국의 우아한 형제들은 자율 배송 로봇 ‘딜리 드라이브(Dilliy drive)’를 활용해 아파트 현관까지 음식을 배달하는 시범 서비스를 선보였다[4].

그림 1에 제시된 것처럼 기존의 배송 로봇은 고객이 배송 시점에 직접 배송 물품을 수령해야 한다는 한계를 지니고 있다. 이는 고객 참석 배송(Customer-attended delivery)이라고 불리며, 고객이 실제로 배송 장소에 있어야만 소포나 식료품 등을 전달할 수 있다는 것을 의미한다[5]. 그러나 배송 로봇에 대한 규제 완화 추세 및 무인 배송 로봇 기술의 빠른 발전에 힘입어, 이러한 한계는 머지않아 극복될 것으로 보인다. 이는 로봇이 고객의 집 앞이나 지정된 안전한 장소에 물품을 배송하고 고객이 원하는 시간에 직접 수령할 수 있게 함으로써, 배송 서비스의 유연성을 크게 향상시킬 수 있을 것이다.

Fig. 1.

Customer-attended delivery robots

실례로 미국의 어질리티 로보틱스(Agility robotics)는 2020년 1월, 이족 보행 로봇 ‘디지트(Digit)’를 개발하여, 자동차 제조업체 포드와 협력을 통해 라스트 마일 딜리버리 분야에서의 활용 가능성을 시험했다[6]. 국내 기업 모빈(Mobinn)은 2022년 10월 발표한 배송 로봇 ‘M2’는 장애물을 피해서 자율적으로 주행하고 ‘적재물 자동 전달 기술’을 적용해서 문 앞에 제품을 부드럽게 내려놓을 수 있다[7].

이러한 기술적 발전과 배송 로봇 규제 완화 추세는 가까운 미래에 자율 주행 배송 로봇이 고객 참석 없이도 물품을 안전하게 배송할 수 있는 능력을 갖추게 될 것임을 시사한다. 이에 본 논문은 고객이 직접 물품을 수령하지 않아도 되는 문전 배송(Door-to-door delivery) 서비스의 가능성에 대해 검토하며, 문전 배송이 가능한 로봇 사용을 가정한다.

또한, 본 논문에서는 로봇 배송을 효과적으로 주택 밀집 배송 현장에 적용하기 위해 주간에 배송 로봇을 트럭과 같은 기존의 배송 수단과 결합한 방식인 마더십(Mothership) 방식을 사용한다. 현재까지 연구된 자율 주행 배송 로봇 운행 방법 중 가장 많이 사용되는 마더십 모델은 차량에 배송 로봇을 적재하고 이를 특정 지점에 배포하는 방식으로 동작한다[8],[9].

Fig. 2.

Fully unmanned delivery robots

2-2 법적·사회적·성능적·산업적 요구사항

전 세계적으로 배송 로봇 규제가 완화됨에 따라 실제 생활 환경에서의 배송 로봇 도입이 현실화되고 있다. 라스트 마일 딜리버리 분야에서 배송 로봇의 성공적인 도입과 운영을 위해서는 표 1과 같이, 다양한 법적, 사회적, 성능적 및 산업적 요구사항들을 충족해야 한다[2].

Table 1.

The application of robots in the last-mile delivery market: Legal, technical, social and industrial requirements

법적 요구사항의 경우, 최근 국내에서 제정된 생활물류서비스산업발전법, 도로교통법의 개정 및 지능형 로봇 개발 및 촉진법의 개정 등을 기반으로 작성되었다. 각각의 법들은 실외 이동 로봇에 대한 정의 및 구체적인 제한 사항, 운행 안전 인증에 대한 기준 그리고 배송 조업을 위한 노상 특별구역인 푸도 존(PUDO zone; Pick-up and Drop-off zone)의 지정과 운영에 관한 내용을 포함하고 있다. 푸도 존은 상업용 화물의 적재 및 승객의 픽업·하차를 위한 공간으로, 공공 도로변에 설치된 노상 특별구역을 의미한다[10].

기술적 요구사항의 경우 로봇을 배송 분야에 접목시키기 위한 성능 및 안전성 기준과 배송을 수행하기 위한 구체적인 기술 요건 그리고 전체 배송 프로세스를 지원하는 관제시스템의 역할을 정리하였다. 이러한 요구사항에는 센서 기반 환경 인식, 실시간 경로 최적화 등이 포함된다.

법적, 기술적 요구사항 외에도 라스트 마일 딜리버리 분야에서 배송 로봇의 성공적 도입과 운영을 위해서는 사회적 요구사항에 대한 깊은 이해와 이를 충족시키는 방안이 마련되어야 한다. 이러한 사회적 요구사항은 주로 고객의 편의성과 만족도를 높이기 위한 목적으로 배송 시간의 유용성, 비용의 경제성, 배송 과정의 투명성 등이 포함된다.

마지막으로, 산업적 요구사항은 라스트 마일 딜리버리 분야의 효율성을 극대화하기 위한 것으로 경로, 인프라 위치, 로봇 대수 등 효과적인 배송시스템 운영을 위해 최적화해야 하는 요소들로 구성된다.

2-3 차량 경로 문제

차량 경로 문제(VRP; Vehicle Routing Problem)는 다수의 고객들에게 서비스를 제공하기 위해 차량의 이동 경로를 최적화하는 조합 최적화 문제(Combinatorial optimization)의 일종으로 다항 시간 내에 최적해를 도출하기 어렵다는 NP-hard 범주에 속한다[11],[12]. VRP 해결을 위해 다양한 휴리스틱(Heuristic)한 방법들이 연구되었고, 최근에는 효율성과 정확성을 크게 향상시킬 잠재력을 지닌 인공지능 기술을 활용하는 시도가 점차 증가하고 있다.

인공지능의 한 종류인 기계 학습(Machine learning)은 크게 지도학습, 비지도학습, 강화학습으로 구분된다. 대다수의 조합 최적화 문제는 최적해를 직접적으로 도출하는 것이 불가능하므로, 전통적인 지도학습의 적용에 한계가 있다. 이와 대조적으로 강화학습은 에이전트가 다양한 시도를 통해 보상을 얻으며 학습하는 방식으로 이를 통해 보다 높은 수준의 일반화 성능을 달성할 수 있다. 또한, 강화학습은 주어진 문제 정의에 덜 민감하며, 자체적인 휴리스틱을 발전시킬 수 있다는 이점이 있다. 이러한 이유로 본 논문에서는 자율 주행 배송 로봇의 경로 최적화 문제를 해결하기 위한 접근 방식으로 강화학습에 초점을 맞춘다.

강화학습을 활용한 기존의 차량 경로 최적화 연구에서는 모델 프리(Model free)와 모델 베이스드(Model based) 강화학습을 결합한 하이브리드 강화학습 모델을 제안하여, 운송 물류에서의 차량 경로 문제를 해결하고자 하였다[13]. 또 다른 연구에서는 비정기적 운전자를 활용하는 Crowdshipping 방법론을 제시하고, 강화학습이 복잡한 교통 상황과 고객 요청의 불확실성을 효과적으로 처리할 수 있음을 보여주었다[14]. 도시 교통망을 활용한 시뮬레이션 연구에서는 강화학습이 전통적인 휴리스틱 방법보다 우수한 성능을 발휘함을 실험적으로 입증하였다[15].

이처럼 강화학습은 기존의 휴리스틱 방법론보다 더 높은 유연성을 제공하며, 다양한 환경에서 차량 경로 문제를 해결하는 데 중요한 역할을 할 수 있다. 본 논문에서는 강화학습의 장점을 활용하여 자율 주행 배송 로봇의 경로 최적화 문제를 보다 효율적으로 해결하고자 하며, 특히 푸도 존과 MFC라는 새로운 개념을 도입한 주간 및 야간 시나리오를 바탕으로 주택 밀집 지역의 교통지도를 활용한 시뮬레이션을 통해 그 성능을 입증하고자 한다.

3-1 주·야간 로봇 배송시스템 운영 전략

시간적·공간적 요소를 바탕으로 낮과 밤으로 나누어진 운영 구조를 통해 시간대별 배송 수요를 고려하여 최적화된 배송이 가능하도록 주야간 로봇 배송시스템을 설계하였으며, 제안 시스템의 배치는 그림 3과 같다.

Fig. 3.

Daytime & night-time delivery system deployment

3-2 주·야간 로봇 배송시스템 아키텍처

그림 4는 MFC와 배송 로봇을 중심으로 한 배송시스템 아키텍처를 보여준다. MFC는 배송 로봇 운영을 지휘하는 중추적인 관제시스템으로써, 고객의 주문에서부터 최종 배송까지의 모든 과정을 관리한다. 또한, 배송 로봇은 MFC에서 전달된 요청에 따라 실질적인 배송 작업을 수행하며, 배송 중 발생하는 모든 정보를 MFC에 실시간으로 전달하여 긴밀히 연계된 상태를 유지한다.

Fig. 4.

Day-night robot delivery system architecture

3-3 주·야간 로봇 배송시스템 동작 절차

제안 시스템은 주간과 야간 운영에 따라 서로 다른 배송 프로세스를 갖추고 있다. 이를 명확히 설명하기 위해, 주간과 야간의 동작 절차를 별도로 소개한다. 그림 5와 6은 주간배송시스템의 동작 절차를, 그림 7은 무인 배송 로봇이 운영되는 야간 배송시스템의 동작 절차를 3차원 구조의 그래프로 나타내어 설명한다.

1) 주간 시간대 동작 절차

그림 5는 주간 배송시스템에서 마더십의 동작 절차를 시각적으로 나타낸 그래프이다. 이 그래프에서 x축은 주간 배송 시간(Time), y축은 마더십에 적재된 배송 로봇 수(ADR units), z축은 공간(Space)을 의미한다. y축의 배송 로봇 대수는 자동차 회사 벤츠의 마더십 모델을 기준으로, 마더십 1대당 최대 8개의 배송 로봇을 수용할 수 있음을 가정하여 작성되었다.

Fig. 5.

Daytime delivery flowchart: Mothership path

주간 배송 절차에서 마더십은 먼저 MFC로 진입하여 배송 화물과 배송 로봇을 적재한다. 이때 소형 물품들은 각 배송 로봇에 적재되며, 모든 준비가 완료된 마더십은 MFC 인근의 푸도 존으로 이동한다. 푸도 존에 도착한 마더십은 탑재된 모든 배송 로봇을 하차시킨 후, 다른 지역의 MFC로 이동하여 동일한 절차를 반복한다.

이 과정에서 인간 운전자는 배송 로봇이 운송하기 어려운 대형 화물을 직접 배송하거나, 마더십과 로봇의 운영 상태를 점검하여 문제가 발생하지 않도록 확인한다. 마더십이 배송 로봇을 푸도 존에 하차시키는 이유는 푸도 존이 MFC보다 고객의 주거 지역에 더 근접해 있어, 배송 로봇이 효율적으로 배송을 수행하고 충전을 최소화할 수 있기 때문이다.

그림 6은 그림 5에 대응되는 주간 배송시스템에서 배송 로봇의 경로를 나타내며, 그림 5와 달리 y축은 배송 로봇의 물품 적재 용량(Shipped item)을 의미한다.

Fig. 6.

Daytime delivery flowchart: ADR path

배송 로봇은 마더십에 의해 푸도 존에 배치된 직후, 최대 적재 용량만큼의 물품을 적재하고 배송을 시작한다. 이 로봇들은 MFC로부터 전송된 지시에 따라 사전에 계획된 배송지들을 방문한다. 각 로봇의 경로는 MFC에 내장된 경로 최적화 알고리즘에 의해 미리 계산되며, 이는 배송 과정의 효율성을 극대화하고 전체 주행거리 및 배송 시간을 최소화하는 것을 목표로 한다.

배송이 완료된 후, 배송 로봇은 마지막 배송지에서 가장 가까운 푸도 존으로 이동하여 다음 배송을 준비한다. 이때 푸도 존으로의 이동 경로 역시 MFC의 경로 최적화 알고리즘에 따라 결정된다. 푸도 존에 도착한 로봇들은 마더십에 의해 회수되어 새로운 배송 물품을 적재하고, 다음 배송 작업을 위해 출발한다.

주간 시간대의 동작 절차는 마더십과 배송 로봇이 함께 사용되어 상호 협력하는 방식이 두드러지며, 이를 통해 두 요소가 어떻게 효율적으로 협력하는지 알 수 있다. 주간 운행 전략의 핵심은 인간 운전자가 운행하는 마더십을 활용하여 배송 로봇만으로는 처리하기 어려운 대형 화물을 효과적으로 배송하고, 복잡한 주간 교통 상황에서 발생할 수 있는 예기치 못한 상황에 신속하게 대응할 수 있는 유연성을 제공하는 데 있다.

2) 야간 시간대 동작 절차

야간 배송시스템의 동작 절차는 그림 7에 제시되어 있으며, 주간 운영과 달리 인간 운전자의 개입이 없고 마더십과 푸도 존을 사용하지 않는다. 야간에는 교통량이 적어 로봇의 주행이 더 원활하게 이루어지며, 이를 통해 배송 로봇의 독립적인 임무 수행이 가능해진다. 이러한 환경에서 배송 로봇은 주간 시간대보다 안정적으로 운영될 수 있다.

Fig. 7.

Nighttime delivery flowchart: ADR path

야간 시간 동안, MFC에서 출발한 배송 로봇은 MFC로부터 전달받은 배송 지시에 따라 작업을 진행한다. 배송 로봇은 최적화된 경로에 따라 각 배송지를 순차적으로 방문하며 배송을 수행하며 이 과정에서 배송 로봇은 실시간으로 주변 환경을 감지하여 교통 상황이나 도로 상태에 적절히 대응하며 임무를 수행한다.

배송이 완료된 후, 배송 로봇은 MFC로 복귀하여 다음 임무를 준비한다. 복귀 과정에서도 로봇은 불필요한 이동을 최소화하여 에너지를 절약한다. MFC에 도착한 로봇은 다음 배송을 위한 물품 적재와 경로 설정 등의 절차를 거친다.

이처럼 야간 시간대에는 배송 로봇이 모든 작업을 독립적으로 수행함으로써 시스템의 자동화 수준을 높이는 동시에 로봇의 유휴 상태를 줄여 활용도를 극대화할 수 있다. 야간 운영 전략의 핵심은 로봇의 자동화된 기능을 최대한 활용하여, 낮 시간 동안 인간 운전자가 수행해야 했던 작업들을 무인으로 처리하는 데 있다. 이를 통해 야간에도 연속적이고 안정적인 배송 서비스를 제공할 수 있으며, 전반적인 물류 네트워크의 효율성을 향상시킬 수 있다.

3-4 주·야간 로봇 배송시스템 알고리즘

본 연구에서 제안하는 시스템은 심층 강화학습(DRL; Deep Reinforcement Learning)을 기반으로 한 경로 최적화 알고리즘에 의해 구동된다. 경로 최적화 문제를 DRL로 모델링 하기 위해 마르코프 의사 결정 과정(MDP; Markov Decision Process)을 설계하였으며, 표 2는 주요 요소들을 나타낸다.

Table 2.

Markov decision process for modeling vehicle routes

MDP의 주요 요소에는 상태(State), 보상 함수(Reward function), 행동(Action), 전이 함수(Transition function), 할인 인자(Discount factor)가 포함된다.

각 배송 로봇의 현재 위치, 이미 방문했던 노드 및 방문해야 하는 노드에 대한 정보는 상태로 정의되며, 보상함수는 경로의 효율성을 평가하기 위해 목적 함수 점수와 페널티 함수 점수의 차이를 계산한다. 해당 알고리즘에서 보상함수는 배송 성공 시 높은 보상을 부여하며, 물품의 용량이 부족하거나 배터리가 부족할 때 가장 가까운 푸도 존이나 충전소를 방문하는 경우에도 높은 보상이 주어진다. 반면, 가까운 충전소가 아닌 원거리 충전소를 방문했을 경우에는 낮은 보상을 부여하고, 배송 실패 시에는 페널티를 부과하는 방식으로 구성되었다. 행동 요소는 각 로봇이 다음에 방문할 노드를 선택하는 결정을 의미하며, 전이 함수로는 결정론적인 상황이 사용되었다.

DRL 알고리즘의 실행 과정은 그림 8에 따라 진행된다. 첫 단계로, 실제 지도 데이터를 바탕으로 환경 값들을 설정한다. 이후 데이터 전처리와 임의로 설정된 배송 지점, 배터리 충전소의 위치 등을 그래프 형태로 정의한다.

Fig. 8.

Daytime & night-time robot delivery system algorithm flowchart

다음으로, 배송 물품의 무게와 위치 등 관련 정보를 처리한 후, Struct2Vec 알고리즘을 사용하여 그래프를 인코딩(Encoding)하고, LSTM(Long Short-Term Memory)을 적용하여 노드 방문 순서를 시퀀스(Sequence) 형태로 모델링한다. 이후, A2C(Advantage Actor-Critic) 알고리즘을 사용하여 보상을 최대화하는 방향으로 경로를 최적화하며, 이때 포인터 네트워크(Pointer network)가 디코더(Decoder)로서 활용되어 최종 경로를 도출한다.

경로 최적화 과정 중에는 배송 로봇의 적재함 용량을 지속적으로 확인하며, 적재함이 비었을 경우 로봇의 현재 위치에서 가장 가까운 푸도 존을 방문해 새로운 물품을 적재한 후 배송을 수행하도록 설계되었다. 또한, 배터리 상태를 확인하여, 배터리가 부족할 경우 가장 가까운 충전소를 방문하는 경로도 포함된다. 마지막으로, 물품 적재와 배터리 충전이 모두 계획에 반영되었는지를 확인한 후, 모든 경로가 최적화되었다고 판단되면 MFC에서 각 배송 로봇에 최종 경로를 할당하여 배송을 시작한다.

이러한 알고리즘은 강화학습의 학습 과정을 통해 각 배송 로봇이 주어진 임무를 효과적으로 수행할 수 있도록 설계되었으며, 주행거리를 최소화하고 배송 효율성을 극대화하는 방향으로 학습이 이루어진다.

4-1 주·야간 로봇 배송 시뮬레이터 구현

본 연구에서는 주야간 로봇 배송을 위한 경로 최적화 문제를 해결하기 위해 광주광역시 북구 용봉동 지역의 교통망을 바탕으로 강화학습을 적용한 시뮬레이션을 수행하였다. 용봉동은 밀집한 주거 단지와 복잡한 도로망을 가지고 있어서 배송 로봇의 경로 최적화를 검증하기에 적합한 조건을 제공하고, 다양한 경로 설정 시나리오들을 실험할 수 있다.

강화학습 기반 경로 최적화 알고리즘의 성능을 평가하기 위해 OSMnx 라이브러리를 활용하여 OpenStreetMap에서 용봉동의 교통망 데이터를 추출하였다[17],[18]. 데이터 전처리 과정에서는 플로이드 와샬 알고리즘(Floyd-Warshall algorithm)을 적용하여 모든 도로를 양방향으로 설정하였고, 거리 데이터의 결측치는 용봉동 내 노드 간 평균 거리를 계산하여 보완하였다.

이 시뮬레이션에서는 배송과 관련된 다양한 지점들이 노드로 표현된다. 시뮬레이션에서 사용되는 노드에는 MFC와 푸도 존을 비롯하여, 시작 노드, 배송 요청 노드, 배터리 충전소 노드, 최종 목적지 노드 등이 포함된다. MFC와 푸도 존은 고정된 위치에 설정되며, 나머지 노드들은 실험 시에 임의로 선택된다.

Fig. 9.

Transport network in Yongbong-dong, Buk-gu, Gwangju

시뮬레이션에서 노드의 위치는 용봉동 내의 실제 지리적 데이터가 반영되었다. 푸도 노드는 푸도 존이 주로 도심 중심부에 위치한다는 특성에 따라 용봉동 중심부의 노드 중 하나로 설정되었으며 용봉동의 위도, 경도를 고려해 중앙값에 가장 가까운 노드를 선정하였다. MFC 노드는 주유소를 기반으로 설정되었으며, 용봉동 내의 3개의 주유소 중 하나를 선택하였다.

주간에는 푸도 존, 야간에는 MFC에서 시작하여 모든 배송 로봇이 출발하고 최종적으로 복귀하는 지점으로 설정된다.

시뮬레이션에서는 적재 용량 및 배터리 크기에 제한이 있는 배송 로봇을 사용한다고 가정하며, 로봇의 적재 용량과 배터리 용량은 스타십테크놀로지스의 스타십, 어질리티 로보틱스의 디지트 등 여러 상용 로봇들의 사양을 종합적으로 고려해서 각각 15 kg, 4,536,000 J로 설정하였다. 법적 기준을 준수하기 위해 최대 속도는 14 km/h로 제한하였으며, 도보 및 자전거 도로와 횡단보도를 이용할 수 있도록 보행자 수준의 속도인 6 km/h로 설정하였다. 배송 물품은 라스트 마일 딜리버리의 특성을 반영해, 다품종 소형 경량 화물 배송을 가정하였으며, 물품의 무게는 1회 배송당 0.5 kg에서 2.5 kg 사이로 설정하였다.

4-2 성능 분석

이 절에서는 심층 강화학습을 기반 시뮬레이션 결과를 분석하기 위해 액터와 크리틱 네트워크의 손실 그래프를 제시한다. 또한, 학습 결과를 바탕으로 해당 시스템이 주간 및 야간 배송에서 얼마나 효과적인지를 검증하기 위해 배송 로봇 대수별 평균 주행거리 비율 및 배송 요청당 평균 배송 시간을 분석하였다. 이를 통해 주간 및 야간 배송시스템의 성능을 확인하고자 한다. 아래의 그림 10, 11은 배송 로봇 1대와 배송 요청 30개의 실험 환경에서 도출된 에포크 수에 따른 액터 네트워크 및 크리틱 네트워크의 손실 그래프를 나타낸다.

Fig. 10.

Graph of actor loss as epochs increase

Fig. 11.

Graph of critic loss as epochs increase

그림 10의 액터 네트워크 그래프는 정책 손실(Policy loss)을 나타내며, 이는 배송 로봇을 나타내는 에이전트가 학습하는 행동과 관련된 정책이 얼마나 잘 학습되고 있는지를 보여준다. 초기 학습 단계에서 손실이 급격히 감소하는 것을 확인할 수 있으며, 이는 에이전트가 점차 최적의 행동 정책을 학습하고 있음을 나타낸다. 이후 손실은 점차 안정화되며, 낮은 값으로 수렴하고 있음을 알 수 있다.

그림 11의 크리틱 네트워크 그래프는 가치 손실(Critic loss)을 나타내며, 에이전트의 가치 함수가 얼마나 잘 학습되고 있는지를 나타내는 지표이다. 초기에는 높은 손실 값에서 시작하여 학습이 진행됨에 따라 급격히 감소하고, 이후 안정적인 상태에 도달하는 경향을 보인다. 이와 같은 형태는 크리틱 네트워크가 보상을 예측하는 과정에서 점점 더 정확해지고 있음을 의미한다.

이 두 그래프에서 손실 값이 모두 감소하여 0에 수렴하는 모습을 통해 해당 실험 환경에서 강화학습 알고리즘이 성공적으로 학습을 진행하였음을 확인할 수 있다. 본 결과는 주간 및 야간 배송시스템의 효율성을 높이기 위해 강화학습 기반 최적화가 유효함을 나타낸다.

그림 12는 배송 로봇 대수에 따른 평균 주행거리 비율 변화를 나타낸다. 이 그래프는 배송 로봇이 낮 시간대의 푸도 존과 밤 시간대의 MFC에서 출발한 경우 로봇 대수가 증가할수록 각 로봇의 평균 주행거리 비율이 급격히 감소하는 경향을 보여준다. 여기서 평균 주행거리 비율은 기본이 되는 로봇 대수 즉, 1대일 때의 주행거리를 1.0으로 설정하고, 다른 로봇 대수에서의 주행거리와 비교하여 계산된 값이다.

Fig. 12.

Graph of average travel distance ratio by departure point as ADRs increase

푸도 존에서 출발한 경우, 배송 로봇이 1대에서 2대로 증가할 때 평균 주행거리 비율은 1.00에서 0.58로 급락한다. 이는 추가된 로봇이 맡는 작업량을 분담함에 따라, 각 로봇의 평균 주행거리가 크게 줄어들었음을 의미한다. 이러한 감소 추세는 로봇 대수가 늘어날수록 점진적으로 이어지며, 5대의 차량을 운용할 때 평균 주행거리 비율은 0.22에 도달한다. 이 결과는 로봇 대수가 증가함에 따라 평균 주행거리는 감소하지만, 추가적인 로봇 대수를 운용함으로써 발생하는 비용과 효율성 간의 균형을 고려할 필요가 있음을 시사한다.

한편, MFC에서 출발한 경우에도 유사한 패턴이 관찰된다. 1대에서 2대로 증가할 때 평균 주행거리 비율은 1.00에서 0.59로 급격히 감소하며, 5대의 로봇을 운용할 때는 0.23에 도달한다. 푸도 존과 MFC의 데이터가 유사한 경향을 나타내지만, MFC에서 출발하는 경우 약간 더 높은 주행거리 비율을 유지하는 경향이 있다. 이는 MFC의 위치와 배치 전략에 따른 차이로 해석될 수 있다.

따라서 배송 물량과 주행거리 측면에서 최적의 로봇 대수를 결정하는 것이 매우 중요하다. 이번 실험 결과에 따르면 배송 로봇 2대를 운용할 때 평균 주행거리 비율의 감소 폭이 가장 크므로 이 시점에서 가장 합리적인 운용 대수를 결정하는 것이 바람직하다. 이 결과는 로봇을 많이 운용하는 것이 무조건적인 성과 향상으로 이어지지 않으며, 로봇의 구매 및 유지 비용을 고려해 배송 전략을 세우는 것이 필요하다는 것을 보여준다. 또한, 푸도 존과 MFC 간의 주행거리 차이를 고려해 출발 지점의 특성에 맞는 배송 로봇 운용 전략을 수립하는 것도 중요함을 나타낸다.

그림 13은 배송 요청 수에 따른 평균 배송 시간을 보여준다. 이 그래프는 주간에 푸도 존에서 출발하는 경우와 야간에 MFC에서 출발하는 경우를 비교한 결과를 나타낸다.

Fig. 13.

Graph of average delivery time by departure point as delivery requests increase

그래프에서 확인할 수 있듯이 배송 요청 수가 증가함에 따라 평균 배송 시간도 비례하여 증가하는 경향을 보인다. 이는 배송 로봇 수와는 별개로 각 로봇이 처리해야 할 배송 요청이 많아질수록 로봇들이 더 많은 경로를 이동해야 하기 때문에 발생하는 자연스러운 결과이다.

주목할만한 점은 주간 푸도 존에서 출발하는 경우와 야간 MFC에서 출발하는 경우의 평균 배송 시간 차이가 크게 나타나지 않는다는 점이다. 두 시간대 모두 유사한 패턴을 보이며, 요청 수가 10에서 50으로 증가할 때 평균 배송 시간도 비슷한 비율로 증가한다. 이는 주간과 야간의 운영 전략이 모두 효율적으로 작동하고 있음을 시사한다. 또한, 이는 로봇 대수보다는 배송 요청 수가 시스템 성능에 더 큰 영향을 미친다는 점을 의미한다.

특히, 배송 요청 수가 30개 이상일 때부터는 두 곡선이 거의 일치하는 것을 확인할 수 있다. 이는 이 시점부터는 주간과 야간 모두 로봇의 효율이 일정 수준 이상으로 최적화되어 운영되고 있음을 의미한다. 따라서, 배송 요청 수가 적은 경우에는 출발 지점이나 시간대에 따른 차이가 약간 나타날 수 있지만, 요청 수가 많아질수록 이러한 차이는 미미해진다고 해석할 수 있다.

본 결과는 주간과 야간의 다른 환경적 조건에도 불구하고, 강화학습을 통한 경로 최적화가 성공적으로 작동하여 두 시간대 모두에서 유사한 성능을 발휘할 수 있음을 보여준다. 따라서, 제안하는 로봇 배송시스템이 배송 요청의 증가에 따라 효율적인 경로를 제공하는 데 있어서 주간과 야간 모두에서 일관된 성능을 유지할 수 있다는 결론을 도출할 수 있다.