Editor's Note
휴대폰 QR코드를 찍고 들어가 물건을 골라 그냥 나가면 되는 편의점, 가보신 적 있나요? 쇼핑을 마친 뒤 계산대에 줄 서서 결제할 필요 없는 '완전스마트매장'이 지난해 9월 서울 강남구 삼성동 코엑스에 문을 열었습니다. 신세계아이앤씨와 이마트24, 과학기술정보통신부, 한국인터넷진흥원(KISA)가 국내 기술로 함께 마련한 ‘테스트 베드’ 매장입니다.
리테일테크 전문기업 신세계I&C는 “지금까지 연구했던 스마트 매장 관련 모든 기술을 이곳에 쏟아부었다”고 해요. 프로젝트를 담당한 한수웅·조상현 팀장을 직접 만나, ‘한국형 아마존 고(GO)’의 탄생기를 들어봤습니다.
※ 이 기사는 ‘성장의 경험’을 나누는 콘텐트 구독 서비스 ‘폴인(fol:in)’의 “리테일테크, 어디까지 왔나” 3화 중 일부입니다.
신세계I&C 스파로스 한수웅 기획팀장(왼쪽)과 조상현 AI기술팀장이 서울 중구 신세계I&C 본사에서 '완전스마트매장' 프로젝트에 대한 설명하고 있다. ⓒ 최지훈
'결제 없이 바로 나가는' 매장, 어떻게 탄생했을까?
Q. 2021년 9월 한국형 아마존 고(GO)로 불리는 '완전스마트매장'을 선보였습니다.
한수웅(기획팀장) : 이번 프로젝트는 과학기술정보통신부 과제에 참여하면서 시작됐습니다. 요즘 무인매장이 빠르게 늘어나고 있죠. 그런데 뉴스에 나오는 것처럼 매장 관리자가 없는 상황에서 절도나 부당점거, 기물파손 등 보안 문제가 자주 발생하고 있어요.
이대로 가면 문제가 더 심각해질 수 있다고 판단한 정부가 해결책을 찾아 나섰습니다. 무인매장에 보안성을 강화할 수 있는 방법을 모색한 거죠.
이 과제를 수행하려면 보안 전문성뿐만 아니라 보안성을 테스트할 수 있는 환경인 '스마트 매장' 기술을 갖고 있어야 했어요. 저희가 잘할 수 있는 분야라 생각했고, 논의 끝에 이마트24와 함께 참여하게 됐습니다. 회사 내부 연구실에서만 테스트하던 기술을 현장에서 마음껏 펼쳐 볼 좋은 기회였으니까요.
서울 삼성동 코엑스에 문을 연 '완전스마트매장'. QR코드 인증으로 매장에 입장한 뒤 물건을 골라 결제없이 바로 나가면 된다. ⓒ신세계I&C
Q. '저스트 픽앤고' 완전스마트매장은 어떻게 만들어지나요?
조상현(AI기술팀장) : 이 매장에는 ① 컴퓨터 비전 ②센서 퓨전 ③ 인공지능(AI) 분석 기술 ④AI 음성 챗봇 서비스 등 크게 4가지 기술이 활용됐습니다. 이름만 들어서는 어떤 역할을 하는지 잘 모르겠죠? 지금부터 매장 구조를 둘러 보면서 하나씩 설명해 드릴게요.
먼저, 천장부터 보세요. 곳곳에 카메라와 라이다 센서가 달려있습니다. 사실 일반 매장에는 이렇게 많은 카메라가 필요하지는 않아요. 다만, 이곳은 여러 가지 상황을 테스트하는 실증 매장이라서 카메라를 더 많이 설치해뒀습니다.
라이다 센서는 고객이 매장에 입장하는 순간부터 밖으로 나갈 때까지 동선을 추적합니다. 고객이 무슨 제품을 골랐는지, 어디로 이동하는지 지켜보며 분석하고요. 쌓은 기록을 취합해서 고객의 행동을 판별하는 기본 데이터를 만듭니다. 누군지 알아볼 수 없는 비식별 데이터로 처리하기 때문에 개인 정보를 침해할 우려도 없습니다.
라이다 센서가 인식한 매장 내 고객 동선 모습. 고객이 어떤 제품을 고르고 어떤 방향으로 이동하는지 분석한 기록을 취합해, 고객 행동을 판별하는 기본 데이터를 만든다. ⓒ신세계I&C
다음은 선반입니다. 일반 편의점에서도 쉽게 볼 수 있는 모양이죠? 그런데 완전스마트매장에 있는 선반은 무게 변화를 감지할 수 있어요. 말 그대로 '스마트 선반'이죠. 제품이 진열된 상태에서 고객이 물건을 가져간 뒤 달라진 무게를 스스로 인지합니다. 선반에 내장된 무게 센서들이 정보를 종합해서 재고 수량을 카운팅할 수 있는 거죠.
음성 챗봇 서비스도 적용했어요. 관리자가 없는 매장이지만 언제든 고객이 필요할 때 도울 수 있는 환경을 만들고 싶었거든요. 결제 방법을 알려주기도 하고, "마스크 어딨어?" 물어보면 AI 음성 챗봇이 "그 상품은 화면에 표시되는 선반에서 찾을 수 있어요"라고 벽면 DID*에 이미지를 띄우며 안내해 줍니다.
*매장 이용법과 제품 위치 정보를 제공하는 디스플레이(Digital Information Display)
AI 음성챗봇은 고객에게 제품을 안내하고, 매장 내 이상 상황을 감지하면 경고 메시지를 보낸 뒤 관리자를 호출한다. ⓒ신세계I&C
만약 QR코드를 스캔하지 않고 입장하거나 고객이 갑자기 쓰러지는 응급상황에도 대응할 수 있습니다. AI 카메라가 이상 행동들을 감지하면 AI 음성 챗봇이 매장 내 음성을 송출하는 시스템이죠. 안내 메시지를 보낸 뒤 큰 변화가 없으면 관리자를 호출합니다. 위급 상황에는 경찰 신고로 이어지고요.
마지막으로 인공지능(AI) 분석 기능이 매장 전체를 아우르고 있습니다. 앞서 말한 컴퓨터 비전과 센서 퓨전 정보를 모두 종합해서 상황을 파악하고 합리적인 결과를 추론하죠. 저희는 이 기술을 완전스마트매장의 '브레인'이라고 부릅니다. 고객이 입장해서 퇴장하는 동안의 움직임을 관찰, 분석, 판정해서 '결제 없이 바로 나갈 수 있는' 매장을 만드는 핵심 기술이죠.
회사 밖 '완전스마트매장'에서 발견한 2가지 깨달음
Q. 매장 오픈 후 두 달 동안 현장에 24시간 머물렀다고 들었습니다.
한수웅 : 작년 9월 오픈 이후 11월 말까지 매장에 살다시피 했어요. 팀원들과 지박령처럼 꼼짝도 하지 않고 시스템이 잘 적용되는지 숨죽이며 모니터링 했죠. 생각지도 못했던 변수가 계속 발생했으니까요.
조상현 : 조를 짜서 매장을 지키고 서 있던 기억이 납니다. 정말 한시도 자리를 비울 수가 없었어요. 나름 만반의 준비를 거쳐 완전스마트매장을 열었는데도 놓치고 있던 포인트가 정말 많았거든요.
오픈 초기에 아이를 안고 부모가 입장하거나 유아차와 함께 편의점에 들어오는 고객을 보고 크게 당황했던 기억이 납니다. 완전스마트매장에서 제일 중요한 게 매장 내 머무는 인원을 정확히 카운팅하는 일인데요. 유아차를 동반한 고객이 입장했을 때, AI 인식 정확도가 떨어졌어요. 매장 오픈 전, 내부 연구실에서 어른 중심으로 테스트했던 게 문제였죠. 회사에서는 어린아이나 유아차를 볼 수 없으니까 가족 단위 고객까지 생각지 못했거든요.
이렇게 예상치 못한 일이 발생할 때마다 연구실로 뛰어가 해결 방법을 찾아낸 뒤 매장에 적용하고를 수없이 반복했습니다. 두 달 동안은 스마트매장과 회사만 오가며 지냈어요. 정말 힘들었는데요. 그래도 돌이켜보면 저희에게는 꼭 필요했던 시간인 것 같아요.
연구실에서는 절대 볼 수 없는 '진짜 고객'을 경험할 수 있었으니까요.
회사 내부에서 연구했던 기술이 실제 매장에서 어떻게 사용되는지 눈으로 직접 확인할 좋은 기회였죠. 덕분에 완전스마트매장 상용화에 속도를 낼 수 있게 됐다고 생각합니다.
완전스마트매장 내부 곳곳에서 ‘결제 없이 바로 나가면 된다’는 메시지를 발견할 수 있다. ⓒ신세계I&C
Q. 문을 연 지 약 5개월이 지난 요즘은 어떤가요?
한수웅 : 작년 9월 오픈했을 때와 비교하면 매장에서 문제가 발생하는 경우가 10분의 1로 줄었어요. 무척 안정적이죠? 그래도 저희는 계속 고도화시켜 오류 발생 케이스를 지금보다 3~4배가량 더 줄일 계획입니다.
지금까지 약 2만 건의 실증데이터가 쌓였고, 2023년까지 운영하면 대략 15만 건까지 모을 수 있을 것 같아요. 차곡차곡 쌓이는 데이터를 분석해서 매장을 안정적으로 운영할 수 있는 방법을 계속 찾아 나가려 합니다.
조상현 : 한 번은 휠체어를 탄 고객이 방문한 적이 있어요. 사전에 고려하지 못했던 케이스가 또 등장한 거죠. '과연 이 분은 쉽게 매장을 이용할 수 있을까?' 걱정하기 시작했습니다. 그런데 다행히도 그분은 QR코드를 찍고 입장해서 물건을 고른 뒤 매장을 떠났습니다. 아주 자연스럽게요.
이 케이스를 통해 완전스마트매장이 오픈 초기보다 한층 더 안정적으로 운영되고 있다는 것을 알게 됐고요. 다양한 고객이 쉽게 이용할 수 있는 무인매장을 만들어냈다는 것도 깨닫게 됐습니다. '이 일을 하길 잘했다'는 뿌듯함이 크게 밀려오는 순간이었죠.
Q. 완전스마트매장에 사용된 기술을 공개하는 일에 대한 부담은 없었나요?
(후략)
※ 이 기사는 ‘성장의 경험을 나누는 콘텐트 구독 서비스’ 폴인(fol:in)의 “리테일테크, 어디까지 왔나”의 3화 중 일부입니다.
