농촌 인구 감소 및 고령화, 기후 변화, 식량 위기 등 인류의 생존을 위협하는 문제를 해결할 수 있는 대안으로 스마트팜이 대두되었다. 전통적인 농업이 전적으로 사람의 경험과 노동력에 의존했다면, 스마트팜은 데이터와 첨단기술에 기반한다.
특히 4차 산업혁명의 핵심기술인 인공지능과 농업이 만나면서 스마트팜은 단순히 온도와 습도를 감지하고 농장의 환경을 원격 제어 하는 것을 넘어 인공지능이 스스로 최상의 생육환경을 조성하는 수준으로 진화하고 있다.
우리나라 역시 국내 농업 조건과 현실에 최적화된 기술을 개발해 농업 경쟁력을 강화하기 위한 노력을 지속하고 있는 가운데 한국형 스마트팜 구현을 이끌고 있는 한국생산기술연구원 로봇응용연구부문에 거는 기대가 크다.
연구팀은 토마토 숙도 판별 인공지능과 SLAM 기술을 융합해 작물 숙도와 위치정보가 통합된 3차원 농장 가상화 기술을 개발한 데 이어 현재 이를 기반으로 한 토마토 수확로봇 개발에 한창이다.
토마토 맵 생성 및 3차원 농장 가상화
토마토는 작물 생산, 저장, 유통 과정에서 상품성과 관련이 높은 숙도가 변화되는 작물이다. 따라서 상품성 판단, 품질 유지 및 부패율을 낮추기 위해 숙도 모니터링 기술은 매우 중요하다. 하지만 현장 작업자의 육안으로 숙도를 판별할 때 정확도가 75% 수준에 불과하고 수작업이기 때문에 대량 선별에 부적합하다. 컴퓨터 비전 알고리즘을 활용해 색 분포량 측정을 자동화하는 방법도 정확도가 80% 수준이다.
이에 한국생산기술연구원 융합생산기술연구소 로봇응용연구부문 장인훈 박사 연구팀은 토마토 내 색 분포를 잘 인식할 수 있도록 숙도별 토마토 실물 이미지를 딥러닝 반복 학습한 판별 시스템으로 문제를 해결했다.
“영상 처리에 있어 가장 어려운 부분 중 하나가 조명 처리입니다. 시시각각 변하는 자연광 조건과 빛 반사 조명 조건을 극복하는 것이 관건이죠. 이에 온실 토마토 이미지 획득용 카메라 및 광원시스템을 제작하고, 실제 토마토 농장을 방문해 딥러닝 학습에 필요한 5,000여 장의 토마토 이미지를 확보했습니다.
또한, 이미지에서 토마토만을 추출해 숙도를 인식하는 딥러닝 기술의 하나인 Instance segmentation*을 적용하기 위해서는 데이터 라벨링 및 마스크 파일 생성이 필요한데, 이를 수행하기 위한 라벨링 툴을 자체 제작해 학습 DB를 구축했습니다.”
* Instance segmentation: 인공지능이 인식한 이미지를 객체별로 분류하는 것.
연구팀은 Instance Segmentation 딥러닝 아키텍처와 다중시점(Multiple viewpoints) 인식용 확률 모델 결합을 통해 토마토 탐지 및 숙도 판별 성능을 획기적으로 개선시켰다. 3단계로 숙도 인식이 가능하게 되었고, 정확도는 96% 수준에 이른다.
여기서 한 걸음 더 나아가 개발한 3단계 토마토 숙도 판별 자동화를 위한 딥러닝 기반 영상처리 기술을 로봇 자율주행을 위한 SLAM* 기술과 융합해 작물 숙도와 위치 정보가 통합된 3차원 농장 가상화 기술을 개발했다.
** SLAM(Simulataneous localization and mapping): 카메라와 같은 센서를 이용해 주변의 3차원 공간을 가상공간에 맵핑하고 동시에 3차원 공간 상의 카메라 위치를 추정하는 기술.
즉, 농장을 통째로 3차원 스캐닝해 토마토 하나하나에 ID를 부여하고 숙도를 판정, DB에 저장하는 방식으로 실시간 생육 상태를 모니터링할 수 있다.
연구팀이 개발한 Visul SLAM 플랫폼을 기반으로 토마토 맵을 작성하면, 위치 기반 작물 트래킹 및 생육 모니터링, 숙도별 수확량 예측 및 재고관리, 위치 기반 작업관리 등이 가능하다. 토마토 품종과 품목(딸기, 파프리카, 바나나 등) 확대가 가능하고 수확 자동화 로봇 인식 기술 및 주행 제어에도 적용할 수 있다.
“온실 환경에서 토마토를 탐지하고 숙도를 인식할 수 있는 인공지능 기술과 자율주행 SLAM 기술을 융합한 세계 최초의 기술이라는 점에서 더욱 의미를 가진다고 할 수 있습니다.
이 기술을 이용하면 숙도 몇 단계인 토마토가 어디에 얼마만큼 있는지를 정확히 산출할 수 있는 토마토 맵을 생성할 수 있기 때문에 생산량 품질 증대, 생육 정보 활용, 노동력 절감 효과를 거둘 수 있을 것으로 기대합니다.”
현재 연구팀은 개발한 기술을 활용해 토마토 수확로봇을 개발하고자 로봇핸드를 제작하고, 수확 작업을 학습시키는 데에 집중하고 있다.
아울러 딥러닝 기반 토마토 숙도 자동판별 및 트래킹 기술, 방제로봇 기술, 이송 및 작업자 협업로봇 기술, SLAM 기술과 토마토 인식 기술 융합 토마토 맵 생성 기술, 영농일지 자동생성 및 실시간 작업관리 기술을 연계해 인공지능로봇 기반 농작업 자동화 시스템을 완성하는 데 주력을 기울이고 있으며, 이를 실제 농장에 적용할 경우 노동력을 50% 절감시킬 수 있을 것으로 기대된다.
인공지능 기반 마스크 품질검사 시스템 개발
로봇응용연구부문 장인훈, 고광은 박사 연구팀은 3차원 농장 가상화 기술을 개발한 데 이어 지난해에는 연구팀이 보유한 ‘딥러닝 기반 영상패턴분류 기술’을 활용해 인공지능 품질검사 시스템을 개발하는 성과를 거뒀다.
방역 마스크는 이제 코로나19 시대를 사는 현대인의 필수품이 되었다. 마스크 수급 대란에서 벗어난 이후 소비자들은 깨끗하고 위생적인 환경에서 제조해 안심하고 착용할 수 있는 마스크를 선호하고 있다. 그러나 기존 마스크 품질검수 공정은 주로 근로자의 수작업에 의존했기 때문에 생산성이 낮고 정확하지 않을 뿐 아니라 사람 손과 접촉해 오염될 우려도 있었다.
이러한 문제를 해결하기 위해 마스크 제조 전문기업 KS커뮤니케이션(대표 한균성)이 한국생산기술연구원에 검수 자동화 기술지원을 요청했고, 이에 연구팀이 딥러닝 원천기술을 기반으로 인공지능 품질검사 기술을 지원, 마스크 검수 공정을 자동화하는 데 성공했다.
연구팀은 스스로 학습 가능한 인공지능 알고리즘이 카메라가 인식한 수많은 영상 데이터를 실시간으로 분석해 특정 패턴을 찾고 비슷한 것끼리 분류해내는 딥러닝 기반 영상패턴분류 기술을 적용했다.
불량 마스크의 주요 특징을 프로그램에 직접 입력하는 대신, 충분한 영상 데이터를 제공함으로써 인공지능이 마스크 위치를 추정하고 이어링 부위에 대한 불량 여부를 자체 판단할 수 있도록 학습시켰다. 인공지능은 단 3일의 기간 동안 불량 판단 학습을 마쳤으며, 이후 연구팀은 기존 마스크 생산라인에 쉽게 적용할 수 있도록 AI 알고리즘을 탑재한 통합 품질검사 모듈을 2주에 걸쳐 최종 제작해냈다.
먼저 제조된 마스크가 컨베이어벨트를 타고 품질검사 모듈로 이동하면, RGB 영상 수집·처리 장치가 이를 촬영하고 딥러닝 알고리즘을 통해 마스크 위치 탐지와 불량 여부를 동시에 실시간 식별해낸다. 만약 불량품이 발생한 경우 모듈 내 선별 장치가 이를 별도 수거함으로 내보내 걸러낸다.
시범 테스트 결과, 마스크 검수 정확도는 약 99.7%에 달했으며 마스크 위치 탐지 및 불량 분류까지 걸리는 시간이 제품 1개당 최대 1/15초에 불과해 수작업에 비해 속도도 크게 향상되었다.
이번 통합 모듈 개발의 가장 큰 장점은 마스크 검수·분류 작업의 자동화로 근로자의 손 닿는 횟수를 감소 시켜 오염 우려를 줄이고 더욱 위생적인 제조환경을 조성했다는 점이다. 또한 생산성이 향상되고 오(誤)분류 문제도 줄어들어 업체의 마스크 일일 생산량이 약 40만 장으로 전보다 30% 가량 증가하는 성과도 창출했다.
약 3주 만에 품질검사 시스템을 개발하고, 지난해 9월 기술이전을 완료했으며, KS커뮤니케이션은 경기도 고양시 소재의 공장에 해당 모듈을 도입해 본격적인 마스크 생산에 돌입했다.
장 박사는 “인공지능 기술을 방역 마스크 생산에 적용한 최초의 사례로, 기술이전 기간이 통상 최소 수개월에서 길게는 수년이 소요되는 반면, 코로나19 방역의 중요성을 고려해 신속하게 개발해냈다.”라고 전했으며,
고 박사는 “향후 지속적인 기술협력을 통해 기업이 원하는 다양한 색상과 형태의 마스크를 개발하는 데 도움을 줄 계획”이라고 밝혔다.
한편, 이번 성과는 국가과학기술연구회 ‘BIG ISSUE 사업’* 중 한국생산기술연구원의 생활밀착형 센서를 위한 나노소재·공정기술 개발과제(책임자 최현석 박사)를 통해 도출되었다.
*** BIG ISSUE 사업: 정부출연연구기관의 주요 사업 중 국가 미래 성장을 위한 원천기술 창출 기지 역할을 강화하는 임무 중심형 연구 장기과제 사업.
서비스로봇 개발의 산실 ‘전문서비스로봇응용연구팀’
한국생산기술연구원은 산업계, 그중에서도 특히 중소·중견기업 지원을 위해 설립된 실용화 중심 연구기관으로 로봇 연구개발을 주도하고 있는 곳은 융합생산기술연구소 산하 ‘로봇응용연구부문’이다.
로봇응용연구부문은 2003년 처음 정부에서 로봇산업이 신성장동력으로 선정되면서 허브로봇센터라는 이름으로 창설되었으며, 약 18년의 세월이 흐르는 동안 우리나라 로봇 연구개발의 중심으로 자리매김했다.
그동안 로봇부문 지능형로봇산업을 운영하는 중심 역할을 수행하며 로봇 연구개발 이외에도 R&D 기획 및 수립, 과제 평가, 기반구축 사업 등 전방위적 차원에서 로봇 분야의 발전과 활성화를 위해 기여해 왔다. 지난해 1월 조직개편으로 기존 로봇그룹이 로봇응용연구부문으로 명칭이 바뀌었으며, 현재 73명의 인력이 소속되어 연구개발을 수행 중이다.
로봇응용연구부문의 역할은 중소·중견기업을 위한 로봇 실용화 기술 개발 및 기술이전으로, 인간-로봇 시너지 기술을 활용한 산업연계형 로봇 실용화 기술 개발과 차세대 로봇 기술 개발을 통한 세계 일류 로봇 기술 전문 연구그룹을 달성하는 데 있다.
이를 위해 크게 제조로봇응용연구팀, 전문서비스로봇응용연구팀, 인간지원로봇응용연구팀 등 3개 팀으로 나눠 운영 중이며, 장 박사가 팀장을 맡고 있는 전문서비스로봇응용연구팀에서는 원격실감로봇제어, 의료/재활로봇, 웨어러블로봇, 소프트로봇, 소셜 HRI 등 극한·비정형 환경에서의 전문 서비스 제공을 위한 로봇 솔루션 개발을 주도하고 있다.
“우리 연구팀은 알파고가 세상을 놀라게 한 때보다 1년 반 앞선 시점부터 딥러닝 연구를 시작해 인공지능 관련 경험과 성과가 국내 최고 수준이라고 자부하고 있습니다.
물체의 종류, 위치, 방향, 거리 등을 동시에 인식 가능한 멀티태스크러닝 딥러닝 아키텍처 설계기술을 보유하고 있고, 이를 다양한 객체인식과 로봇제어에 응용 중입니다. 특히 얼굴 방향 및 감정 동시인식, 그리고 이를 이용한 안드로이드로봇 표정생성 기술이 우수특허로 등록되었고, 인간의 행동인식 기술 구현과 함께 서비스로봇 및 소셜로봇 연구로 영역을 확대하고 있습니다.
그리고 원전이나 수중에서 작업하는 원격제어로봇의 조종 편의성을 높이기 위해 극한 작업환경에서의 작업대상물을 자동으로 인식하고, VR 장치로 시각화하는 기술을 구현하기도 했습니다.”
현재 전문서비스로봇응용연구팀에서는 감정, 얼굴방향 동시인식, 감정 기반 소셜로봇 인터랙션, 단위행동기반 행동인식, 설치가 용이한 지능형 다관절 식사 보조로봇, 사용자 의도 파악과 같은 딥러닝 기반 휴먼-로봇 인터랙션 기술을 개발 중이며,
앞서 소개한 인공지능 기술과 로봇기술을 활용한 스마트팜 작업 자동화 기술도 개발하고 있다.
또한 원전 내 시설 유지보수를 위한 원격제어 기술을 개발해 인공지능 기술과 공유 원격제어 기술을 융합, 작업 용이성 및 피로도 감소를 구현하는 데 주력하고 있으며, 필드로봇 분야에서는 재난 상황 및 건설 현장과 같은 비정형 환경에서 중량물을 핸들링하고 고난도 작업수행을 위한 유압 로봇 솔루션을 개발하고 있다.
의료·재활로봇 분야의 경우 의료 시술 훈련용 안드로이드, 착용형 재활로봇으로 상지 재활로봇과 보행 보조로봇, 의료 기계 및 진단 장비, 인공지능 기반 보행 분석 및 보조기기, 움직임 측정 스마트 작업복, 소프트 로봇 센싱 및 액추에이션 개발을 진행 중이다.
“인공지능과 로봇 분야는 최근 전 세계적으로 가장 활발히 연구되고 있는 분야입니다. 정말 많은 기업, 학교, 연구소의 연구자들이 하루가 멀다 하고 새로운 아이디어들을 쏟아내고 있죠. 그렇다 보니 새로운 기술들을 따라가는 것조차 벅차게 느껴질 때도 있습니다.
매일 논문들을 읽으며 우리만의 독창적인 아이디어를 만들어내고 실험하는 데에 많은 시간을 소요해야 하지만 수행하는 과제에서 요구하는 성과를 달성하는 일과 새로운 아이디어를 끌어내는 작업들이 항상 일치하는 것은 아닙니다.
개발 작업을 수행하면서 연구적으로도 앞으로 나아가는 것이 정말 어렵다고 느끼지만, 세계적으로 앞서가고 있는 기술에 뒤떨어지지 않으면서 우리만의 새로운 연구성과를 창출하기 위해 논문이나 이론 관련 세미나를 꾸준히 접하며 깊이 있는 연구를 수행하고자 노력하고 있습니다.”
아울러 장 박사는 향후 스마트팜 환경에서 영상 기반의 인식 및 로봇제어를 위한 인공지능 기술을 충분히 연습하고 실력을 향상시켜 인간 생활공간에서의 서비스로봇에 적용할 수 있는 인공지능 기술로 확대할 계획이라고 밝혔다.
이를 위해 스마트팜이 있는 스마트 빌리지의 실내외에서 운용할 수 있는 서비스로봇과 스마트팜 작업자동화로봇 기술을 개발할 계획이다.
4차 산업혁명의 한가운데에서 인간과 로봇이 안전하게 공존하는 세상, 로봇기술 강국 대한민국을 만들기 위해 연구팀은 오늘도 잰걸음을 내디디고 있다.
<이 기사는 사이언스21 매거진 2021년 4월호에 게재 되었습니다.>
이전기사 :열 분석기(Thermal Analysis System)
다음기사 :에너지 분산형 X선 형광분석기를 이용한 폴리에틸렌의 염소와 RoHS 분석