초해상도 영상복원의 한계를 뛰어넘다
딥 러닝 기반 영상복원 기술 개발한 서울대 이경무 교수
AI, 알파고 등 세상을 떠들썩 하게 한 딥러닝 기술들이 세상에 알려진 지 몇 해가 지난 현재. 또 다시 딥러닝 기술을 활용해 기존의 한계점을 뛰어 넘는 기술이 개발됐다. 바로, 딥러닝 기술을 영상복원 기술에 접목해 기존의 영상 복원 기술을 뛰어넘는 가능성을 제시한 서울대학교 전기정보공학부 이경무 교수의 연구가 그 주인공이다.
딥러닝 기법으로 한계를 뛰어넘는 영상복원 기술 연구 성공
서울대학교 전기정보공학부 이경무 교수는 최근 해상도가 낮은 영상을 선명하게 복원할 수 있는 딥 러닝 기반의 초해상도 영상 복원 기술을 개발했다. 컴퓨터가 데이터와 인공신경망을 이용해 스스로 학습하는 기술인 딥 러닝을 기반으로 영상복원 기술을 개발한 것은 기계나 컴퓨터가 사람의 눈처럼 보면서 인지하고 이해할 수 있게 하는 분석 시스템인 컴퓨터 비전 분야에 크게 기여한 것으로 평가받고 있다.
이러한 딥 러닝 기반의 초해상도 영상복원 기술은 다양한 분야에 활용가치가 있어 오랜 시간 동안 필요성이 제기되어 왔다. 이런 과정에서 이 교수의 기술 개발 소식은 더욱 큰 의미가 있다.
사람이 눈을 통해 사물이나 주변 환경을 인식하듯이 컴퓨터를 이용해 시각정보를 다루는 영상처리 또는 컴퓨터 비전분야는 인공지능에서 가장 중요한 연구분야이다. 최근 딥러닝의 혁신도 컴퓨터 비전 분야에서 먼저 시작되었다.
이 교수는 딥 러닝 기술이 주목받기 전부터 오랜 시간동안 컴퓨터 비전 영상처리와 관련해 연구를 해오면서 이러한 성과를 낼 수 있게 되었다.
이 교수는 “산업체와 연구소 등과 같이 일을 하면서 실제 문제를 다루는 현장에서는 영상의 질을 높이는 문제가 현실적으로 매우 중요하다는 것을 알게 되었다”며 “실제 현장에서 영상의 질을 개선하는 것이 문제를 해결하는 열쇠가 될 수 있다는 생각들을 하며 최근 딥러닝 기법과 함께 영상복원 연구 분야에 대한 관심과 연구력을 집중했다”고 연구 배경을 설명했다.
초해상도 영상복원 문제는 정보가 손실된 저해상도 영상으로부터 원본 고해상도 영상을 소프트웨어적으로 정밀하게 복원하는 것을 목적으로 한다. 예를 들어 과학수사 영상에서 대상물체의 해상도를 높여준다거나 노이즈를 제거해 주면 얼굴인식 또는 차량번호판 인식이 가능해 지는 경우 등이 현장에서 적극 활용될 수 있는데 이 교수의 연구 결과가 이러한 상황에서 영상 복원의 한계점을 뛰어넘게 하는 것이다.
현재 많은 CCTV 카메라들이 VGA급 해상도로 운영되고 있고, HD급이라도 대상이 원거리에 있을 경우 해당영역의 해상도가 낮아서 식별이 안되거나, CT, MRI, X-ray 및 초음파영상 등에서 정밀한 판독 및 진단을 위한 해상도 증대의 요구, 그리고 바이오 영상, 위성 및 항공사진 분석 등 다양한 분야에서 초해상도 영상복원 기술의 중요성이 높은 것이 현실이다.
독창적 아이디어로 초해상도 복원 알고리즘 개발
이 교수는 집중적인 연구를 통해 인공신경망을 이용한 화질개선 알고리즘과 같은 독창적인 아이디어를 이용해 고심층 초해상도 네트워크(VDSR), 심층 반복 복잡계 네트워크(DRCN), 확장심층 초해상도네트워크(EDSR), 다중심층 초해상도네트워크(MDSR) 등 복원 성능이 획기적으로 개선된 딥 러닝 기반 알고리즘을 개발했다.
세계 최초로 20개 층의 매우 깊은 컨볼루션 신경망과 잔류 연결 개념을 사용한 VDSR 시스템을 개발했다. 컨볼루션은 합성곱을 뜻하는데, 신경망의 컨볼루션 층이 깊을수록 입력영상의 넓은 맥락정보를 활용할 수 있기 때문에 더욱 의미 있고 유용한 특징들을 추출해 결과를 향상시킨다.
또 입력 값은 그대로 출력하고, 출력 값과 입력 값의 차이만을 학습하는 잔류 연결이라는 새로운 개념을 사용해 빠른 딥러닝 속도와 안정된 성능을 끌어냈다. 이후 60개 층 이상으로 확장된 EDSR과 MDSR을 통해 성능과 수행속도를 획기적으로 높였다.
이 기술은 저해상도의 사진을 소프트웨어적으로 솔루션을 제공해 해상도를 높일 수 있게 한다. 기존에는 수학적으로 단순하게 모델링을 해서 풀어야 했던 영상복원 문제를 네트워크를 학습시켜 솔루션을 제공할 수 있도록 해 수학적 방법론이 풀기 어려웠던 기존의 한계를 뛰어넘을 수 있게 한 것이다.
또 현재 영상복원 기술만으로는 해결하기 어려운 카메라의 흔들림이나 대상 물체의 움직임에 의한 영상 흔들림 현상을 해결하고 영상을 깨끗하게 복원하는 기술을 개발하는 데에도 사용된다.
이 교수는 이번 기술 개발에 대해 딥 러닝 기술을 통해 기존에 어렵다고 생각했던 영상복원 문제를 해결할 수 있는 가능성을 제시했다고 평가하고 있다.
이 교수는 “기존의 방법은 성능의 개선이 굉장히 미미했다. 수학적으로 복잡한 수식을 써도 그 효과가 미미해 영상복원 기술의 필요성이 더욱 간절한 상황이었다”며 “딥러닝기술을 사용한 기술개발을 통해 기존과는 다른 획기적인 성능 개선을 이룰 수 있었다”고 설명했다.
또 “이러한 기술 개발은 기존의 기술력과 영상복원에 투입되는 비용에 획기적으로 변화를 줄 수 있다”고 덧붙였다.
초해상도 영상복원 기술의 세계적 성과
이 교수의 이번 기술 개발 소식은 국내 뿐 아니라 세계적으로도 화제가 되고 있다. 연구개발 이후 세계 최고의 컴퓨터 비전과 머신러닝 학술대회 등에서 기술력을 입증하고 있는 것이다.
이번 연구를 통해 초해상도 영상복원문제에 대해서 최근 심층 초해상도 네트워크(VDSR) 및 심층반복 복잡계 네트워크(DRCN), 확장 심층 초해상도 네트워크(EDSR), 다중 심층 초해상도 네트워크(MDSR) 등의 일련의 딥 러닝 기반 세계 최고 성능의 알고리즘들을 개발 발표했고 기존 기법에 비해 성능을 획기적으로 높인 것에 대한 반응이 뜨거웠다.
이러한 연구결과는 세계최고의 컴퓨터 비전 및 머신러닝 학술대회인 CVPR2016에 2편이 구두발표되었고, 2017년 전세계 21개 팀이 참가한 NTIRE2017 초해상도 영상복원 챌린지에서 우승하는 등의 성과를 달성해 세계최고의 기술임을 입증하기도 했다.
또 VDSR논문은 국제적으로 초해상도 영상복원 분야의 대표논문으로서 1년 반 가량의 기간 동안 400회 이상 인용되어 CVPR2016 논문 중 가장 인용수가 많은 논문 중의 하나로 영향력이 매우 큰 것을 확인할 수 있게 했다.
영상복원 기술의 무궁무진한 활용 가능성
이번 연구의 활용성은 매우 높다. 영상을 활용하는 매우 다양한 분야에서 이 교수가 개발한 기술이 응용될 수 있는 것이다. 특히 이 교수가 개발한 초해상도 영상복원 기술은 교통, 범죄예방, 과학, 군사, 우주, 방송미디어 등 다양한 분야에서 활용될 것으로 기대되고 있다.
예를 들면 감시카메라 및 블랙박스 영상의 화질 개선 등에 응용되어 범죄나 교통에 큰 도움이 될 수 있다. 또 UHD TV를 위한 고해상도 영상변환으로 고품질의 영상을 즐길 수 있게 하고, 스마트폰의 화질 개선과 반도체 및 부품 결함 검사의 정확성을 높여줄 수도 있다. 또 인간과 밀접한 의료에도 응용되어 의료영상을 개선해 인간의 생명연장에도 도움이 되는 기술로 발전할 수 있다. 더 나아가 자율주행 자동차, 지능로봇, 드론, 군사, 위성영상 분석 등에 핵심적인 기술로 사용될 것으로 예측된다.
이 교수는 “초해상도 기술은 저가 카메라를 사용하는 많은 영역에서 고가의 고해상도 카메라 없이도 저비용으로 영상의 질을 높여야 하는 곳에 모두 사용가능하다”며 “시각정보를 활용하는 많은 분야에서 무궁무진하게 기술이 활용될 수 있다”고 말했다.
딥러닝 기반 세계 최고의 초해상도 알고리즘 개발
이 교수는 이번 기술 개발을 시작으로 딥러닝 기반으로 세계 최고의 초해상도 알고리즘 개발과 실용화를 목표로 하고 있다.
또 학술적으로 딥러닝 기법으로 과연 어느 정도까지 초해상도 화질 개선을 얻을 수 있는 지에 대한 것과 그 이유, 또한 그 한계는 무엇인가를 분석하는 것 또한 목표이다.
이번 연구를 통해 그 동안 어렵게 여겨지던 초해상도 문제에 대하여 딥러닝을 이용한 획기적인 성과를 이뤘고 이를 기반으로 다양한 영상복원 문제의 해결 가능성을 확인한 만큼 앞으로는 노이즈를 해결하는 문제 등 난제들을 하나하나 풀어나가는 데 목표를 두고 있다.
이 교수는 “현재 연구실에서는 컴퓨터비전의 중요한 문제들을 다 다루고 있다. 영상복원 관점에서는 블러링, 노이즈 개선 등의 문제를 동시에 해결하는 것이 목표이다”라며 “궁극적으로는 앞으로 어떤 영상이 들어오더라도 스스로 깨끗하게 만들어주는 인공지능 시스템을 만드는 것이 목표다”라고 밝혔다.
영상복원 기술 개발 외에도 최근 딥러닝 관련 이슈 중 실제와 같은 영상을 생성해 내는 생성 모델, 인간의 도움 없이 기계가 스스로 학습하는 자기지도학습과 메타학습 등에 관심을 갖고 있다.
연구의 성공 포인트는 ‘창의성’
영상복원 기술에 새로운 가능성을 제시한 이번 연구 결과의 비결에 대해 이 교수는 창의성이 가장 중요한 요소 였다고 말한다.
인공지능 분야 연구는 타 분야보다 더욱 창의성이 요구되는데, 이 교수 스스로도 연구를 하면서 창의성을 가장 중요하게 생각하고, 함께 연구하는 연구실 학생들도 재미있게 연구하면서 창의성을 발휘할 수 있도록 노력하고 있다.
이 교수는 “연구 성공의 중요한 요소는 창의성이다. 창의성은 결국 자기가 그 문제에 대해 무한한 애착을 가지고 있고, 열정이 있어야 나올 수 있다”며 “연구실 학생들도 기본적으로 흥미를 가지고 자유로운 생각들을 소통하면서 연구를 하다 보니 빠르게 훌륭한 연구결과들이 나오기 시작했다”고 말했다.
이 교수는 국내 뿐 아니라 세계에서 주목받고 있는 초해상도 영상복원 기술 개발에 대해 딥러닝 기술을 접목해 영상복원 기술의 한계점을 뛰어넘는 가능성을 본 시작단계라고 말한다.
이번 초해상도 영상복원 기술 개발이 마침표가 아니라 중요한 터닝 포인트를 본 것이라는 평가다. 또 기존의 많은 연구자들에게 영감을 준 가능성을 확인한 모멘텀이라고 평가되기도 한다. 이번 연구 결과는 이 교수의 궁극적인 연구 목표인 ‘인간을 위한 인공지능 개발’에 작지만 큰 부분이 되어 현재 인류가 당면하고 있는 수많은 난제를 해결할 수 있는 열쇠가 될 것으로 기대된다.
<이 기사는 사이언스21 매거진 2018년 5월호에 게재 되었습니다.>
이전기사 :반도체·분체·환경 분야 분석기기 전문기업 ㈜한국에이티아이 홍기우 대표
다음기사 :40여년 연구개발로 이룬 국산 멸균기 선도 기업 ‘한신메디칼’