광주과학기술원(GIST, 총장 김기선) 융합기술학제학부 이규빈 교수 연구팀은 계층적 가림 모델링을 통해 복잡한 로봇 환경에서도 미학습 물체의 가시 영역과 비가시 영역, 가림 여부를 동시에 검출하는 딥러닝 기술 개발에 성공했다.

이번 연구는 미학습 물체 인식 분야에서 세계 최고 수준의 성능을 달성해 삼성휴먼테크논문대상에서 동상을 수상했으며, 논문은 세계 최고 권위의 로봇학회인 로봇자동화학회(ICRA: International Conference on Robotics and Automation) 2022에 발표될 예정이다. 
 

▲ 융합기술학제학부 이규빈 교수 연구팀 (사진출처=GIST)

로봇이 새로운 환경에서 물체를 조작하려면 사전에 학습하지 않은 새로운 물체(Unseen Object)가 주어지더라도 이를 정확히 검출할 필요가 있다. 

이미지로부터 객체별 영역을 검출하는 인스턴스 분할(Instance Segmentation)은 딥러닝 및 로봇 비전의 핵심 연구 분야로 다양한 연구가 제안됐으나, 사전에 학습한 범주의 물체만 인식할 수 있거나 미학습 물체의 가시 영역(Visible Region)만을 검출 가능하다는 한계가 있었다. 

이러한 문제를 해결하기 위해 연구팀은 미학습 물체의 가시 영역 뿐만 아니라 가려진 영역과 가려짐 여부도 동시에 검출하는 것을 목표로 하는 미학습 물체의 아모달 인스턴스 분할(Unseen Object Amodal Instance Segmentation)이라는 새로운 방법을 제안했다. 

 

▲ 본 연구에서 제안하는 미학습 물체의 아모달 이스턴스 분할과 기존 연구와의 비교도 (사진출처=GIST)

또한, 연구팀은 물체 간 가림 관계를 효과적으로 고려하기 위한 계층적 가림 모델링(Hierarchical Occlusion Modeling)을 제안하고, 이를 학습 및 평가하기 위한 새로운 가상 및 실 환경 데이터셋을 공개했다.

연구팀이 제안한 알고리즘은 3개의 데이터셋에서 세계 최고 수준의 성능을 달성해 복잡한 환경에서의 로봇 인식 성능을 크게 높일 수 있음을 확인했다. 또한, 로봇이 가려진 목표 물체를 파지(손에 쥠)하는 데 활용해 실제 로봇의 다양한 작업에 활용될 수 있음을 확인했다. 

 

▲ 제안하는 알고리즘을 활용한 로봇의 가려진 물체 파지 계획 방법 (사진출처=GIST)

이규빈 교수는 “이번 연구를 통해 복잡한 비정형 환경에서 새로운 물체가 주어져도 물체의 보이는 영역 뿐만 아니라 가려진 영역까지 인식 할 수 있음을 확인하였다”며, “미학습 물체 인식은 공장, 가정 등 다양한 환경에 로봇을 적용하기 위한 로봇 분야의 핵심 기술로서 활용될 것으로 기대된다”고 말했다. 

한편, 이번 연구는 산업통상자원부의 로봇산업핵심기술개발사업의 재원 지원과 과학기술정보통신부 및 정보통신산업진흥원의 국가 AI 데이터센터 서비스 및 고성능 컴퓨팅 자원 지원 사업의 컴퓨팅 연산 지원을 받아 수행되었으며, 연구에 사용된 코드와 데이터셋은 오픈소스 저장소에서 다운로드 할 수 있다. 

*오픈소스 저장소 바로가기

글. 김효정 기자 needhj@naver.com | 사진 및 자료출처=공주과학기술원(GIST)