경북대 모바일공학과 학부생 및 인공지능학과 대학원생, 마스크 없이 원하는 객체만 골라 지우는 ‘AI 지우개’ 기술 개발

객체 번호·박스·점 선택만으로 특정 대상 정밀 제거…고품질 생성형과 경량·고속형 이중 파이프라인 제시

경북대학교 모바일공학과 박수민 학부연구생 및 인공지능학과 공무경 박사과정생(지도교수 강재모)이 여러 객체가 포함된 사진에서 사용자가 원하는 대상만 간단하게 선택해 제거할 수 있는 인공지능 기반 이미지 편집 기술을 개발했다. 기존 AI 지우개와 달리 사용자가 제거 영역을 일일이 칠하거나 정교한 마스크를 직접 그릴 필요 없이, 객체 번호나 경계 상자, 점만 지정하면 해당 객체의 탐지부터 배경 복원까지 자동으로 수행하는 것이 특징이다. 연구 결과는 국제학술지 AI에 「Maskless Selective Object Removal via a Dual-Pipeline Framework with SAM–SDXL and LaMa」라는 제목으로 2026년 7월 28일 게재됐다.

같은 종류의 객체가 여러 개 있어도 원하는 대상만 선택적으로 제거

사진 속 불필요한 사람이나 사물을 삭제하는 객체 제거 기술은 사진 보정, 콘텐츠 제작, 개인정보 보호 등 다양한 분야에서 활용되고 있다. 그러나 기존 기술은 사용자가 제거할 대상의 윤곽을 직접 칠하거나 정확한 마스크를 입력해야 하는 경우가 많았다. 특히 사진에 여러 사람이나 같은 종류의 사물이 함께 있을 때 특정 객체 하나만 선택해 제거하려면 상당한 시간과 편집 숙련도가 필요했다.

연구진은 이러한 문제를 해결하기 위해 이미지 내 객체들을 자동 탐지하고 각각에 번호를 부여한 뒤, 사용자가 제거하고 싶은 객체의 번호만 선택하도록 하는 ‘마스크리스 선택적 객체 제거’ 방식을 제안했다. 자동 탐지가 정확하지 않은 경우에는 경계 상자나 점을 이용해 대상을 직접 지정할 수 있으며, 여러 객체를 동시에 선택해 한 번에 제거하는 것도 가능하다. 선택 이후에는 객체 분할 마스크 생성, 마스크 보정, 배경 복원, 색상 보정 및 최종 합성이 자동으로 진행된다.

자연스러운 복원과 빠른 처리를 위한 두 가지 AI 파이프라인 개발

연구진은 사용 환경과 목적에 따라 선택할 수 있도록 두 종류의 상호보완적인 파이프라인을 구현했다.

첫 번째인 YSS 파이프라인은 YOLOv8x를 이용해 객체를 탐지하고, SAM으로 정밀한 객체 마스크를 생성한 뒤, 생성형 AI 모델인 SDXL Inpainting으로 제거된 영역의 배경을 복원한다. 복잡한 실내외 장면이나 주변 문맥을 고려한 생성이 필요한 경우 자연스러운 결과를 제공하는 데 중점을 뒀다.

두 번째인 YML 파이프라인은 YOLO11m-seg와 경량화된 MobileSAM, Big-LaMa를 결합했다. 전체 이미지를 처리하는 대신 선택된 객체 주변의 일부 영역만 잘라 복원하기 때문에 불필요한 연산과 원본 이미지의 변형을 줄일 수 있다. 특히 빠른 처리와 안정적인 객체 제거가 필요한 모바일·CPU 중심 환경을 고려한 경량 구조로 설계됐다. 논문 5쪽의 전체 구조도는 객체 탐지, 마스크 생성 및 보정, 인페인팅, 색상 보정, 합성으로 이어지는 두 파이프라인의 차이를 시각적으로 보여준다.

기존 방식 대비 선택 정확도와 제거 신뢰성 크게 향상

연구진은 다중 객체 장면으로 구성된 GQA-Inpaint 벤치마크에서 사람 객체 120개 표본을 활용해 제안 기술을 평가했다. 사용자가 별도의 마스크를 제공하지 않고 번호나 점만으로 제거 대상을 지정하는 조건에서, 경량 YML 파이프라인은 대상 선택 정확도를 나타내는 Selection-IoU에서 0.626을 기록했다. 이는 비교 대상인 Inpaint-Anything의 0.327보다 크게 향상된 결과다.

제거 후 대상 객체가 얼마나 남아 있는지를 평가한 잔존 객체 점수에서도 YML은 0.228을 기록해 기존 방식의 0.646보다 낮은 수치를 보였다. 점수가 낮을수록 제거가 더 완전하게 수행됐음을 의미한다. YSS 역시 기존 방식보다 높은 선택 정확도를 기록했으며, 주변 배경의 자연스러움을 평가하는 CLIP-IQA에서는 0.521로 가장 우수한 결과를 나타냈다.

처리 속도 측면에서도 YML은 GPU 환경에서 이미지 한 장당 1.31초가 소요돼 약 29.60초가 걸린 YSS보다 월등히 빠른 성능을 보였다. CPU 환경에서는 약 47초의 처리 시간을 기록해 LaMa 기반 기존 방식과 유사한 수준을 유지하면서도, 확산 모델 기반 PowerPaint보다 약 32배 빠른 속도를 달성했다. 이에 따라 YSS는 자연스러운 고품질 복원이 중요한 작업에, YML은 빠른 응답성과 높은 제거 신뢰성이 요구되는 대화형 편집 환경에 적합한 것으로 분석됐다.

사진 편집·개인정보 보호·모바일 콘텐츠 제작 분야 활용 기대

이번 기술은 여행 사진이나 단체 사진 속 불필요한 행인 제거, 시각 콘텐츠 제작 과정의 방해 요소 삭제, 개인정보 보호를 위한 인물 비식별화 등 다양한 분야에 활용될 수 있다. 사용자가 복잡한 마스크를 직접 제작할 필요가 없어 전문 편집자뿐 아니라 일반 사용자도 손쉽게 이용할 수 있다는 점에서 실용성이 높다.

향후 연구진은 사람뿐 아니라 다양한 종류의 객체와 복잡한 배경을 대상으로 기술의 범용성을 검증하고, SAM 2와 광학 흐름, 시간적 마스크 전파 기술 등을 접목해 영상 속 특정 객체를 안정적으로 제거하는 기술로 확장할 계획이다. 이를 통해 모바일 이미지 편집, 영상 콘텐츠 제작, 개인정보 보호 도구 등 실제 서비스 환경에서의 활용 가능성을 더욱 높일 수 있을 것으로 기대된다.

※ 강재모 교수연구실(DeLTA LAB) 홈페이지: https://sites.google.com/view/jmkang (연구원, 대학원생, 학부연구생 상시모집)