tkdrnjss tkdrnjss

Abstract Structural Pruning이란 구조적으로 그룹화된 파라미터를 제거함으로써 모델 가속화를 가능하게 한다. 하지만 파라미터 그룹화 패턴은 모델마다 크게 다르기 때문에 높은 중요도의 파라미터를 결합하기 위한 정해진 그룹화 체계는 일반화되기 힘들다. 해당 연구에서는 이러한 한계를 극복하기 위해 layer 간의 종속성을 모델링한다. 또한, pruning을 위해 결합된 파라미터를 그룹화 작업을 일반적이고 자동화시킨 Dependency Graph(DepGraph)를 제안한다.  1. introduction 핵심 제안 접근 방식의 핵심 : 네트워크 내의 의존성을 모델링하는 dependency graph를 추정하는 것 - 서로 다른 layer에 걸쳐 dependency를 추적하기 위해 depend..

1. Introduction 최근 다양한 text-to-image 모델들은 고품질의 이미지 생성과 대형 사전학습 모델로 인한 다양한 클래스의 객체들을 원하는 텍스트 프롬프트를 통해 생성해낸다. 하지만, 이러한 대형 생성 모델의 일반화 능력에도 불구하고, 사용자들에게 최적화된 개념을 모델에 통합시키는 것은 도전적인 작업이다. 예를 들어, 사용자들의 가족, 친구, 애완동물과 같은 개인화된 개념들은 모델 학습에 포함되지 않기 때문에, 모델 학습 후 텍스트 프롬프트만으로 이러한 개념을 추론하는 것은 불가능하다. 따라서, 저자들은 개인화된 text-image diffusion model의 fine-tuning 기술인 Custom Diffusion을 제안한다. 개인화 능력을 부여하기 위해, 제안한 모델에서는 모델 ..

Abstract 높은 성능의 Object Detection 모델이 제안되고 있는 최근, 멀리 떨어진 작은 객체를 감지하는 것은 주요 challenge 중 하나이다. 작은 객체는 적은 수의 픽셀로 표현되고 충분한 세부 정보를 얻기 어렵기 때문에 기존 탐지 모델로는 높은 성능을 보이기 어렵다. 기존 모델들로 작은 객체 탐지가 어려운 이유에는 CNN 자체의 제한적인 Receptive field, 학습된 객체의 다양한 스케일 변화, 대형 벤치마크 데이터셋의 객체 스케일의 편향 등이 있다. 본 연구는 이러한 작은 객체 탐지를 위해 Slicing Aided Inference와 fine-tuning pipeline을 결합한 SAHI (Slicing Aided Hyper Inference)라는 오픈소스 프레임워크를 제..

Abstract CNN(Convolutional Neural Networks)의 기본 구성 요소인 conv layer는 local pattern에 좋은 성능을 보이지만 특성 상 global context를 모델링하는 능력이 떨어진다. 이를 해결하기 위해 최근 연구가 다양하게 수행되고 있지만 대부분 global context 정보는 conv layer에 들어가기 전에 local feature에 통합되는 방법을 주로 사용한다. 그러나, perceptual task를 위해서는 context에 따라 동적으로(dynamically) feature를 수정하는 신경망이 반드시 필요하다. 따라서, 이 논문에서는 global context에 따라 conv layer의 weight를 적응적으로 업데이트 하기 위한 Cont..

Abstract 이 논문은 free-form mask와 guidance로 이미지를 완성하기 위한 Generative image inpainting system을 제시한다. 새로운 시스템은 추가 labeling 필요 없이 수백만 개의 이미지에서 학습된 gated convolutions을 기반으로 이루어진다. 제안된 gated convolution은 모든 layer에 걸쳐 각 spatial location에서 각 channel에 대해 학습 가능한 dynamic feature selection mechanism을 활용한다. 또한, free-form mask는 다양하게 이미지에 나타날 수 있으므로 단일 직사각형 mask를 위해 설계되었던 global, local GAN은 사용되지 않는다. 따라서, dense i..

Abstract Document Binarization은 문서 분석 작업의 핵심 pre-processing 단계이다. 그러나 기존 방법은 주로 vanila convolution의 fair-treatment 특성과 boundary related 정보를 포함하지 않는 stroke edges의 추출로 인해 edge를 미세하게 추출할 수 없다. 본 논문에서는 text 추출을 gating value 학습으로 공식화하고 부정확한 stroke edge extraction 문제를 해결하기 위해 end-to-end gated convolutions-based network(GDB)를 제안한다. Gated convolution은 다른 attention으로 stroke의 feature를 선택적으로 추출하기 위해 적용된다. ..

기존의 딥러닝 방법으로 복원된 이미지는 degradation prior embedding과 모델링 용량의 부족으로 인해 여전히 boundary에 대한 어려움을 겪는다. 이 논문에서는 이를 해결하기 위해 image와 degradation을 모두 통합하는 unified diffusion framework를 제안한다. 먼저, ShadowDiffusion이라는 shadow degradation 모델을 제안한다. 이를 통해 복원을 위한 강력한 baseline 역할이 가능한 degradation prior과 diffusive generative prior를 모두 사용하여 과정을 개선시킬 수 있다. 또한, ShadowDiffusion은 추정된 shadow mask를 diffusion generator에 점진적으로 세..