tkdrnjss tkdrnjss

1. Introduction 최근 다양한 text-to-image 모델들은 고품질의 이미지 생성과 대형 사전학습 모델로 인한 다양한 클래스의 객체들을 원하는 텍스트 프롬프트를 통해 생성해낸다. 하지만, 이러한 대형 생성 모델의 일반화 능력에도 불구하고, 사용자들에게 최적화된 개념을 모델에 통합시키는 것은 도전적인 작업이다. 예를 들어, 사용자들의 가족, 친구, 애완동물과 같은 개인화된 개념들은 모델 학습에 포함되지 않기 때문에, 모델 학습 후 텍스트 프롬프트만으로 이러한 개념을 추론하는 것은 불가능하다. 따라서, 저자들은 개인화된 text-image diffusion model의 fine-tuning 기술인 Custom Diffusion을 제안한다. 개인화 능력을 부여하기 위해, 제안한 모델에서는 모델 ..

Abstract 이 논문은 free-form mask와 guidance로 이미지를 완성하기 위한 Generative image inpainting system을 제시한다. 새로운 시스템은 추가 labeling 필요 없이 수백만 개의 이미지에서 학습된 gated convolutions을 기반으로 이루어진다. 제안된 gated convolution은 모든 layer에 걸쳐 각 spatial location에서 각 channel에 대해 학습 가능한 dynamic feature selection mechanism을 활용한다. 또한, free-form mask는 다양하게 이미지에 나타날 수 있으므로 단일 직사각형 mask를 위해 설계되었던 global, local GAN은 사용되지 않는다. 따라서, dense i..

Abstract Document Binarization은 문서 분석 작업의 핵심 pre-processing 단계이다. 그러나 기존 방법은 주로 vanila convolution의 fair-treatment 특성과 boundary related 정보를 포함하지 않는 stroke edges의 추출로 인해 edge를 미세하게 추출할 수 없다. 본 논문에서는 text 추출을 gating value 학습으로 공식화하고 부정확한 stroke edge extraction 문제를 해결하기 위해 end-to-end gated convolutions-based network(GDB)를 제안한다. Gated convolution은 다른 attention으로 stroke의 feature를 선택적으로 추출하기 위해 적용된다. ..

기존의 딥러닝 방법으로 복원된 이미지는 degradation prior embedding과 모델링 용량의 부족으로 인해 여전히 boundary에 대한 어려움을 겪는다. 이 논문에서는 이를 해결하기 위해 image와 degradation을 모두 통합하는 unified diffusion framework를 제안한다. 먼저, ShadowDiffusion이라는 shadow degradation 모델을 제안한다. 이를 통해 복원을 위한 강력한 baseline 역할이 가능한 degradation prior과 diffusive generative prior를 모두 사용하여 과정을 개선시킬 수 있다. 또한, ShadowDiffusion은 추정된 shadow mask를 diffusion generator에 점진적으로 세..

Abstract 기존 Diffusion model을 통해 이미지 복원 작업을 수행하는 DDRM(Denoising Diffusion Restoration Model)을 제안한다. 이미지 복원 작업을 Linear Inverse Problems으로 정의하고 이를 Diffusion 알고리즘을 통해 해결한다. 역문제로 캐스팅될 수 있다. 이러한 문제를 해결하기 위한 최근의 접근법 제품군은 측정값이 주어진 자연 이미지의 사후 분포에서 표본을 추출하는 확률적 알고리듬을 사용한다. 그러나 효율적인 솔루션은 종종 사후를 모델링하기 위해 문제별 감독 교육이 필요한 반면, 문제별이 아닌 감독되지 않은 방법은 일반적으로 비효율적인 반복 방법에 의존한다. 이 연구는 효율적이고 감독되지 않은 사후 샘플링 방법인 노이즈 제거 확산..

해당 논문은 물리학의 잠재변수 모델의 클래스인 Diffution Probabilistic Model을 활용하여 고품질의 이미지를 생성한 (Denoising Diffusion Probabilistic Models)DDPM을 처음 제안했다. 첫 논문에서도 기존 생성 모델인 GAN과 비슷한 품질을 달성했으며 이후에는 GAN을 압도하는 모델이 되었다. 더보기 물리학에서의 Diffusion : 특정한 물질이 조금씩 번지며 같은 농도로 바뀌는 현상 Diffusion Models DDPM 은 데이터와 일치하는 샘플을 생성하기 위해 variational inference를 통해 학습된 parameterized Markov chain이다. 학습 과정은 아래 그림처럼 샘플링 반대 방향으로 데이터에 가우시안 노이즈를 점진적..

Abstract 이 논문에서는 style transfer를 위한 GAN을 위한 대체 generator architecture를 제안한다. 새로운 아키텍처는 자동으로 학습된 높은 수준의 속성(예: 사람 얼굴에서 훈련될 때 자세 및 정체성)과 생성된 이미지(예: 주근깨, 머리카락)의 확률적 변화를 초래하고, 직관적이고 규모별 합성을 제어할 수 있다. 이를 위해 generator architecture에 적용할 수 있는 두 가지 새롭고 자동화된 방법을 제안한다. 또한, 새롭고 다양한 고품질의 인간 얼굴 데이터 세트를 소개한다. 1. Introduction GAN에 의해 생성된 이미지의 해상도와 품질은 최근 급격한 개선을 보였다. 그러나 generator는 아직도 latent space(잠재 공간)의 특성도 잘..