tkdrnjss tkdrnjss

Abstract Generative Adversarial Nets의 조건을 추가한 conditional 버전을 소개한다. 기존 GAN은 데이터 분포를 학습하기 때문에 원하는 조건의 데이터를 생성할 수 없다. 이 논문에서는 기존 GAN에 라벨링(추가 정보)를 함께 넣어 우리가 원하는대로 제어할 수 있는 모델을 설명한다. Generator와 Discriminator에 조건을 추가하여 이 모델이 클래스 레이블에 조건을 부여한 MNIST 숫자를 생성해내는 것을 보여준다. 또한 이 모델을 이용하여 multi-modal model을 학습하는 방법을 설명한다. 또한, 이를 통한 descriptive tags를 생성하는 방법을 보여주는 이미지 태깅에 대한 예시를 보여준다. 1. Introduction 간단히 GAN의 ..

Abstract 이전의 텍스트 문서 이미지에서의 그림자 제거 방법들은 주로 약한 그림자 제거 문제에 초점을 둔다. 또한, 그림자의 경계를 제거하는데 완벽하지 못하다. 이러한 문제를 해결하기 위해 이 논문에서는 Background color estimation과 Shading scale을 사용한다. 먼저, Background color estimation은 주변 픽셀의 전파를 통한 여러 반복에 의해 설계된다. 다음으로, umbra(본영)와 penumbra(음영)는 연산에 의해 분리되고 분할-정복 strategy에 의해 처리된다. Umbra의 경우 그림자가 없는 결과를 얻기 위해 Shading scale이 사용되며, Penumbra의 경우 background replace strategy는 그림자 영역을 제..

R-CNN 계열 구조 비교 이전의 R-CNN 모델은 selective search를 통한 2000여 장의 region proposals을 CNN 모델에 넣어 학습시켜 연산량이 매우 많다. 이후 Fast R-CNN에서는 이 부분을 개선시켜 한 장의 이미지를 입력으로 받아 CNN 모델 이후 feature map에 selective search를 적용하고 분류를 위한 fc layer에서 ROI Pooling을 통해 개선했다. 하지만 이전과 마찬가지로 selective search 방법을 사용해 CNN과 별개로 수행된다. 이를 RPN과 Fast R-CNN을 결합한 Faster R-CNN을 통해 개선한다. Faster R-CNN: Towards Real-time Object Detection with Region..

# CAM 기존의 CNN 모델은 이미지 내 feature를 통해 classfication을 수행한다. 하지만, CAM을 통해 출력의 결과를 시각화하여 실제 모델이 각 클래스 별로 이미지의 어떤 부분을 보고 classification을 수행했는지 알 수 있다. 이를 Class Activation Map, CAM 이라고 한다. 그림처럼 input의 어느 부분을 통해 분류를 했는지 파악할 수 있다. CAM을 사용하면 주어진 이미지에서 예측된 class score를 시각화하여 CNN이 탐지한 객체를 확인할 수 있다. # Model 기존의 CNN 과정에서 input의 위치 정보를 convolution 과정에서 활용하지만 fully-connected layer를 지나면서 결국 flatten 과정을 거치게 된다. 따..

Abstract adversarial process를 통해 두 가지 모델을 동시에 학습하는 generative model을 추정하는 프레임워크 제안 generator G : 입력 정보를 바탕으로 가상의 결과물을 만들어내는 모델 discriminator D : G가 아닌 훈련 데이터에서 샘플이 나왔을 확률을 추정하는 모델 모델 G의 훈련 과정은 D가 실수할 확률을 최대화한다. 이 프레임워크는 minmax two-player game이라고 볼 수 있다. 임의의 G, D에 의한 함수 공간에서 G는 훈련 데이터의 분포를 학습하여, 임의의 노이즈를 입력 받아 훈련 데이터와 같은 분포로 생성하고, D는 해당 인풋이 생성된 이미지인지 훈련 데이터로부터 나온 이미지인지에 대한 확률이 1/2(구분할 수 없게 되는 확률)..

# SOM 저차원 격자에 고차원 데이터의 각 개체들이 대응하도록 군집을 도출해내는 기법. 저차원 격제에서의 개체간 유사도는 고차원 입력 공간에서의 유사도를 최대한 보존하도록 학습된다. 즉, 차원축소와 군집화 동시 수행 기법. # 아키텍처 개요 SOM은 기본적으로 입력층과 경쟁층, 두 개의 층으로 구성된다. 초록색 노드는 n차원 입력벡터(xi), 주황색 노드(Wj)는 2차원 격자를 의미한다. 저차원 격자 하나에는 위치적인 유사도를 고려해 여러 개의 입력 벡터들이 속할 수 있다. 먼저 n차원의 입력벡터가 들어오면 가장 가까운 격자벡터 W_jn(Winning node)을 찾는다. 이 벡터에 대응되는 2차원 격자에 입력벡터를 할당하여 군집화를 수행한다. 각 격자에 할당되더라도 아래 그림처럼 입력벡터와 winni..

1. Introduction classification을 위한 이전의 방법들(DCNN, sliding window를 사용한 IDSIA network)은 여러 문제가 있다. 이전에 검증한 부분을 다음 과정에서 다시 검증하는 중복이 많아 training 속도가 매우 느리다. localization과 context 사이가 trade off 관계이다. U-Net은 적은 데이터를 가지고 정확한 biomedical segmentation을 목적으로 제안된 End-to-End 방식의 Fully-Convolutional Network 기반의 모델이다. 네트워크 구조가 U자 형태이며 이미지의 전반적인 컨텍스트 정보를 얻기 위한 네트워크와 정확한 localization을 위한 네트워크가 대칭 형태로 구성되어 있다. U-N..

Abstract 이전 Object detection은 여러 개의 low-level image feature를 high-level context와 결합하는 앙상블 시스템이다. 이 논문에서 제안하는 알고리즘의 두 가지 핵심은 다음과 같다. 객체의 localization과 segmentation을 위해 high-capacity region proposal CNN을 적용한다. label이 지정된 훈련 데이터가 부족할때 보조 작업에 대한 supervised pre-training과 domain-specific fine-tuning로 성능 향상 Region proposal과 CNN을 결합하기 때문에 R-CNN이라고 부른다. 1. Introduction Detection은 많은 객체들을 localize 해야 한다. ..