tkdrnjss tkdrnjss

Abstract Structural Pruning이란 구조적으로 그룹화된 파라미터를 제거함으로써 모델 가속화를 가능하게 한다. 하지만 파라미터 그룹화 패턴은 모델마다 크게 다르기 때문에 높은 중요도의 파라미터를 결합하기 위한 정해진 그룹화 체계는 일반화되기 힘들다. 해당 연구에서는 이러한 한계를 극복하기 위해 layer 간의 종속성을 모델링한다. 또한, pruning을 위해 결합된 파라미터를 그룹화 작업을 일반적이고 자동화시킨 Dependency Graph(DepGraph)를 제안한다.  1. introduction 핵심 제안 접근 방식의 핵심 : 네트워크 내의 의존성을 모델링하는 dependency graph를 추정하는 것 - 서로 다른 layer에 걸쳐 dependency를 추적하기 위해 depend..

Abstract CNN(Convolutional Neural Networks)의 기본 구성 요소인 conv layer는 local pattern에 좋은 성능을 보이지만 특성 상 global context를 모델링하는 능력이 떨어진다. 이를 해결하기 위해 최근 연구가 다양하게 수행되고 있지만 대부분 global context 정보는 conv layer에 들어가기 전에 local feature에 통합되는 방법을 주로 사용한다. 그러나, perceptual task를 위해서는 context에 따라 동적으로(dynamically) feature를 수정하는 신경망이 반드시 필요하다. 따라서, 이 논문에서는 global context에 따라 conv layer의 weight를 적응적으로 업데이트 하기 위한 Cont..

Abstract 이전의 신경망들은 층이 깊어질수록 훈련하기가 어렵다. 이 논문에서는 이전의 네트워크보다 매우 심층적인 네트워크의 훈련을 원활히 하기 위한 Residual Learning framework를 제안한다. 참조되지 않은 새로운 함수를 적용하는 대신에 residual function을 학습하는 것으로 layer를 재구성한다. 이 방법을 통해 residual network가 최적화하기 더 쉽고 상당히 깊은 네트워크에서 높은 정확도를 보여준다. 결과적으로 152개의 layer를 통해 VGG net보다 좋은 성능을 내고, 이 논문에서는 100개와 1000개의 layer를 통해 CIFAR-10 데이터에 대한 분석을 제시한다. 1. Introduction 이전의 많은 논문들을 통해 CNN은 이미지 분류에..

# SOM 저차원 격자에 고차원 데이터의 각 개체들이 대응하도록 군집을 도출해내는 기법. 저차원 격제에서의 개체간 유사도는 고차원 입력 공간에서의 유사도를 최대한 보존하도록 학습된다. 즉, 차원축소와 군집화 동시 수행 기법. # 아키텍처 개요 SOM은 기본적으로 입력층과 경쟁층, 두 개의 층으로 구성된다. 초록색 노드는 n차원 입력벡터(xi), 주황색 노드(Wj)는 2차원 격자를 의미한다. 저차원 격자 하나에는 위치적인 유사도를 고려해 여러 개의 입력 벡터들이 속할 수 있다. 먼저 n차원의 입력벡터가 들어오면 가장 가까운 격자벡터 W_jn(Winning node)을 찾는다. 이 벡터에 대응되는 2차원 격자에 입력벡터를 할당하여 군집화를 수행한다. 각 격자에 할당되더라도 아래 그림처럼 입력벡터와 winni..