ComputerVision Jack

Rethinking Channel Dimensions for Efficient Model Design Abstract 경량 모델에 대한 정확성이 Network stage의 piecewise linear function 보이는 channel dimensions에 의해 제한되어 왔다고 주장한다. 따라서 이전 설계 보다 수행 측면이 뛰어난 효과적인 channel dimension 배열에 대해 연구하였다. output feature rank에 대해 단일 layer 설계하는 방향으로 접근한다. 간단하지만 효과적인 channel dimension 배열을 소개하고 이는 Layer Index 관점에서 측정 가능하다. 논문에서 제안한 모델은 channel parameterization 통해 ImageNet Classif..

An Energy and GPU-Computation Efficient Backbone Network fro Real-Time Object Detection Abstract DenseNet은 Dense connection 기반으로 다양한 Receptive field 취합하여 중간 단계의 Feature-map 보존한다. 이를 통해 Object Detection에서 좋은 성능을 보여준다. Feature 재 사용 하는 단점이 있지만 DenseNet Backbone 기반 detector는 낮은 Energy 효율성을 갖는다. 이러한 DenseNet 단점을 극복하기 위해 One-Shot-Aggregation(OSA) 구성된 VoVNet 제안한다. OSA는 DenseNet의 장점인 다층 Receptive field에..

FrostNet: Towards Quantization-Aware Network Architecture Search Abstract Edge-dvice에서 CNNs 동작 시키기 위해 메모리와 연산 자원을 줄이는 용도로 사용되는 INT8 quantization은 기본적인 기술이 되었다. 저자는 새로운 Network Architecture Search(NAS) 통해 full-precision(FLOAT32)와 quantized(INT8) 둘 다 보장하는 Network 발견하였다. quantization aware training(QAT)와 stochastic gradient bossting 가능하게 하는 중요하지만 간단한 최적화 방법을 제안한다. 이를 통해 quantization에 효율적인 Network B..

MicroNet: Towards Image Recognition with Extremely Low FLOPs Abstract 저자들은 MicroNet 매우 낮은 연산을 사용하여 ****효율적인 Convolution Neural Network 제시한다. 저자들은 2가지 원칙에 입각하여 Low Flops 다룬다.(b) 복잡한 Non-linearity Layer마다 사용하여, Network Depth에 대한 보상으로 작동시킨다. (a) Node Connectivity 낮춤으로써, Network의 Width 줄이는 방향을 피한다. 첫 번째로 Micro-Factorized Convolution 제안하여 Pointwise and Depthwise Convolution 연산에 대해 낮은 차원으로 분해하여 Channe..

MnasNet: Platform-Aware Neural Architecture Search for Mobile Abstract Mobile CNNs의 모든 Dimension 설계와 향상을 위한 많은 노력들이 진행되어 왔지만, 많은 Architecture 고려 될 수 있기 때문에 Trade-off 사이의 균형을 맞추긴 어렵다. 해당 논문에서 모델의 Latency에 목적을 맞춘 mobile neural architecture search (MNAS) 접근을 통해 Accuracy와 Latency 간의 좋은 Trade-off 균형을 갖는 모델을 찾는다. 따라서 Network 전반적으로 Layer의 다양성을 장려하는 새로운 Factorized Hierarchical Search Space 제안한다. (= MNas..

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Abstract 논문의 저자는 Model Scaling 방법을 연구하고 Network의 Depth, Width, Resolution 사이의 균형이 더 좋은 성능을 이끈다는 것을 확인한다. 이러한 관점에서 입각하여, 새로운 Scaling Method 제안한다. 간단하지만 효과적인 Compound Coefficient 사용하여 Depth/Width/Resolution의 모든 Dimension 균등하게 확장한다. Neural Network Search (NAS) 사용하고 새로운 Baseline Network 설계한다. 그리고 크기를 확장하여 같은 성질을 갖는 Networks 구축하..

Designing Network Design Spaces Abstract 논문 저자의 목적은 Network Designs에 대한 발전을 돕고 설정을 초월하여 일반화 할 수 있는 Design Principles 만들 수 있게 하는 것이다. 개별적인 Network의 Instance 설계에 집중하는 것 대신에 Network의 Populations 변수화 하여 Network Designs 설계한다. 전체적인 진행 방식은 이전의 Networks 설계와 비슷하지만, 공간적 단계에 대해 쌓아 올리는 방식이 다르다. Network Design 측면의 구조를 탐색하는 방법을 이용하여 간단하게 Low-Dimensional Design에 도달하였다. 이러한 규칙적인 Network에 대해 RegNet 부른다. RegNet의 ..

GhostNet: More Features from Cheep Operations Abstract Convolutional Neural Networks (CNNs) Embedded Device에 배치하는 것은 Limited Memory와 Computation Resource 환경 때문에 어렵다. 논문에서 간단한 연산으로 많은 Feature-map 추출할 수 있는 Ghost Module 제안한다. Intrinstic Feature-map의 집합을 기반으로, 저자는 간단한 연산을 Linear Transformation 연속에 적용하여 많은 Ghost Feature-map 만들어 낸다. 이 Feature-map은 본질적인 특징의 기초가 되는 정보를 드러낼 수 있다. 언급한 Ghost Module은 plug-a..