ComputerVision Jack

Gradient Descent x_data y_data 1 2 2 4 3 6 이번 강의에선 저번 시간의 예제를 사용하여 Gradient Descent 알고리즘에 대해 설명해 주셨습니다. 위의 예제는 간단한 예제로, 우리는 y = x * w 식에 대해 w를 쉽게 추론할 수 있었습니다. 하지만 이번엔 w에 대해 비용그래프의 기울기를 감소시키는 방향으로 정의내리려고 합니다. 저번 시간의 예제에 해당하는 손실함수 그래프 입니다. 그래프에서 알 수 있듯 w가 2.0값이 되는 부분에서 손실(비용)이 최소 값을 갖습니다. 이제 이 그래프에 대해 경사 하강법 알고리즘을 적용해 보겠습니다. 예를 들어 w가 2가 아닌 4라고 생각해본다면 비용은 최소값이 아닌 어떤 특정한 값을 갖게 됩니다. 특정한 값을 갖게 된다면 2차함..

김성훈 교수님의 모두의 딥러닝 수업에 이어 PyTorch ZeroToAll (in English) 강의를 듣고 스스로 정리해보는 시간을 가져보려고 합니다. 영문 버전이지만 교수님께서 쉽운 영어로 편안하게 가르쳐 주셨습니다. 강의 링크 www.youtube.com/playlist?list=PLlMkM4tgfjnJ3I-dbhO9JTw7gNty6o_2m PyTorchZeroToAll (in English) Basic ML/DL lectures using PyTorch in English. www.youtube.com Lecture 01 은 기본적인 딥러닝에 관한 개요를 설명해주시는 부분이기 때문에 강의를 듣고 따로 정리하진 않았습니다. 강의 정리는 Lecture02 : Linear Model 부터 정리를 시작..

뉴럴 네트워크에서 비판할 점은(MLP 에서) 알고리즘에서 무엇을 학습하는지 알기 힘들다는 점이다. 뉴런들의 활성화와 가중치들을 살펴 볼 수 있지만, 이들은 많은 정보를 말해 주지는 않는다. ( 흔히 블랙박스라고한다.) 따라서 해석하기 힘든 가중치 대신 통계학을 바탕으로 학습된 확률들을 살펴보고 해석한다. 1. 가우시안 혼합 모델 같은 데이터에서 목표 라벨들이 존재하지 않는 비지도학습이라고 가정했을 때, 다른 클래스에 속하는 데이터들이 각각 가우시안 분포에서 생성된다고 가정한다. 각각의 다른 클래스에 대해서 하나씩의 모드(Mode)가 존재하므로 다중 최빈값 데이터(multi-modal data)라고 부른다. 데이터 전체에 얼마나 많은 클래스들이 존재하는지 알 수 있다면 많은 가우시안 파라미터들을 추측할 수..

2차원 데이터에 관해서 이해하고 분석하는 것은 쉽지만 3차원 이상 데이터에 대해서는 관찰하고 그래프로 표현하는 것이 어렵다. 또한 차원이 높아질 수록 더 많은 트레이닝 데이터가 필요하다. 이렇게 높은 차원의 데이터는 많은 알고리즘의 계산비용을 높이는 뚜렷한 요인이 되므로 차원을 줄이는 일이 매우 중요하다. (feature을 줄이면 성능이 올라간다.) 차원을 줄이면 발생하는 이익 차원을 줄이는 일은 데이터의 노이즈를 업애주며, 학습 알고리즘 결과를 더 좋게 만들어주고, 데이터 세트를 다루기 쉽게 만들고, 결과를 이해하기 쉽게 만들어 준다. 차원 축소 방법 피처 선택(feature selection) : 사용할 수 있는 피처들을 살펴보고, 유용한 출력 변수와 상관관계를 살펴본다. 피처 유도(feature d..

멀티 퍼셉트론에서는 입력 갑과 가중치들의 곱이 뉴런의 활성화를 결정하는 임계 값 보다 높은지 낮은지에 따라서 은닉노드 활성화를 결정한다. 즉, 입력 값이 비슷하다면 비슷한 반응이 나타나기 때문에 같은 뉴런이 반응을 나타낸다. 1.수용 영역 수용영역(receptive field) 노드들이 입력과 어느 정도 가깝다면 활성화 해야한다는 아이디어 뉴런의 활성화를 계산하는 가중치 공간(Weight Space)의 개념을 사용하여 입력 값들을 추상적으로 같은 차원의 그래프에 표현하고, 입력과 가까운 뉴런일수록 더 활성화하는게 좋은 방법 이 방법에 대해 근거를 수용영역을 통해서 알 수 있다. 뉴런의 수용영역이 입력 값이 가깝다면 강력하게 멀어질수록 약해지다가 아주 멀어지면 사라지도록 가우시안을 이용해서 모델을 만들 수..

1. 다층 퍼셉트론 다층 퍼셉트론 다층 퍼셉트론(MLP : Multi-layer Perceptron) 가장 보편적으로 사용되는 뉴럴 네트워크. 이를 사용할 때 작동 원리를 이해하지 못하고 블랙박스(black box)로 취급되며, 이는 수행에 문제점을 내포한다. 뉴럴 네트워크는 가중치를 통해서 학습한다. 이에 대해 더 많은 계산을 수행하려면 가중치를 추가하면 된다. 가중치 추가 방법 출력 뉴런들이 다시 입력으로 들어가도록 반대 방향으로 연결되는 가중치 추가 (순환망 - Recurrent Networks) 더 많은 뉴런을 추가한다. 목표 값을 도출해낼 수 있는 가중치를 찾도록 네트워크를 수정하려면 퍼셉트론에 사용했던 출력 값의 에러(오차) 계산법을 생각해 볼 수 있다. 은닉층(hidden layer) 하지만..

1. 뇌와 뉴런 뉴런(Neuron) 1차원 처리 단위의 신경 세포 뇌의 유체에서 화학적 전달자 역할을 하거나 뉴런 내부의 전위를 높이거나 낮추는 역할을 한다. 막 전위치(membrane ptential)가 임계점에 이르면 뉴런은 활성화하게 되고, 축색돌기(axon)로 고정된 강도와 기간의 신호(pulse)를 보낸다. 축색돌기는 다른 뉴런들과 연결되어 있으며 시냅스(synapse)를 통해 다른 뉴런과 연결된다. 불응기(regractory period) 뉴런이 임계점을 넘어 신호를 보내고, 작동 전에 에너지 충전을 위해 기다리는 시기 가소성(plasticity) 뇌에서 학습이 일어나는지 살펴보는 방법 뉴런들을 연결하는 시냅스의 연결 강도를 조절하고, 새로운 연결을 만드는 뇌의 능력 헵의 법칙(Hebb's R..

1.용어 설명 입력 값(inputs) 과 입력 벡터(input vector) 입력 값은 알고리즘에 입력되는 데이터이다. 입력 벡터는 실수로 되어 있고, 연속된 번호들의 벡터로 되어 있다. 벡터의 크기는 요소들의 개수를 뜻하며, 입력 값의 차원(dimentionality)이다. 출력 값(outputs) 입력 값을 토대로 머신러닝 모델에 의해 출력되는 값이다. 머신러닝 알고리즘은 입력값의 집합을 통해 출력 값을 반환하는 과정을 반복한다. 입력(Inputs) : 입력 벡터는 알고리즘에 입력으로 주어진 데이터를 나타낸다. 가중치(weight) : 노드 i와 j를 연결하는 가중치는 Wij로 표현하며, 뉴럴 네트워크에서는 뇌의 시넵스를 표현한다. 출력(Outputs) : 출력 벡터 y는 j값이 1에서 벡터의 차원인..