ComputerVision Jack

뉴럴 네트워크에서 비판할 점은(MLP 에서) 알고리즘에서 무엇을 학습하는지 알기 힘들다는 점이다. 뉴런들의 활성화와 가중치들을 살펴 볼 수 있지만, 이들은 많은 정보를 말해 주지는 않는다. ( 흔히 블랙박스라고한다.) 따라서 해석하기 힘든 가중치 대신 통계학을 바탕으로 학습된 확률들을 살펴보고 해석한다. 1. 가우시안 혼합 모델 같은 데이터에서 목표 라벨들이 존재하지 않는 비지도학습이라고 가정했을 때, 다른 클래스에 속하는 데이터들이 각각 가우시안 분포에서 생성된다고 가정한다. 각각의 다른 클래스에 대해서 하나씩의 모드(Mode)가 존재하므로 다중 최빈값 데이터(multi-modal data)라고 부른다. 데이터 전체에 얼마나 많은 클래스들이 존재하는지 알 수 있다면 많은 가우시안 파라미터들을 추측할 수..

2차원 데이터에 관해서 이해하고 분석하는 것은 쉽지만 3차원 이상 데이터에 대해서는 관찰하고 그래프로 표현하는 것이 어렵다. 또한 차원이 높아질 수록 더 많은 트레이닝 데이터가 필요하다. 이렇게 높은 차원의 데이터는 많은 알고리즘의 계산비용을 높이는 뚜렷한 요인이 되므로 차원을 줄이는 일이 매우 중요하다. (feature을 줄이면 성능이 올라간다.) 차원을 줄이면 발생하는 이익 차원을 줄이는 일은 데이터의 노이즈를 업애주며, 학습 알고리즘 결과를 더 좋게 만들어주고, 데이터 세트를 다루기 쉽게 만들고, 결과를 이해하기 쉽게 만들어 준다. 차원 축소 방법 피처 선택(feature selection) : 사용할 수 있는 피처들을 살펴보고, 유용한 출력 변수와 상관관계를 살펴본다. 피처 유도(feature d..

멀티 퍼셉트론에서는 입력 갑과 가중치들의 곱이 뉴런의 활성화를 결정하는 임계 값 보다 높은지 낮은지에 따라서 은닉노드 활성화를 결정한다. 즉, 입력 값이 비슷하다면 비슷한 반응이 나타나기 때문에 같은 뉴런이 반응을 나타낸다. 1.수용 영역 수용영역(receptive field) 노드들이 입력과 어느 정도 가깝다면 활성화 해야한다는 아이디어 뉴런의 활성화를 계산하는 가중치 공간(Weight Space)의 개념을 사용하여 입력 값들을 추상적으로 같은 차원의 그래프에 표현하고, 입력과 가까운 뉴런일수록 더 활성화하는게 좋은 방법 이 방법에 대해 근거를 수용영역을 통해서 알 수 있다. 뉴런의 수용영역이 입력 값이 가깝다면 강력하게 멀어질수록 약해지다가 아주 멀어지면 사라지도록 가우시안을 이용해서 모델을 만들 수..

1. 다층 퍼셉트론 다층 퍼셉트론 다층 퍼셉트론(MLP : Multi-layer Perceptron) 가장 보편적으로 사용되는 뉴럴 네트워크. 이를 사용할 때 작동 원리를 이해하지 못하고 블랙박스(black box)로 취급되며, 이는 수행에 문제점을 내포한다. 뉴럴 네트워크는 가중치를 통해서 학습한다. 이에 대해 더 많은 계산을 수행하려면 가중치를 추가하면 된다. 가중치 추가 방법 출력 뉴런들이 다시 입력으로 들어가도록 반대 방향으로 연결되는 가중치 추가 (순환망 - Recurrent Networks) 더 많은 뉴런을 추가한다. 목표 값을 도출해낼 수 있는 가중치를 찾도록 네트워크를 수정하려면 퍼셉트론에 사용했던 출력 값의 에러(오차) 계산법을 생각해 볼 수 있다. 은닉층(hidden layer) 하지만..

1. 뇌와 뉴런 뉴런(Neuron) 1차원 처리 단위의 신경 세포 뇌의 유체에서 화학적 전달자 역할을 하거나 뉴런 내부의 전위를 높이거나 낮추는 역할을 한다. 막 전위치(membrane ptential)가 임계점에 이르면 뉴런은 활성화하게 되고, 축색돌기(axon)로 고정된 강도와 기간의 신호(pulse)를 보낸다. 축색돌기는 다른 뉴런들과 연결되어 있으며 시냅스(synapse)를 통해 다른 뉴런과 연결된다. 불응기(regractory period) 뉴런이 임계점을 넘어 신호를 보내고, 작동 전에 에너지 충전을 위해 기다리는 시기 가소성(plasticity) 뇌에서 학습이 일어나는지 살펴보는 방법 뉴런들을 연결하는 시냅스의 연결 강도를 조절하고, 새로운 연결을 만드는 뇌의 능력 헵의 법칙(Hebb's R..

1.용어 설명 입력 값(inputs) 과 입력 벡터(input vector) 입력 값은 알고리즘에 입력되는 데이터이다. 입력 벡터는 실수로 되어 있고, 연속된 번호들의 벡터로 되어 있다. 벡터의 크기는 요소들의 개수를 뜻하며, 입력 값의 차원(dimentionality)이다. 출력 값(outputs) 입력 값을 토대로 머신러닝 모델에 의해 출력되는 값이다. 머신러닝 알고리즘은 입력값의 집합을 통해 출력 값을 반환하는 과정을 반복한다. 입력(Inputs) : 입력 벡터는 알고리즘에 입력으로 주어진 데이터를 나타낸다. 가중치(weight) : 노드 i와 j를 연결하는 가중치는 Wij로 표현하며, 뉴럴 네트워크에서는 뇌의 시넵스를 표현한다. 출력(Outputs) : 출력 벡터 y는 j값이 1에서 벡터의 차원인..

예측(Prediction) 데이터가 주어진 상태에서 비슷한 추론을 바탕으로 다음을 예측하는 것. 가지고 있는 데이터의 예제와 그에 대한 정답을 사용하여 학습자(Model)에 예제와 정답을 제공하는 것을 지도학습(supervised)라고 한다. 1.데이터에 관하여 데이터에서 유용한 정보를 추출하기 힘든 이유는 데이터가 크고 복잡하기 떄문이다. 데이터가 저장되는 방법 자체 또한 데이터의 유용성을 저해한다. 데이터의 차원의 크기가 커지면 차원을 줄이거나 컴퓨터를 사용하여 고차원 데이터를 처리한다. 글리프(Glyph) 3차원 보다 차원의 수가 너무 크게 넘어서지 않으면 크기나 색을 사용하여 다른 차원의 정보를 표현하는 방법 2.학습 학습(learning) 학습에 대한 중요한 개념은 테라바이트 이상의 데이터를 가..