ComputerVision Jack

Computing gradient in Simple Network 단순히 x -> Linear Model -> y 관계에서 추출된 cost(loss)에 대한 기울기 값은 dloss / dw (미분)을 통하여 알 수 있습니다. 코드 적으로 본다면 전에 작성 했던 gradient(x, y) 함수의 return 값 2 * x * (x * w - y) 입니다. 하지만 이런 복잡한 네트워크 상황에서 dloss / dw (미분)의 값을 우리는 예측하기 쉽지 않습니다. Chain Rule 따라서 이런 복잡한 네트워크 상황에 대해 우리는 체인 룰 방식을 적용하여 그 값을 역 추적해 나아갑니다. 김성훈 교수님이 강의해주신 내용을 바탕으로 체인룰을 적용해보겠습니다. 우선 f 로 표시 되어 있는 원은 퍼셉트론으로 생각하시면..

Gradient Descent x_data y_data 1 2 2 4 3 6 이번 강의에선 저번 시간의 예제를 사용하여 Gradient Descent 알고리즘에 대해 설명해 주셨습니다. 위의 예제는 간단한 예제로, 우리는 y = x * w 식에 대해 w를 쉽게 추론할 수 있었습니다. 하지만 이번엔 w에 대해 비용그래프의 기울기를 감소시키는 방향으로 정의내리려고 합니다. 저번 시간의 예제에 해당하는 손실함수 그래프 입니다. 그래프에서 알 수 있듯 w가 2.0값이 되는 부분에서 손실(비용)이 최소 값을 갖습니다. 이제 이 그래프에 대해 경사 하강법 알고리즘을 적용해 보겠습니다. 예를 들어 w가 2가 아닌 4라고 생각해본다면 비용은 최소값이 아닌 어떤 특정한 값을 갖게 됩니다. 특정한 값을 갖게 된다면 2차함..

김성훈 교수님의 모두의 딥러닝 수업에 이어 PyTorch ZeroToAll (in English) 강의를 듣고 스스로 정리해보는 시간을 가져보려고 합니다. 영문 버전이지만 교수님께서 쉽운 영어로 편안하게 가르쳐 주셨습니다. 강의 링크 www.youtube.com/playlist?list=PLlMkM4tgfjnJ3I-dbhO9JTw7gNty6o_2m PyTorchZeroToAll (in English) Basic ML/DL lectures using PyTorch in English. www.youtube.com Lecture 01 은 기본적인 딥러닝에 관한 개요를 설명해주시는 부분이기 때문에 강의를 듣고 따로 정리하진 않았습니다. 강의 정리는 Lecture02 : Linear Model 부터 정리를 시작..