ComputerVision Jack

[Simple Softmax Dataset] 위 dataset은 feature1, feature2 특징만 갖고 class를 분류하는 예제입니다. 데이터에 관련하여 class 분류의 범위를 알고싶어서 print(df.drop_duplicates(['class'])) 사용하여 class관련해 중복값을 배제하고, class의 범위를 눈으로 확인할 수 있습니다. 대략적으로 sofmax를 실행한 결과 89%의 정확도를 나타내는 것을 확인할 수 있습니다.

저번 스터디에선 dataProcess 과정을 거쳐 새롭게 바뀐 csv 파일을 추출하였는데. data = df.values 과정을 통해서 데이터 프레임을 numpy array로 바꿀 수 있어서 따로 Process과정을 제외하고 바로 처리하였습니다. [Simple Logistic Dataset] 다음 SimpleDataset은 Purchased 예측하는 데이터셋입니다. UserId와 를 drop() 메소드를 이용하여 제외하고 Gender를 0과 1 이진으로 바꿔준 후에 구현하였습니다. [Heart Disease Dataset] 다음 데이터는 TenYearCHD를 예측하는 데이터셋입니다. 데이터 중간에 N/A 값이 발생하여 fillna() 메소드를 사용하여 공백값을 처리했습니다. df = df.fillna(d..

김성훈 교수님의 모두의 딥러닝 수업을 듣고 kaggle에서 데이터를 찾아 직접 tensorflow로 구현하고 싶어 스터디를 만들고 스터디 사람들과 함께 예제를 하나씩 해보기로 했습니다. [LinearRegression Dataset] 우선 가장 기본적인 데이터 셋을 찾아서 모델링으로 구현을 해봤습니다. [Insurance Dataset] 위 데이터의 경우 bmi를 예측하는 예제이다. 따라서 ['sex', 'smoker', 'region']을 수치 데이터로 변경하는 작업이 필요하다. def change_sex(column): if column == 'female': return 0 else: return 1 apply메소드에 적용할 함수를 설정한다. df['sex'] = df['sex'].apply(cha..

뉴럴 네트워크에서 비판할 점은(MLP 에서) 알고리즘에서 무엇을 학습하는지 알기 힘들다는 점이다. 뉴런들의 활성화와 가중치들을 살펴 볼 수 있지만, 이들은 많은 정보를 말해 주지는 않는다. ( 흔히 블랙박스라고한다.) 따라서 해석하기 힘든 가중치 대신 통계학을 바탕으로 학습된 확률들을 살펴보고 해석한다. 1. 가우시안 혼합 모델 같은 데이터에서 목표 라벨들이 존재하지 않는 비지도학습이라고 가정했을 때, 다른 클래스에 속하는 데이터들이 각각 가우시안 분포에서 생성된다고 가정한다. 각각의 다른 클래스에 대해서 하나씩의 모드(Mode)가 존재하므로 다중 최빈값 데이터(multi-modal data)라고 부른다. 데이터 전체에 얼마나 많은 클래스들이 존재하는지 알 수 있다면 많은 가우시안 파라미터들을 추측할 수..

그래프 이해와 종류 그래프(Graph) 그래프는 정점과 간선의 집합이다. 정점(vertext)은 연결의 대상이되는 개체 또는 위치를 의미한다. 간선(edge)은 정점 사이의 연결을 의미한다. 무방향 그래프(undirected graph) 연결 관계에 있어서 방향성이 없는 그래프 방향 그래프(directed graph) 간선에 방향 정보가 포함된 그래프 = 다이 그래프(digraph) 이러한 무방향 그래프와 방향 그래프는 간선의 연결 형태에 따라서 완전그래프(complete graph)로 구분된다. 완전 그래프란 각각의 정점에서 다른 모든 정점을 연결한 그래프를 뜻한다. 때문에 정점의 수가 동일한 완전 그래프라 하더라도, 방향 그래프의 간선의 수는 무방향 그래프의 간선의 수에 두배가 된다. 가중치 그래프(..

2차원 데이터에 관해서 이해하고 분석하는 것은 쉽지만 3차원 이상 데이터에 대해서는 관찰하고 그래프로 표현하는 것이 어렵다. 또한 차원이 높아질 수록 더 많은 트레이닝 데이터가 필요하다. 이렇게 높은 차원의 데이터는 많은 알고리즘의 계산비용을 높이는 뚜렷한 요인이 되므로 차원을 줄이는 일이 매우 중요하다. (feature을 줄이면 성능이 올라간다.) 차원을 줄이면 발생하는 이익 차원을 줄이는 일은 데이터의 노이즈를 업애주며, 학습 알고리즘 결과를 더 좋게 만들어주고, 데이터 세트를 다루기 쉽게 만들고, 결과를 이해하기 쉽게 만들어 준다. 차원 축소 방법 피처 선택(feature selection) : 사용할 수 있는 피처들을 살펴보고, 유용한 출력 변수와 상관관계를 살펴본다. 피처 유도(feature d..

멀티 퍼셉트론에서는 입력 갑과 가중치들의 곱이 뉴런의 활성화를 결정하는 임계 값 보다 높은지 낮은지에 따라서 은닉노드 활성화를 결정한다. 즉, 입력 값이 비슷하다면 비슷한 반응이 나타나기 때문에 같은 뉴런이 반응을 나타낸다. 1.수용 영역 수용영역(receptive field) 노드들이 입력과 어느 정도 가깝다면 활성화 해야한다는 아이디어 뉴런의 활성화를 계산하는 가중치 공간(Weight Space)의 개념을 사용하여 입력 값들을 추상적으로 같은 차원의 그래프에 표현하고, 입력과 가까운 뉴런일수록 더 활성화하는게 좋은 방법 이 방법에 대해 근거를 수용영역을 통해서 알 수 있다. 뉴런의 수용영역이 입력 값이 가깝다면 강력하게 멀어질수록 약해지다가 아주 멀어지면 사라지도록 가우시안을 이용해서 모델을 만들 수..

테이블(Table)과 해쉬(Hash) 테이블(Table) 우리가 흔히 사용하는 표가 테이블이다. 하지만 자료구조의 관점에서 테이블에 저장되는 데이터는 키(key)와 값(value)가 하나의 쌍을 이룬다. 따라서 키(key)가 존재하지 않는 값은 저장할 수 없고 모든 키는 중복되지 않는다. 이러한 테이블은 서전 구조 또는 맵(map)이라고 불린다. 예제 : 배열 기반의 테이블 구현하기 키를 인덱스 값으로 하여 그 위치에 데이터를 저장한다. 하지만 키의 값의 범위가 크다면 문제가 발생한다. 배열 기반 테이블 문제점 키의 범위(고유 인덱스)가 배열의 인데그 값으로 사용하기에 적당하지 않다. 키의 범위를 수용할 수 있는 매우 큰 배열이 필요하다. 예제 : 해쉬 함수를 이용한 테이블 구현하기 해쉬 함수(Hash ..