전체 글33 [인공신경망] 학습 테크닉: 오버피팅 해결하기, 하이퍼 파라미터 최적화하기 오버 피팅 매개변수가 많고 표현력이 높은 모델, 훈련 데이터가 적은 모델 등에서 오버피팅이 일어날 가능성이 높다. 오버피팅을 완화하기 위해서 가중치 감소 Weight Decay, 드롭 아웃, Dropout 등을 실시한다 실험설정 고의로 MNIST 신경망이 오버피팅되는 상황을 유도하고 가중치 감소와 드롭아웃을 적용 결과와 비교한다 오버피팅 되는 상황: 복잡한 모델 7층망, 적은 훈련 데이터 300장 Case1 오버피팅 완화기술 미적용 Case2 가중치 감소 (lambda = 0.1) 적용 Case3 드롭아웃 적용 오버피팅이 되는 신경망 만들기 1. 필요한 라이브러리, 패키지, 데이터 불러오고 오버피팅 되는 신경망 모델 만들기 import numpy as np import matplotlib.pyplot a.. 2022. 7. 19. [인공신경망] 오류역전파 계산 그래프 Q1. 100원인 사과 2개의 구매금액은? 단 소비세 10%을 부과한다 문제풀이 흐름: 계산 그래프를 구성한다 → 그래프에서 계산을 왼쪽에서 오른쪽으로 진행한다(순전파 Forward Propabation) 국소적 계산 계산 그래프는 국소적 계산을 전파해 최종 결과를 얻는다. 국소적은 자시과 직접 관계된 작은 범위를 의미한다. 각 노드는 자신과 관련된 계산만을 담당하며, 노드까지의 중간 결과는 저장한다. 이러한 방식은 복잡한 문제를 단수화하는데 도움이 된다. 역전파 Back Propagation 오른쪽에서 왼쪽으로 전달되는 흐름을 의미한다. 계산 그래프에서 오른쪽으로 왼쪽으로 진행하며 미분값을 구한다 연쇄법칙 합성함수의 미분 z = t**2 t = x+ + y 연쇄법칙과 계산 그래프 각 노드는.. 2022. 7. 19. [전처리] 데이터 통합, 상관 분석, 데이터 축소, 속성부분 집합 선택 데이터 통합 Data Integration 여러 데이터 저장소로부터 온 데이터들의 합병. 데이터 웨어하우스나 데이터 마이닝과 같은 데이터 분석 작업은 다수의 데이터 원천으로부터 수집한 데이터를 하나의 통일된 데이터 저장소로 결합하는 데이터 통합 작업을 필요로 한다. 데이터 원천은 데이터 베이스, 데이터 큐브, 플랫 파일 등 다양한 형태로 존재한다 개체 식별 문제 Entity Identification Problem 데이터 통합 시 동일한 의미의 개체들이 서로 다르게 표현되어 있는 문제 메터데이터의 역할이 중요: 일반적으로 속성의 데이터 타입, 도메인, 기본키 여부, 참조무결성(외래키) 관계, 함수적 종속 관계 등을 종합적으로 고려하여 속성의 동일성 여부 판단 메터데이터는 데이터 변환에 도움을 줄 수 있음.. 2022. 7. 19. [전처리] 데이터 전처리 개요, 결측값 해결 사용 도서: Python과 SQL을 활용한 실전 데이터 처리(이현호 저) 데이터 전처리 데이터 분석 작업을 하기 전 데이터를 분석하기 좋은 형태로 만드는 과정. 데이터 전처리는 중요한 과정이나 과정 자체를 정형화하기는 복잡하고 힘들다. 고품질 데이터도 실무에서 존재하는 데이터의 구조적 형태(format)이 분석 목적이나 분석 기법에 적합한 경우가 드물기 때문에 전처리가 필요하다 데이터 정제: Missing Values 채우고, Noisy Data 제거, Inconsistent Data는 정합성이 맞는 데이터초 교정 데이터 자체/구조(format)의 변환: 데이터 정규화 또는 집단화. 스케일이 안 맞는 경우 결과에 왜곡이 발생할 수 있다. 따라서 데이터 정규화를 통해 변수 간 스케일을 맞추어야 한다. 데이.. 2022. 7. 19. 이전 1 2 3 4 5 6 ··· 9 다음
