데이터의 민족

Chapter_8 차원 축소.ipynb Colaboratory notebook colab.research.google.com 1. 차원의 저주 수백만 개의 특성을 가지고 있는 데이터는 훈련을 느리게함 좋은 솔루션을 찾기 어려움 해결 방법 -> 축소 기법(PCA, 커널 PCA, LLE) 저차원에 비해 고차원 초입방체에 있는 대다수의 점은 경계와 매우 가까움 대부분의 훈련 데이터는 서로 멀리 떨어져 있어, 새로운 샘플도 훈련 샘플과 멀리 떨어져 있을 가능성이 높음 따라서 훈련 샘플의 밀도가 충분히 높아질 때까지 훈련 세트의 크기를 키우는 것 2. 차원 축소를 위한 접근 방법 2 - 1. 투영 모든 훈련 샘플이 평면 형태 --> 고차원 공간에 있는 저차원 부분 모든 훈련 샘플을 이 부분 공간에 수직으로 투영하..

모델의 정답 없이 데이터만 제공된 상태에서 데이터의 패턴 파악 잠재 변수 : 내재된 패턴을 설명할 수 있는 변수를 추출해 만드는 모델 군집 분석 : 미리 정해진 분류 기준 없이 비슷한 특성의 모임을 생성 차원 감축 : 비지도 학습의 문제점을 해결, 데이터를 표현하는 특성의 수를 줄임 비지도 학습에서는 데이터 셋을 나눌 필요가 없음 차원의 저주 완화 : 데이터의 특성이 많을수록 필요한 데이터의 개수가 급격히 증가하는 현상 정략적 지표는 군집화의 질을 단편적으로 평가 실루엣은 직접적으로 사용해 군집의 질을 단편적으로 추정 모델 학습이 아니라 하이퍼파라미터를 찾는 데 사용 PCA에서 주성분의 개수, GMM에서 가우시안 분포의 개수, k-means에서 군집의 개수 동일한 의..