< 머신러닝 - 지도 학습 >

< 지도 학습 (회귀, 분류) > 

• 모델에 과거의 정답을 제공한 상태에서 미래 정답을 예측
• 지도학습의 주 목표는 일반화
  • 일반화 : 학습에 사용되지 않은 데이터를 예측하고 분류
  • 일반화 오차 : 모델이 얼마나 일반화에 대한 성공, 실패 지표
• 학습 오차(학습 성능) : 일반화 오차보다 쉬운 개념 (train / test 구분) 
• 알맞은 모델 : 과소, 과대 적합 사이에 있는 편차-분산 트레이드 오프
• 분산 : 데이터 셋에 따른 모델의 출력의 변화 정도
• 편차 : 학습 데이터 셋과 모델이 계산한 결과가 엇나가는 정도
• 편차-분산 트레이드오프는 모델의 편차와 분산을 동시에 충분히 줄이는 것이 불가능한 현상
• 과적합은 분산이 너무 커져버린 것을 의미+  편차가 크다는 것은 학습이 충분하게 진행되지 않았음을 의미
  • 과대적합(테스트 오차가 계속 증가) / 과소적합(테스트/학습 오차가 감소 추세)
  • 과대적합 해소방법
    1. 학습 데이터의 양을 늘린다
    2. 덜 복잡한 모델을 사용한다.
    3. 정칙화를 사용한다.
       • 정칙화 : 과대적합을 막기 위해 데이터 셋 이외의 정보를 모델에 주입해 편차를 인위적으로 증가
         • 앙상블 기법(배깅, 부스팅), 데이터 증강, 정규화 손실함수, 조기 학습 정지
         • 인공신경망에서는 드랍 아웃을 사용

 

< 지도 학습 종류 >

• 선형회귀 : 독립변수와 종속변수의 관계
  • 예측 강화를 위해 목적함수에 정칙화황을 추가한 정규화 선형회귀 기법 사용
  • 라쏘, 릿지, 엘라스틱 넷, 전진선택회귀, 후진제거회귀, 단계적회귀, 로지스틱회귀
• 서포트벡터머신
  • 데이터의 카테고리를 정하는 경계선을 찾아 분류하는 지도학습
  • 고차원에서는 선형 경계선으로 좀 더 복잡한 분류가 가능해지기 때문에 커널 트릭 작업 필요
  • 서포트 벡터, 마진, 경계, 2차 계획법 등의 개념을 사용해 회귀도 가능 = SVR
• 의사결정나무
  • 각 입력변수에 재귀적인 if-then 규칙을 적용해 결과를 예측하는 기법
  • 논리가 매우 단순하고 해석력이 뛰어나며, 계산 시간이 빠름
  • 랜덤 포레스트, 부스팅 나무와 같은 앙상블, 부스팅 기법을 함께 사용
  • 결과에 가중 평균을 취하는 방식으로 회귀 분석에 사용
• K-최근접 이웃법
  • 예측 대상과 가장 근접한 k개의 레이블을 바탕으로 예측하는 데이터의 레이블을 정하는 지도학습의 방법
  • 레이블 예측에 관심이 있는 데이터에서만 예측을 진행, 따로 학습이라는 개념이 없음 (게으른 학습법)
  • 모수 추정 과정을 거치지 않아 편하지만 특성과 데이터 수 가 증가할수록 연산량 부담

 

• 인공 신경망(다층 퍼셉트론)
  • ANN은 선형 함수와 활성화 함수로 이루어진 퍼셉트론을 여러 개 사용하는 방식의 머신 러닝 기법
  • 복잡한 함수 제작이 가능하여 사람이 쉽게 알기 힘든 데이터를 모델링하는 경우에 사용
  • 여러 층의 퍼셉트론을 쌓아 올리는 것 == 딥러닝
  • 퍼셉트론 모델에서는 입력값(x)에 가중치(w)를 곱해 신호을 계산하고, 그 결과가 어떤 기준(-b)를 넘으면(wx > -b / wx+b >0) 1을 출력하고, 넘지 않으면 -1을 출력
    • 출력 값을 계산하는 부분을 활성화 함수라고 한다.
    • 비선형 분류 문제를 쉽게 풀 수 없다는 한계 존재
      • 한계 극복을 위해 여러 개의 퍼셉트론으로 하나의 층을 만들어 단일 은닉층 모델 생성
      • 더 나아가 여러 층으로 쌓아 다층 퍼셉트론을 만들어 은닉층을 통과하면서 가중치를 곱하고 활성화 함수를 적용하는 순전파 과정을 반복해 출력값을 계산
      • But) 최적의 가중치를 찾기 어려워짐
    • 가중치 문제 해결 위해 현재를 기준으로 역전파 알고리즘을 적용
      • 역전파란 출력값과 정답 값과의 차이인 오차를 출력값에서 입력값 방향으로 역방향 전파를 통해 가중치를 조정시키는 방법
      • 한계 
        • 오차를 계산하는 방법
        • 오차 신호를 바탕으로 가중치가 최적값에 가까워지도록 조정하는 방법
      • 손실함수 : 오차를 계산하는 식(MSE, 교차엔트로피)
      • 역전파를 통해 전달된 오차 신호를 바탕으로 가중치를 조정하는 방법으로 경사하강법, 확률적 경사하강법, 모멘텀, adgrad, rmsprop, adam 등이 있음

 

• 다층 퍼셉트론의 종류
  • CNN
    • 합성곱 연산을 이용하는 인공신경망 모델, 이미지/영상 분야에서 두각
    • 일반적으로 합성곱층, 풀링(다운샘플링이 이뤄지며, 최대풀링, 최소풀링 존재), ReLU(활성화 함수 역할), 완전 연결층 등으로 구성
  • RNN
    • 텍스트, 보이스, 시계열 등의 순서열 데이터에서 두각
    • 이전 시점의 은닉 상태와 현재 시점에서 주어진 입력값을 받아 현재 시점의 은닉 상태를 계산하는 부분과 은닉 상태로부터 출력값을 계산하는 부분으로 나눔
    • 순서열이 길어지면 모델이 먼 시점에 대한 상관성을 표현하지 못하는 기울기 소실/ 기울기 폭발이 발생
      • 해결방안으로 LSTM, GRU 등의 모델 제안 / 양방향 RNN 제안
  • 추가 모델
    • 오토인코더, GAN, 트랜스포머, 임베딩, 어텐션

 

 

---

< 참고 자료 >

책정보, Mathematics for Machine Learning : 네이버 책 (naver.com)

책정보, 핸즈온 머신러닝 : 네이버 책 (naver.com)

통계학으로 배우는 머신러닝 2/e - YES24

 

Essays

 

Essays

 

기계 학습