머신러닝[Machine Learning] - 선형회귀(Linear Regression)

 

 

회귀 지도학습

• 분류 지도학습은 범주를 예측하는 것에 반해 회귀 지도학습은 수치를 예측한다.
• 분류 -> 비가 오거나 오지 않거나를 예측
• 회귀 -> 비가 얼마나 몇 mm 오지는지를 예측

 

X 변수 개수에 따라 그래프의 형태 변화

• 머신러닝은 함수를 만들어 내는 것
  • 회귀계수(기울기와 y절편)을 찾는 것이 핵심
• 변수가 곧 차원이 됨
  • 변수가 하나일 때 - 2차원(직선의 방정식)
  • 변수가 두 개일 때 - 3차원

 

최소 제곱법(Method of Least Squeare)

• 오차의 제곱 합(Sum of the Squared Errors, SSE)이 최소가 되는 해를 구하는 방법
• 선형 회귀에서 해 = 기울기
• 즉, 최소 제곱법을 이용하여 기울기 추정

 

성능평가 지표

• MAE(Means Absolute Error)
  • 오차의 절대값의 평균
• MSE(Means Squared Error)
  • 오차 제곱의 평균
  • 특이치(오차가 큰 값)에 민감
• RMSE(Root Means Squared Error)
  • MSE에서 제곱으로 커진 값을 루트로 보완
• MAE, MSE, RMSE 해석
  • 오차 값의 평균으로 구해지기 때문에 MAE, MSE, RMSE 모두 작을수록 좋다.
  • MAE가 같을때 RMSE 값이 큰 값은 오차가 큰 특이값들을 포함한다.
• 결정계수(R²)
  • 회귀를 통해 얼마나 예측 오차가 줄어드는지 측정
  • 결정계수 = (회귀 사용 전 제곱한 잔차의 합 - 회귀 사용 후 제곱한 자차의 합) / 회귀 사용 전 제곱한 잔차의 합
  • 회귀모델의 설명력을 나타냄