[기계학습] Cost function

개요

Cost function은 모델의 학습과정에서 오차를 확인하고 가중치를 업데이트 하는 과정에 사용된다.
모델의 목표와 가설함수의 형태에 따라 적절한 Cost function을 설정해야 한다.

MAE(Mean Absolute Error)

$MAE=\frac{1}{m}\sum^{m}_{i=1}

\hat y_i-y_i

$

모델의 예측값과 훈련 데이터의 결과값의 차이를 구해 절대값을 씌워 평균을 구한다.
regression에서 사용된다.

MSE(Mean Sqaured Error)

$MSE=\frac{1}{m}\sum^{m}_{i=1}(\hat y_i-y_i)^2$

모델의 예측값과 훈련 데이터의 결과값의 차이를 구해 제곱하여 평균을 구한다.
제곱을 하기 때문에 MAE에 비해 특이값에 더 민감하다.
regression에 사용된다.

Cross Entropy

$CE=\sum^{m}_{i=1}-y_ilog(\hat y_i)$

multi label classification에서 주로 쓰인다.

Binary Cross Entropy

$BCE=-y_ilog(\hat y_i)-(1-y_i)log(1-\hat y_i)$

binary classification에서 쓰이는 함수다.
$\hat y_i$는 모델의 예측값으로 0과 1사이의 값이다.
$y_i$는 훈련 데이터의 결과값으로 0또는 1이다.