Loss & Cost Function

손실함수와 비용함수

---

개념

• Loss function은 모델이 실제 값과 어느 정도 차이가 나는지 수치화하는 함수이다.
  • 차이를 손실이라 부른다.
• Cost function은 Loss function과 달리 데이터 셋 전체를 대상으로 손실을 구한다.
  • Loss function은 특정 데이터에 대해 손실을 구한다.

L1 손실함수

---

$$\text{L1 Loss} = \sum |y_\text{true}-y_\text{predict}|$$

• 실제 값과 예측 값의 차이의 기대 값이다.
• 관련 비용함수는 Mean Absolute Error가 있다.
  $$\text{MAE} = {1\over n} \sum_{n=1}^n |y_\text{i}- \hat y_\text{i}|$$

L2 손실함수

---

$$\text{L2 Loss} = \sum (y_\text{true}-y_\text{predict})^2$$

• 실제 값과 예측 값의 차이의 제곱의 기대 값이다.
• 관련 비용함수는 Mean Squared Error, Root Mean Squared Error가 있다.
  $$\text{MSE} = {1\over n} \sum (y_\text{i}-\hat y_\text{i})^2$$

$$\text{RMSE} = \sqrt \text{MSE}$$

• MSE는 제곱으로 인해 이상치에 민감하다.
• MAE, RMSE는 이상치와 상관없이 안정된 값을 보여준다.

엔트로피

---

• 정보 이론에서 사용되는 개념이다.
• 확률 변수의 불확실성 정도를 측정하기 위해 사용된다.

엔트로피

• 의사 결정 트리에서 사용됨
  $$\text{Entropy}(P) = - \sum P(x)log P(x) = -E(logP(x))$$

크로스-엔트로피

• 다중 분류에서 사용된다.
  $$\text{CrossEntropy}(P,Q) = -\sum P(x)logQ(x) = -E_p(logQ(x))$$

$P(x)$는 실제 값이다.
$Q(x)$는 추정 값이다.

• 만약 어떤 모델이 다음과 같이 예측했다면
  $$\hat y = \begin{bmatrix} 0.7 \\ 0.2 \\ 0.1 \end{bmatrix} \ y = \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}$$

$$\text{CE} = -1\log0.7 - 0 - 0$$

• CE 값은 0으로 만드는 것이 최적의 상태이다.