3. 손실 함수 살펴보기

손실 함수 (Loss function)는 Neural Network의 예측이 얼마나 잘 맞는지 측정하는 역할을 합니다.

손실 함수로부터 얻어진 손실값 (Loss value)은 훈련 과정에서 Neural Network가 얼마나 잘 훈련되었는지 확인하는 지표가 됩니다.

Mean Squared Error 손실 함수를 사용해서 모델의 손실값을 확인하는 과정에 대해 소개합니다.

1) Neural Network 구성하기

아래의 코드는 하나의 입력을 받고 세 개의 출력 노드를 갖는 Neural Network를 구성합니다.

import tensorflow as tf
from tensorflow import keras
import numpy as np

model = keras.Sequential([keras.layers.Dense(units=3, input_shape=[1])])

tf.keras 모듈의 Sequential 클래스는 Neural Network의 각 층을 순서대로 쌓을 수 있도록 합니다.

tf.keras.layers 모듈의 Dense 클래스는 (완전 연결된) 하나의 뉴런층을 구현합니다.

units는 뉴런 또는 출력 노드의 개수를 의미하며, 양의 정수로 설정합니다.

input_shape는 입력 데이터의 형태를 결정합니다.

2) Neural Network 컴파일하기

모델을 구성했다면, 이 모델을 훈련하기 전에 손실 함수와 옵티마이저를 지정해주는 컴파일 과정이 필요합니다.

model.compile(loss='mse')

compile() 메서드의 loss 파라미터를 이용해서 손실 함수를 ‘mse’로 지정했습니다.

mse는 Mean Squared Error의 줄임말이며 아래의 수식을 이용해서 평균 제곱 오차를 계산하는 방식입니다.

\[MSE = {1 \over{n}}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2\]

• \(n\)은 출력값의 개수.

• \(y_i\)는 관측값 (목표값).

• \(\hat{y}_i\)는 예측값.

예측치와 관측값의 차이인 오차의 제곱에 비례해서 손실 함수로부터 계산되는 손실값이 커집니다.

3) Neural Network 예측하기

predict() 메서드를 이용해서 Neural Network의 예측값 (predicted value)을 얻을 수 있습니다.

pred = model.predict([0])
print(pred)

[[0. 0. 0.]]

임의로 생성된 모델의 가중치 값 (weights)이 있지만, 입력이 0이므로 예측값도 모두 0을 출력합니다.

4) Neural Network 손실 계산하기

evaluate() 메서드는 예측값과 관측값 사이의 손실값을 반환합니다.

model.evaluate([0], [[0, 1, 0]])

1/1 [==============================] - 0s 33ms/sample - loss: 0.3333

evaluate() 메서드를 호출하면 손실 값 (loss)을 출력합니다.

모델의 손실 함수를 Mean Squared Error로 지정했기 때문에, 손실 값 0.3333은 아래와 같이 계산된 결과입니다.

\[loss = {{(0 - 0)^2 + (1 - 0)^2 + (0 - 0)^2}\over{3}} = 0.3333\]

이전글/다음글

이전글 : 2. 간단한 신경망 만들기

다음글 : 4. 옵티마이저 사용하기

공유하기