tf.keras.activations.relu

tf.keras.activations.relu는 ReLU (Rectified Linear Unit) Activation 함수를 적용합니다.

예제1

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

plt.rcParams['figure.figsize'] = (6, 3)

x = np.linspace(-10, 10, 11)
y = tf.keras.activations.relu(x).numpy()

print(x)
print(y)

plt.plot(x, y, 'o-')
plt.xlabel('X')
plt.ylabel('Y')
plt.tight_layout()
plt.show()

[-10.  -8.  -6.  -4.  -2.   0.   2.   4.   6.   8.  10.]
[ 0.  0.  0.  0.  0.  0.  2.  4.  6.  8. 10.]

tf.keras.activations.relu는 ReLU 함수를 적용합니다.

기본적으로 입력값이 양수일 경우 y=x, 음수일 경우 y=0이 됩니다.

0을 기준으로 활성화 여부가 결정되며 이 값을 ‘threshold’라고 합니다.

예제2

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

plt.rcParams['figure.figsize'] = (6, 3)

x = np.linspace(-10, 10, 21)
y0 = tf.keras.activations.relu(x).numpy()
y1 = tf.keras.activations.relu(x, alpha=0.5).numpy()
y2 = tf.keras.activations.relu(x, max_value=5).numpy()
y3 = tf.keras.activations.relu(x, threshold=5).numpy()

plt.plot(x, y1, 'o-', label='alpha=0.5')
plt.plot(x, y2, 'o-', label='max_value=5')
plt.plot(x, y3, 'o-', label='threshold=5')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.tight_layout()
plt.show()

tf.keras_activations_relu 함수의 alpha, max_value, threshold 값을 지정할 수 있습니다.

alpha는 threshold 아래의 기울기를 지정합니다.

max_value는 출력값의 최대값을 제한합니다.

threshold는 threshold를 지정합니다.

이전글/다음글

이전글 : tf.keras.activations.linear

다음글 : tf.keras.activations.sigmoid

공유하기