RNN 구조 익히기

1. 몇 개의 단어를 통해서 RNN 구조를 익혀보자¶

In [1]:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

데이터셋 구축하기¶

• 글자 하나하나 단위로 RNN 사용해보기
• hello, apple, hobby, daddy, bobby

In [2]:

# 문제 데이터 : hell , appl, hobb, dadd, bobb
# 총 4번 순환하는 단계로 진행됨
# 정답 데이터 : o, e, y, y
# timestamps = 4

원 핫 인코딩으로 문자를 숫자로 변경¶

• 문제 + 정답 전체 데이터에서 등장하는 문제는 h,e,l,o,a,p,b,y,d 총 9개

In [26]:

a = ['hello', 'apple', 'hobby', 'daddy', 'bobby']

# RNN 데이터 구조를 파악하기 위해 원핫인코딩을 진행해보자

# 문제 데이터,3차원
X_train = np.array([
                # 각각의 단어들
                [[1,0,0,0,0,0,0,0,0],[0,1,0,0,0,0,0,0,0],[0,0,1,0,0,0,0,0,0],[0,0,1,0,0,0,0,0,0]],
                [[0,0,0,0,1,0,0,0,0],[0,0,0,0,0,1,0,0,0],[0,0,0,0,0,1,0,0,0],[0,0,1,0,0,0,0,0,0]],
                [[1,0,0,0,0,0,0,0,0],[0,0,0,1,0,0,0,0,0],[0,0,0,0,0,0,1,0,0],[0,0,0,0,0,0,1,0,0]],
                [[0,0,0,0,0,0,0,0,1],[0,0,0,0,1,0,0,0,0],[0,0,0,0,0,0,0,0,1],[0,0,0,0,0,0,0,0,1]],
                [[0,0,0,0,0,0,1,0,0],[0,0,0,1,0,0,0,0,0],[0,0,0,0,0,0,1,0,0],[0,0,0,0,0,0,1,0,0]],
    
    
    
])

# 정답 데이터,2차원

y_train = np.array([
                    [0,0,0,1,0,0,0,0,0], # o
                    [0,1,0,0,0,0,0,0,0], # e
                    [0,0,0,0,0,0,0,1,0], # y
                    [0,0,0,0,0,0,0,1,0]
                ]) # y

In [27]:

X_train.shape, y_train.shape
# sample 샘플수
# time steps 순환 횟수
# feature 데이터의 특성 수 =원핫인코딩된 레이블 수

Out[27]:

((5, 4, 9), (4, 9))

Rnn 신경망 모델링¶

In [28]:

from tensorflow.keras import Sequential
from tensorflow.keras.layers import SimpleRNN, Dense

In [29]:

#신경망 설계
model = Sequential()

#입력층 + 중간층
# 8 개의 뉴런을 가지고, 각 뉴런이 4번씩 순환하며 각 순환마다 9개의 숫자가 들어감
model.add(SimpleRNN(8, input_shape=(4, 9)))

# 출력층
model.add(Dense(9, activation = 'softmax')) # SOFTMAX 다중 분류

model.summary()

Model: "sequential_3"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 simple_rnn_3 (SimpleRNN)    (None, 8)                 144       
                                                                 
 dense_3 (Dense)             (None, 9)                 81        
                                                                 
=================================================================
Total params: 225
Trainable params: 225
Non-trainable params: 0
_________________________________________________________________

In [30]:

# RNN은 가중치가 두 종류가 있습니다.
# 과거 데이터의 가중치와 현재 데이터의 가중치
# 현재 데이터의 가중치(MLP와 같음) => 9(입력 특성의 개수) * 8(RNN층의 뉴런수) + 8(RNN 층의 뉴런수 = b값 계수)
# 과거 데이터의 가중치  -> 8 (RNN 층의 뉴런수) * 8 (RNN층의 뉴런수)
# RNN 층의 각 뉴런들이 뽑아낸 결과가 다시 모든 뉴런들에게 과거 데이터로 돌아가게됨
# 순환횟수랑은 상관없이 최종 결과값에 대한 가중치를 카운트

model.compile(loss = 'categorical_crossentropy', # 다중 분류이므로
            optimizer='Adam',
            metrics =['acc']) # 정확도

In [ ]:

h = model.fit(X_train, y_train, epochs = 100)

In [ ]:

plt.figure(figsize=(15,5))

plt.plot(h.history['acc'],
        label = 'acc')
plt.legend()
plt.show()