딥러닝 모델 구축, Keras Sequential API vs. Functional API feat. 케창딥 7장

케창딥 7장을 보고 케라스(Keras)로 딥러닝 모델을 만드는 3가지 방법에 대해서 학습하였고, Keras Sequential API vs. Functional API의 특징을 분류해 보았다.

3가지 Keras mode API 소개

케라스에서 모델을 만드는 API는 세가지가 있으며, 같은 API 기반을 가지고 있어서 한 workflow의 구성요소를 다른 workflow에서 호출할 수 있다.

Sequential model : 가장 시작하기 쉬운 API, 단순히 층을 쌓는 것
Functional API : 그래프 같은 모델 구조를 주로 다룸. 사용성과 유연성 사이의 중간지점으로 가장 널리 사용되는 모델 구축 API
Subclassing : 모든 것을 밑바닥부터 직접 만들 수 있는 저수준의 방법. 모든 상세한 내용을 완전히 제어. 실수 발생 위험이 있음.

모델 구현의 자율성

Subclassing < Functional API < Sequential model

모델 구현 난이도

Sequential model < Functional API < Subclassing

Sequential API vs. Functional API 비교

1) 모델 구축 및 학습 비교

Sequential API와 Functional API의 모델 구축 및 학습 프로세스는 위와같이 모델을 구축 부분을 제외하고는 모두 동일함

Create sequenctial API mode → Compile → Train → Evaluate → Predict
Create Functional API mode → Compile → Train → Evaluate → Predict

그렇다면 모델 구축 부분이 어떻게 다른지 코드로 알아보자.

2) 코드 구현 비교

우선 Sequential API와 Functional API 코드를 3개의 은닉층으로 구성된 Neural Network로 각각 구성하고 비교해 보았다.

Sequential API 코드

import tensorflow as tf

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

model = Sequential()

model.add(Dense(8, activation='relu', input_shape=(4,)))
model.add(Dense(16, activation='relu'))
model.add(Dense(32, activation='relu'))

model.add(Dense(10, activation='softmax'))

model.summary()

Functional API 코드

import tensorflow as tf

from tensorflow.keras.layers import Input, Dense
from tensorflow.keras.models import Model

input_ = Input(shape=(4,))

x = Dense(8, activation='relu')(input_)
x = Dense(16, activation='relu')(x)
x = Dense(32, activation='relu')(x)

output_ = Dense(10, activation='softmax')(x)

model = Model(inputs=input_,  outputs=output_)

model.summary()

두 코드의 결과는 동일함 차이점을 살펴보면,

Sequencial API의 경우 layer를 단순하게 쌓아 올리면서 구성(단순하게 쌓아 올리는 구조)하지만, Functional API의 경우 ① 이전 층의 출력값을 다음 층 함수의 입력으로 넣어주며 ② Model() 함수에 최종입력과 출력을 넣어주므로 모델 구축을 완료함

3) Functional API가 필요한 경우

Sequencial API의 경우 여러개의 층을 공유하거나 다양한 입력을 출력으로 뽑아내는 등 복잡한 모델 구성이 어려움 하지만 Functional API의 경우 Sequencial API는 더 복잡한 모델에서 힘을 발휘할 수 있음

예를 들어 위와 같은 모델은 쌓아 올리는 것 밖에 할 수 없는 Sequencial 모델로는 구현할 수 없지만, Functional API를 활용한다면 손쉽게 구현할 수 있음

from tensorflow.keras.layers import Input, Dense, concatenate
from tensorflow.keras.models import Model

# 입력 1
input_1 = Input(shape=(4,))    

hidden_1 = Dense(8, activation='relu')(input_1)
hidden_2 = Dense(16, activation='relu')(hidden_1)

output_1 = Model(inputs=input_1,  outputs=hidden_2)

# 입력2 
input_2 = Input(shape=(8,))    

hidden_3 = Dense(8, activation='relu')(input_2)
hidden_4 = Dense(12, activation='relu')(hidden_3)
hidden_5 = Dense(16, activation='relu')(hidden_4)

output_2 = Model(inputs=input_2,  outputs=hidden_5)

# 층 연결
result = concatenate([output_1.output, output_2.output])

# 출력층 정의
output_ = Dense(10, activation='softmax')(result)

# 최종 모델 구축
model = Model(inputs=[output_1.input, output_2.input],  outputs=output_)

model.summary()

여기서 concatenate 함수는 input으로 들어온 2개의 텐서를 연결해 주는 함수로, 각 텐서의 샘플의 개수만큼 연결된 결과 텐서가 출력됨.

결론

다중 입력, 다중 출력, 레이어 공유, 복잡한 네트워크 토폴로지 등 복잡한 모델을 구현할 때는 Functional API가 주로 쓰인다

끝.

현재의 기록은 미래의 기억이 된다