[AI 이론] 인공지능 입문 이론 한 번에 정리하기!

Neural Network Architecture Categories (신경망 종류)

• Perceptron 
• Multilayer Perceptron (MLP) / feedforward (순전파) backpropagation (역전파)
• Convolutional Neural Networks (CNNs) 
• Recurrent Neural Networks (RNNs)
• Long Short-Term Memory Networks (LSTMs)
• Gated Recurrent Units (GRUs)
• Transformer (최신)

Activation Function Categories (활성 함수)

• Linear 
• Sigmoid
• Tanh
• ReLU
• PReLU

Optimization Algorithm (최적화 알고리즘)

• Stochastic Gradient Descent (SGD)
• RMSProp
• AdaGrad
• ADAM
• AdaDelta
• Hessian-free optimization

Methods of Initializing the Parameters of the Network (변수들의 초기 값 설정)

• Random 
• Xavier initialization
• He initialization\

위에 언급된 종류들을 어떻게 조합하느냐에 따라서 다른 모델이 나오고, 만들고자 하는 인공지능 모델마다 다른 값을 설정해 주어야 한다.