Deep Learning/Basic

최적화 알고리즘의 목적은 손실함수 값을 최소화시키는 파라미터 $w, b$를 찾는 것입니다. 모든 파라미터들에 대해 계산을 수행하여 손실함수를 최소화 시키는 값을 찾는 것이 아닌, 몇 개의 파라미터를 계산하고 그 계산한 값을 통해 파라미터들을 업데이트하여 전체 파라미터를 계산했을 때 손실함수의 값을 최소화시키는 파라미터와 근사한 값을 찾는 것이 최적화 알고리즘의 목적이라 할 수 있습니다. 본 포스팅에서는 여러 최적화 알고리즘과 그 특징들에 대해 알아보도록 하겠습니다. SGD 최적화 알고리즘에서 시작하여 스텝 방향, 스텝 사이즈 두 가지를 고려하여 발전한 여러 최적화 알고리즘과 최종적으로 이 두 가지의 장점을 결합한 최적화 알고리즘인 Adam 까지 알아보도록 하자. 스텝 방향을 고려 Momentum Nest..

본 포스팅에서는 모델의 성능을 고도화하는 다양한 방법들에 대해서 알아보도록 하겠습니다. 1. 좋은 모델을 위한 기초 좋은 모델이란 한 번도 보지 못한 데이터셋에 대해서도 성능이 잘 나오는 즉, 일반화(Generalization)가 잘 된 모델을 말한다. 1.1 과적합 과적합은 모델이 학습 데이터에 대해서는 성능이 좋지만 테스트 데이터, 한 번도 보지 못한 데이터셋에 대해서는 성능이 떨어지는 즉, 일반화가 잘 되지 않는 것을 말한다. 과적합(Overfitting)은 주로 모델이 학습한 파라미터가 데이터의 정보량보다 많은 경우 발생한다. 과적합을 확인하는 방법은 또 다른 방법 중 하나는 학습 시 Train Loss가 0이 되는 경우이다. 이는 모델이 학습 데이터에 대해 배워야 할 정보를 충분히 다 학습하여 ..

손실함수를 어떻게 정의하느냐에 따라서 모델의 학습 결과가 달라지기 때문에 손실함수는 매우 중요한 역할을 합니다. 따라서 본 포스팅에서는 여러 손실함수들에 대해서 살펴보고 더 나아가 Backpropagation과 MLE(Maximum Likelihood Estimation) 관점에서 손실함수를 어떻게 해석해야 하는지에 대해서 알아보도록 하겠습니다. 여러 가지 손실 함수 위의 그림을 살펴보면 모델의 학습을 진행할 때 손실 함수의 값이 작아지는 방향으로 파라미터를 업데이트하기 때문에 어떤 손실함수를 선택하느냐에 따라서 모델의 학습 결과가 달라지게 된다. 손실함수의 종류에도 여러가지가 있지만 그중에서도 MSE(Mean Squared Error), MAE(Mean Absolute Error), CE(Cross E..

본 포스팅에서는 딥러닝이 학습하는 파이프라인을 알아보기 위해 딥러닝 학습에 필요한 4가지와 딥러닝 모델 구조 중 하나인 다층 퍼셉트론에 대해 알아보도록 하겠습니다. 딥러닝 개요 딥러닝을 구성하는 필수적인 요소에는 데이터, 모델, 손실함수, 최적화 방법 이렇게 4가지로 나누어 볼 수 있다. 모델을 학습하기 위해 필요한 데이터(Data) MNIST, Fashion MNIST 등 데이터를 원하는 연산 결과로 바꿔주기 위한 모델(Model) 다층 퍼셉트론(MLP), 컨볼루션 신경망(CNN), 순환 신경망(RNN) 등 모델의 결과에 대한 오차를 수치화하는 손실함수(Loss Function) 평균절대오차(MAE), 평균제곱오차(MSE), 교차 엔트로피(CE) 등 손실함수의 값이 최소가 되도록 모델의 파라미터를 조정..

본 포스팅의 목적은 딥러닝의 세부 내용을 살펴보기 전 딥러닝과 인공지능의 핵심 개념과 기술을 이해하고, 현재의 기술 동향을 파악할 수 있도록 딥러닝의 발전 과정을 이해하는 것이 본 포스팅의 목적입니다. 이를 위해 딥러닝의 발전 5단계에 대해 살펴보도록 하겠습니다. 딥러닝의 발전 5단계 현재까지의 딥러닝 발전 과정은 크게 다음과 같이 5단계로 나누거나 SW1.0 / SW2.0 / SW3.0 3단계로 나누어서 볼 수 있다. 규칙 기반 프로그래밍 (Rule-based programming) 전통 머신 러닝 기법 (Conventional machine learning) 딥러닝 (Deep Learning) Pre-training & Fine-Tuning Big Model & Zero/Few shot 위의 그림과..