DEV/PyTorch

본 포스팅은 밑바닥부터 시작하는 딥러닝 3 책의 내용을 공부한 후 개인적으로 중요하다고 생각되는 내용들을 정리하는 것이 목적입니다. 해당 책은 큰 맥락을 '고지'로 나누고 있으며 총 5 고지가 있으며 각 고지의 세부 내용을 'step'으로 분리해서 학습합니다. 1개의 고지를 학습하고 포스팅할 경우 내용이 너무 길어져 가독성 측면을 고려해 각 고지의 절반에 해당하는 내용들을 하나의 포스팅에서 다룰 예정입니다. 혹시 틀린 내용이 있다면 피드백은 항상 환영입니다🤗 본 포스팅에서는 여태껏 구현한 우리의 딥러닝 프레임워크를 통해 RNN 구현과 RNN 계열 모델인 LSTM에 대해 알아보고 구현해 보도록 하겠습니다. 1. 시계열 데이터 처리에 적합한 RNN 이번 목차에서는 보다 시계열 처리에 적합하다고 알려져 있는 ..

본 포스팅은 밑바닥부터 시작하는 딥러닝 3 책의 내용을 공부한 후 개인적으로 중요하다고 생각되는 내용들을 정리하는 것이 목적입니다. 해당 책은 큰 맥락을 '고지'로 나누고 있으며 총 5 고지가 있으며 각 고지의 세부 내용을 'step'으로 분리해서 학습합니다. 1개의 고지를 학습하고 포스팅할 경우 내용이 너무 길어져 가독성 측면을 고려해 각 고지의 절반에 해당하는 내용들을 하나의 포스팅에서 다룰 예정입니다. 혹시 틀린 내용이 있다면 피드백은 항상 환영입니다🤗 본 포스팅은 그동안 만들어온 우리들의 딥러닝 프레임워크를 통해 더 복잡한 연산인 CNN, RNN도 구현할 수 있도록 기능을 고도화할 것이다. 그리고 난 후 CNN 계열의 모델인 VGG16을 구현해 볼 것이다. 1. CNN 메커니즘(1) CNN을 코드..

본 포스팅은 밑바닥부터 시작하는 딥러닝 3 책의 내용을 공부한 후 개인적으로 중요하다고 생각되는 내용들을 정리하는 것이 목적입니다. 해당 책은 큰 맥락을 '고지'로 나누고 있으며 총 5 고지가 있으며 각 고지의 세부 내용을 'step'으로 분리해서 학습합니다. 1개의 고지를 학습하고 포스팅 할 경우 내용이 너무 길어져 가독성 측면을 고려해 각 고지의 절반에 해당하는 내용들을 하나의 포스팅에서 다룰 예정입니다. 혹시 틀린 내용이 있다면 피드백은 항상 환영입니다🤗 이번 포스팅에서는 그동안 만들어온 나만의 딥러닝 프레임워크를 더 큰 도전을 향해 나아가도록 발전시켜 보도록 하겠습니다. 학습시킨 모델의 파라미터를 로드하거나 저장하는 기능뿐만 아니라 Overfitting을 방지하기 위한 Dropout과 같은 기능을..

본 포스팅은 밑바닥부터 시작하는 딥러닝 3 책의 내용을 공부한 후 개인적으로 중요하다고 생각되는 내용들을 정리하는 것이 목적입니다. 해당 책은 큰 맥락을 '고지'로 나누고 있으며 총 5고지가 있으며 각 고지의 세부 내용을 'step'으로 분리해서 학습합니다. 1개의 고지를 학습하고 포스팅 할 경우 내용이 너무 길어져 가독성 측면을 고려해 각 고지의 절반에 해당하는 내용들을 하나의 포스팅에서 다룰 예정입니다. 혹시 틀린 내용이 있다면 피드백은 항상 환영입니다🤗 저번 포스팅까지의 다룬 방법에서는 약간의 제약성이 존재했는데 바로 입력 또는 출력 변수가 여러 개가 되는 경우에는 대응하지 못한다는 점이다. 이번 포스팅에서는 가변적인 길이의 입력, 출력 변수에도 대응이 가능하고 더 나아가 일직선 계산 그래프가 아닌..

본 포스팅은 밑바닥부터 시작하는 딥러닝 3 책의 내용을 공부한 후 개인적으로 중요하다고 생각되는 내용들을 정리하는 것이 목적입니다. 해당 책은 큰 맥락을 '고지'로 나누고 있으며 총 5고지가 있으며 각 고지의 세부 내용을 'step'으로 분리해서 학습합니다. 1개의 고지를 학습하고 포스팅 할 경우 내용이 너무 길어져 가독성 측면을 고려해 각 고지의 절반에 해당하는 내용들을 하나의 포스팅에서 다룰 예정입니다. 혹시 틀린 내용이 있다면 피드백은 항상 환영입니다🤗 Step5. 역전파 이론 이전 포스팅에서 수치 미분을 통해 간단하게 미분을 구현하는 방법에 대해서 알아보았다. 하지만 수치 미분은 각 변수에 대해서 모두 미분값을 계산해 주어야 하다 보니 계산량 측면에서 효율이 떨어지며 유효 자릿수 때문에 값의 손실..

본 포스팅은 밑바닥부터 시작하는 딥러닝3 책의 내용을 공부한 후 개인적으로 중요하다고 생각되는 내용들을 정리하는 것이 목적입니다. 해당 책은 큰 맥락을 '고지'로 나누고 있으며 총 5고지가 있으며 각 고지의 세부 내용을 'step'으로 분리해서 학습합니다. 1개의 고지를 학습하고 포스팅 할 경우 내용이 너무 길어져 가독성 측면을 고려해 각 고지의 절반에 해당하는 내용들을 하나의 포스팅에서 다룰 예정입니다. 혹시 틀린 내용이 있다면 피드백은 항상 환영입니다🤗 Step1. 상자로서의 변수 프로그래밍에서 흔히 변수는 상자라는 개념을 통해 설명되곤 한다. 변수를 상자안에 넣는다는 개념에서 살펴보면 다음과 같이 변수의 성질을 제법 잘 보여준다. 상자와 데이터는 별개다. 상자에는 데이터가 들어간다. (대입 또는 할..