전체 글

본 포스팅은 밑바닥부터 시작하는 딥러닝 3 책의 내용을 공부한 후 개인적으로 중요하다고 생각되는 내용들을 정리하는 것이 목적입니다. 해당 책은 큰 맥락을 '고지'로 나누고 있으며 총 5고지가 있으며 각 고지의 세부 내용을 'step'으로 분리해서 학습합니다. 1개의 고지를 학습하고 포스팅 할 경우 내용이 너무 길어져 가독성 측면을 고려해 각 고지의 절반에 해당하는 내용들을 하나의 포스팅에서 다룰 예정입니다. 혹시 틀린 내용이 있다면 피드백은 항상 환영입니다🤗 저번 포스팅까지의 다룬 방법에서는 약간의 제약성이 존재했는데 바로 입력 또는 출력 변수가 여러 개가 되는 경우에는 대응하지 못한다는 점이다. 이번 포스팅에서는 가변적인 길이의 입력, 출력 변수에도 대응이 가능하고 더 나아가 일직선 계산 그래프가 아닌..

본 포스팅은 밑바닥부터 시작하는 딥러닝 3 책의 내용을 공부한 후 개인적으로 중요하다고 생각되는 내용들을 정리하는 것이 목적입니다. 해당 책은 큰 맥락을 '고지'로 나누고 있으며 총 5고지가 있으며 각 고지의 세부 내용을 'step'으로 분리해서 학습합니다. 1개의 고지를 학습하고 포스팅 할 경우 내용이 너무 길어져 가독성 측면을 고려해 각 고지의 절반에 해당하는 내용들을 하나의 포스팅에서 다룰 예정입니다. 혹시 틀린 내용이 있다면 피드백은 항상 환영입니다🤗 Step5. 역전파 이론 이전 포스팅에서 수치 미분을 통해 간단하게 미분을 구현하는 방법에 대해서 알아보았다. 하지만 수치 미분은 각 변수에 대해서 모두 미분값을 계산해 주어야 하다 보니 계산량 측면에서 효율이 떨어지며 유효 자릿수 때문에 값의 손실..

본 포스팅은 밑바닥부터 시작하는 딥러닝3 책의 내용을 공부한 후 개인적으로 중요하다고 생각되는 내용들을 정리하는 것이 목적입니다. 해당 책은 큰 맥락을 '고지'로 나누고 있으며 총 5고지가 있으며 각 고지의 세부 내용을 'step'으로 분리해서 학습합니다. 1개의 고지를 학습하고 포스팅 할 경우 내용이 너무 길어져 가독성 측면을 고려해 각 고지의 절반에 해당하는 내용들을 하나의 포스팅에서 다룰 예정입니다. 혹시 틀린 내용이 있다면 피드백은 항상 환영입니다🤗 Step1. 상자로서의 변수 프로그래밍에서 흔히 변수는 상자라는 개념을 통해 설명되곤 한다. 변수를 상자안에 넣는다는 개념에서 살펴보면 다음과 같이 변수의 성질을 제법 잘 보여준다. 상자와 데이터는 별개다. 상자에는 데이터가 들어간다. (대입 또는 할..

1. 경진대회 개요1. 개요부동산은 의식주에서의 주로 중요한 요소 중 하나입니다. 이러한 부동산은 아파트 자체의 가치도 중요하고, 주변 요소 (강, 공원, 백화점 등)에 의해서도 영향을 받아 시간에 따라 가격이 많이 변동합니다. 개인에 입장에서는 더 싼 가격에 좋은 집을 찾고 싶고, 판매자의 입장에서는 적절한 가격에 집을 판매하기를 원합니다. 부동산 실거래가의 예측은 이러한 시세를 예측하여 적정한 가격에 구매와 판매를 도와주게 합니다. 그리고, 정부의 입장에서는 비정상적으로 시세가 이상한 부분을 체크하여 이상 신호를 파악하거나, 업거래 다운거래 등 부정한 거래를 하는 사람들을 잡아낼 수도 있습니다. 저희는 이러한 목적 하에서 다양한 부동산 관련 의사결정을 돕고자 하는 부동산 실거래가를 예측하는 모델을 개..

본 포스팅은 2017년 NIPS 학회에 등록된 LightGBM paper에 대한 리뷰와 설명에 관한 글입니다. 1. Abstract 본 논문의 초록을 간단히 요약하면 다음과 같다. Gradient Boosting Decision Tree(GBDT)의 경우 인기 있는 머신러닝 알고리즘이지만, 모든 feature, 모든 data instances의 scan을 통해 Gradient를 측정해야 하기 때문에, 계산복잡성이 feature, instance의 수에 비례$O(data * feature)$하게 되어 데이터의 크기가 커질수록 시간이 많이 소요된다는 점을 지적하였다. feature의 차원과 data size가 커지면 efficiency와 scalability의 관점에서 여전히 만족스럽지 못하기 때문에 이러한..

본 포스팅에서는 Feature Selection의 중요성과 여러 가지 Feature Selection의 방법들에 대해서 자세히 알아보도록 하겠습니다. Feature Selection이란 학습에 필요한 변수들을 중요도에 따라 선택하는 과정 (모델 학습에 불필요한 변수들을 생략하는 과정)으로 변수의 중요도를 어떻게 정의하고, 평가할지에 따라 방법론이 나뉩니다.대표적인 변수선택의 3가지 접근법으로는 다음과 같은 방법들이 있으며 변수의 중요도를 평가하는 방법, 기준에 따라 분류합니다.Filter methods : 변수들간 통계적 관계를 기반으로 변수의 중요도 설정e.g) 상관관계, 분산 기반 방법Wrapper methods : 실제 머신러닝 모델의 성능을 기반으로 변수의 중요도 설정 (검증 결과에 기반)e.g)..