본문 바로가기

Light gbm

(2)
Gradient Boost 이 글은 StatQuest with Josh Starmer 의 StatQuest: Gradient Boost Part1 영상을 보고 정리한 글이다. 모든 사진과 설명에 대한 출처는 여기에 있다. 이번 글에서는, Boosting 중, 비교적 최근에 많이 쓰이는 Gradient Boost 에 대해 정리해보려고 한다. Kaggle 에서 많이보이는 XGboost 와 Light GBM 이 Gradient Boost 를 바탕으로 나온 모델이다. 사실상 현재 제일 많이쓰이는 Tree 계열의 모델을 이해하는데 기초적인 지식을 쌓는다고 볼 수 있다. 1. AdaBoost 다시 상기해보기. Gradient Boosting 은 이전에 포스팅한 AdaBoost 와 비슷한 부분이 있기 때문에, 먼저 AdaBoost 를 빠르게 ..
[Predict Future Sales] playground 커널 리뷰 2 이 글은Future Sales Prediction: playground커널의 리뷰입니다. 코드 및 아이디어는 모두 커널의 원 제작자에게 있으며, 이 글은 해당 커널을 좀 더 이해하기 쉽게하기 위한 리뷰입니다. 5. Data Preparation Feature Creation 도 끝났고, 이제 본격적으로 모델을 만들어보려고 합니다. 그 전에, train dataset 을 모델에 들어갈 모양으로 만들어보겠습니다. 최종적으로는 지금까지 만든 모든 feature 들을 모두 합친 데이터프레임을 만들건데, 이 과정 중에 메모리가 매우 많이 사용될 수 있습니다. 따라서, 먼저 데이터프레임을 최대한 메모리 최적화 시켜놔야 합니다. 예를 들면, category feature는 데이터 타입을 category 화 시켜줘야하..