kaggle関連(機械学習全般)のリンクをなんでも書いていくページ。迷ったら書いてOK。新しいのを上に追加していく(記事の日付順でなく、見つけた順でOK)。

コンペティションサイト

時期によっては、手頃なコンペがKaggleで開催されていないこともあります。その際には、次のようなKaggle以外のプラットフォームも検討すると良いでしょう。日本発のサイトの場合、言語が日本語でも記載されているため取っつきやすいかもしれません。その他、「KDD CUP」などの学会併設のコンペや、企業が独自に開催するコンペもあります。

リンク備考
SIGNATE 日本語
ProbSpace 日本語
Nishika 日本語
atmaCup 日本語
Solafune 日本語
DrivenData 英語
Topcoder 英語
AIcrowd 英語
2020年に学会コンペに3つ参加したので感想など 
Kaggleの「おすすめコンペは何?」への答えを考えた 

日々の情報収集

リンク備考
Weekly Kaggle News - substack 日本語でKaggle関連の話題を取り扱っているニューズレター
Weekly Kaggle News - archive Archive
twitter Kaggle リスト twitterのkagglerリスト

イベント

Kaggle Meetup Tokyo

リンク備考
https://www.youtube.com/watch?v=2RydQQDeIGU Kaggle meetup 2023の配信動画
https://togetter.com/li/2265790 Kaggle meetup 2023の toggeter
https://connpass.com/event/105298/presentation/ Kaggle meetup #5の資料
https://www.youtube.com/playlist?list=PLkBjLQIGEjJlciM9lEz1AsuZZ8lDgyxDu Kaggle meetup #4の動画プレイリスト
http://yutori-datascience.hatenablog.com/entry/2018/05/14/113131 Kaggle meetup #4の資料が沢山
http://yutori-datascience.hatenablog.com/entry/2017/10/29/205433 Kaggle meetup #3の資料が沢山
Kaggle Meetup2Kaggle meetup #2の資料
Kaggle Meetup1Kaggle meetup #1の資料

Kaggle Advent Calendar

リンク備考
Kaggle Advent Calendar 2023 
Kaggle Advent Calendar 2022 
Kaggle Advent Calendar 2021 
Kaggle Advent Calendar 2020 
Kaggle Advent Calendar 2019 企画 
Kaggle Advent Calendar 2019 その2 
Kaggle Advent Calendar 2019 その1 
Kaggle Advent Calendar 2018 その2 
Kaggle Advent Calendar 2018 その1 
Kaggle Advent Calendar 2017 

分析コンペLT会

リンク備考
第3回分析コンペLT会 
第2回分析コンペLT会 
ニッチな分析コンペLT会 
分析コンペLT会 

その他

リンク備考
ML Study #3「機械学習コンペ」 , YouTube 

コンペ全般

リンク備考
Kaggle Past Solutions ,
KaggleDB ,
Tips for data science competitions Owenさんの超有名スライド

探索的データ分析

リンク備考
Advanced exploratory data analysis (EDA) with Python 

交差検証

リンク備考
Cross Validationはなぜ重要なのか 
validationの切り方いろいろ(sklearnの関数まとめ) 
CPCV(Combinatorial Purged Cross-Validation)法 
時系列データのvalidationに関する質問に回答します 

特徴量エンジニアリング

リンク備考
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング 
【随時更新】Kaggleテーブルデータコンペできっと役立つTipsまとめ 
機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 書籍
前処理大全[データ分析のためのSQL/R/Python実践テクニック] 書籍
データサイエンス100本ノック構造化データ加工編ガイドブック 書籍
2020年、最もお世話になった解法を紹介します 
序盤に試すテーブルデータの特徴量エンジニアリング 
遅くないpandasの書き方 
テーブルデータ向けの自然言語特徴抽出術 
p値を用いたTarget Encoding 
Python: xfeat を使った特徴量エンジニアリング 

アルゴリズム

勾配ブースティング決定木

リンク備考
LightGBM 
勾配ブースティングで大事なパラメータの気持ち 
有名ライブラリと比較した LightGBM の現在 
lightgbm カテゴリカル変数と欠損値の扱いについて+α 
CatBoost 
XGBoost 

ニューラルネットワーク

リンク備考
TabNetのTuningの勘どころ 
PytorchのDataLoaderの高速化のコツについてすこし解説 
Troubleshooting Deep Neural Networks 
TabNet 
TabNetとは一体何者なのか? 
テーブルデータに使えるNNモデルの備忘録(PyTorch) 
PyTorchチュートリアル(日本語翻訳版) 
PyTorch Lightning 2021 (for MLコンペ) 
PyTorch 三国志(Ignite・Catalyst・Lightning) 
Deepでポン用実験管理ツール(サービス)の比較2021 
TensorFlow 
Deep Learning for tabular data 
Deep Learning for Tabular Data: A Bag of Tricks 

不均衡データ

リンク備考
私のブックマーク:不均衡データ分類 

アンサンブル

リンク備考
KAGGLE ENSEMBLING GUIDE  kaggler御用達のアンサンブル手法について紹介。2022年現在閲覧できない状況になっている(アーカイブ 
黒魔術への招待:Neural Network Stacking の探求 

自然言語処理

リンク備考
言語処理100本ノック 
Approaching (almost) Any NLP Problem 
Hugging Face謹製のTrainerが結構便利というお話 
NLP初手はどれ?〜Kaggle Notebookの人気ランキングと簡単な精度比較〜 
2021年のKaggle NLPコンペソリューションの共通戦略から学ぶ 
CommonLit Readability Prizeから学ぶSentence BERTによるnoisy labelの吸収 
ゼロから始める転移学習 
AI王 〜クイズAI日本一決定戦〜 第2回コンペティション 振り返り 
Kaggle Feedback Prizeコンペ 反省会 
文章有害性評価コンペティションへの挑戦 
KaggleのJigsawで銀メダルを獲得した解法等 
Huggingface transformersモデルのONNX runtimeによる推論の高速化 

画像認識

リンク備考
第9回:Kaggleの「画像コンペ」とは--取り組み方と面白さを読み解く 
iMet 7th place solution & my approach to image data competition 
kaggle_cv_pipeline 
【Kaggle】2020年に開催された画像分類コンペの1位の解法を紹介します 
物体検出ライブラリの紹介と所感 
Facebook AI主催の画像のコピー検知のコンペで入賞した際の取り組み 
kaggleクジラコンペ2022 上位者解法まとめ 
Kaggle Happywhale – Whale and Dolphin Identificationで優勝&10位でソロ金メダルを獲得しました 
機械学習チームで論文読み会を実施してみました(A ConvNet for the 2020s解説) 
深層学習によるセマンティックセグメンテーションとその最新動向 
画像に対する自己教師あり表現学習手法について  
[第4回 全国医療AIコンテスト] Kaggleから学んだ医療画像データ解析の取り組み方 
Nishika AI×商標:イメージサーチコンペティション 2nd place solution 
論文読み会「When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanism」 
【🛰MScup】超解像コンペで11位だったけど,やったことまとめまくる 

リンク備考
HuggingSoundによる音声認識モデルのfine-tuning 
鳥コンペ三部作についてざっくり振り返りたい 

推薦

リンク備考
推薦システム実践入門――仕事で使える導入ガイド , 書評 
recsys-python 

強化学習

リンク備考
2020年のKaggle強化学習コンペティションとか強化学習フレームワークをざっと紹介 
シミュレーションコンペで強化学習を始める時のTips 
ゼロから作るDeep Learning ❹ 強化学習編 書籍

環境構築

計算資源

リンク備考
GCPとDockerでKaggle用計算環境構築 
Kaggle用のGCP環境を手軽に構築 
Kaggleの画像コンペのためのGCPインスタンス作成手順(2019年10月版) 
Colaboratoryで分析コンペをする時のテクニック集 
新しくKaggle用のマシンを調達しました(2020年ver) 
コンペのためにLambdaPCを購入してみたお話 
GoogleColaboratoryの使い方入門(2022年度HIU伊藤ゼミ) 

実験・コード管理

リンク備考
Jupyter Notebook のグローバル変数汚染との戦い 
分析コンペをチームで戦うための技術 
kaggle の notebook コンペで役に立ちそうなディレクトリ構成の話 
機械学習実験環境を晒す 
Pytorch-lightning+Hydra+wandbで作るNN実験レポジトリ 
KaggleへのサブミットをGithub Actionsを使って自動化する 
【Kaggle】読みやすいKernelを書くために意識している4つのTips 
githubのcodeをgithub actionsの機能を使ってkaggle datasetにアップロードする 
Github 上の自分のコードを Kaggle Code Competition で使うのを CI で自動化 
Time-series code competitionで生き残るには 

体験記

GrandMaster・Master

リンク備考
Kaggle Competitions Master になりました! 
「面白い」ことが絶対条件。GrandmasterとMasterが指南するKaggleの“勝ち方”と“楽しみ方” 
Kaggle Grandmasterになるまでの7年間の軌跡 
予測モデルの気持ちで考える―。Kaggle上級者が説く、データ分析で“勝つ”術 
仕事も友達もKaggleで得た―。敏腕データサイエンティストが熱中する、分析で「競う」世界 
Kaggle Grandmaster になるまでを振り返る 
Kaggle で10年遊んだ GrandMaster の振り返り 
Kaggle Masterになるまでを振り返る 
【Kaggle Master】になるまでとその後 
Kaggle Master になりました! 
Kaggle Master になりました。 
Profiling Top Kagglers: Bestfitting Currently #1 in the World 
Profiling Top Kagglers: Leustagos Current #7 / Highest #1 
Profiling Top Kagglers: KazAnova Currently #2 in the World 
Profiling Top Kagglers: Owen Zhang Currently #1 in the World 
Profiling Top Kagglers: Gilberto Titericz New #1 in the World 

メダル・Expert獲得

リンク備考
【Kaggle】初心者による初心者のためのコンペ初参加ガイド 
kaggleで初メダルを獲得しました!!!(4ヶ月でExpertになれました) 
初心者チームでkaggleコンペに参加して銅メダルを取った話 
Kaggleの画像コンペに初心者だけでチーム組んで挑んでみたら銅メダル取れた話 
Titanic終了後の壁 
Kaggle Expertになるまで勉強したことを全て書く 
Kaggleへ一歩踏み出せないあなたに 
Kaggle初コンペの振り返り〜Riiidコンペで銀メダル獲得〜 
Kaggle初心者の自分がOSICコンペでソロ2位を取った話 
どんな人がkaggleを始めて4ヶ月でCompetitions Expertになったのか 
問題を理解したらkaggleのコンペでソロ銀メダルをゲットした話 
<実践>はじめてのKaggle体験記 
Kaggle参戦記 〜入門からExpert獲得までの半年間の記録 & お役立ち資料まとめ〜 
kaggle初心者の私が3ヶ月でソロゴールドを獲得した方法 
機械学習の勉強歴が半年の初心者が、 Kaggle で銅メダルを取得した話 

その他

リンク備考
対談!Kaggle Grandmasterの仕事とは【DeNA TechCon 2022】 
Kaggle スキルのビジネス活用 
Kaggle Expert(銅2)は転職で役に立つのか 
CompetitionだけではないKaggleの魅力 
【Kaggle挫折しそうな方向け】AtCoderのススメ