機械学習の文脈でKRR(Kernel Ridge Regression)という単語にぶつかったので
その手法について調査しました。
将来の自分のためにまとめておきます。
全体から見た位置付け
カーネルリッジ回帰(KRR)は、回帰問題における正則化手法である「リッジ回帰」に
非線形問題への対応のための手法である「カーネル法」を適用したものです。
機械学習の目的として、大きく分けると「分類問題」と「回帰問題」があります。 「分類問題」は入力されたデータがどのようなジャンルに属しているかを判断させることが目的です。 一方、「回帰問題」は入力されたデータに対応する別の値を推定することが目的です。
機械学習の目的として、大きく分けると「分類問題」と「回帰問題」があります。 「分類問題」は入力されたデータがどのようなジャンルに属しているかを判断させることが目的です。 一方、「回帰問題」は入力されたデータに対応する別の値を推定することが目的です。
分類問題
画像を入力して「これはリンゴ！」、「これはみかん！」とかって答えさせるやつです。
わかるよね
回帰問題
離散的なデータからそれらのデータがどのような分布のもとで生成されたのかを推定する
やつです。
期末考査の点数と体力テストの点数のデータが与えられて、どんな法則があるのかな〜？を
考えます。
で、このうち回帰問題の性能を上げるための手法の一つに「正則化」と呼ばれるものがあります。
正則化とは、
数学・統計学・計算機科学において、特に機械学習と逆問題において、
正則化（せいそくか、英: regularization）とは、
不良設定問題を解いたり過学習を防いだりするために、情報を追加する手法である。
-- wikipedia(https://ja.wikipedia.org/wiki/正則化)より
-- wikipedia(https://ja.wikipedia.org/wiki/正則化)より
であるらしいです。リッジ回帰はここに含まれます。詳しくはまた後で説明します。
回帰問題の基本的な手法として、線形回帰というものがあります。
文字通り線形な関数に従うという結論を出す回帰分析です。
この方法では性能に限界があるのは直感的に分かりますね。
ほら、(学力の)偏差値が極端に高い人と低い人は運動ができなくて、偏差値真ん中くらいの
人のほうが運動できるみたいな。(？)
そこで、曲がった境界線にも適応できる回帰手法の出番となるわけです。 その手法の一つに「カーネル法」があります。
そこで、曲がった境界線にも適応できる回帰手法の出番となるわけです。 その手法の一つに「カーネル法」があります。
リッジ回帰(Ridge Regression)
今日はここまで。。。(11/29)