LASSOの幾何学的解釈とLARSとの関係

昨日と今日のブログの流れで、LASSOの幾何学的な解釈を考えました。

「LASSOは残差にペナルティ項を足したもの(目的関数)」を最小にする方法でした。


この目的関数は、幾何学的には次のように表現できると思います。

f:id:isseing333:20110310194636p:image

ベクトル(y-βx)の方向にペナルティの分だけ伸ばした青いベクトルの長さが、目的関数だと考えます。

ペナルティはβの定数倍なので目的関数ベクトルは、βを動かすとzのような軌跡を描くはずです。

そしてyからzへの射影がLASSOの推定値なのではないでしょうか。

ちなみにリッジ回帰はβの二乗がペナルティなので、zも二次関数状になると思います。



また灰色の矢印のようにλが大きいとzはxから遠ざかり、λが小さいとzはxに近づきます。

そしてLASSOのβは、0と線形回帰のβの間にあるということも納得できます。

さらに図からλが小さくなると、LASSOのβは線形回帰のβに近づくことも分かります。



「そしてLASSOのβは、0と線形回帰のβの間にある」という事実は、LARSのそれと同じですね。

そのせいでLASSOとLARSの性能が似ているのかもしれません。

ページTOPへ