LASSOの幾何学的解釈とLARSとの関係

昨日と今日のブログの流れで、LASSOの幾何学的な解釈を考えました。

「LASSOは残差にペナルティ項を足したもの（目的関数）」を最小にする方法でした。

この目的関数は、幾何学的には次のように表現できると思います。

ベクトル(y-βx)の方向にペナルティの分だけ伸ばした青いベクトルの長さが、目的関数だと考えます。

ペナルティはβの定数倍なので目的関数のベクトルは、βを動かすとzのような軌跡を描くはずです。

そしてyからzへの射影がLASSOの推定値なのではないでしょうか。

ちなみにリッジ回帰はβの二乗がペナルティなので、zも二次関数状になると思います。

また灰色の矢印のようにλが大きいとzはxから遠ざかり、λが小さいとzはxに近づきます。

そしてLASSOのβは、0と線形回帰のβの間にあるということも納得できます。

さらに図からλが小さくなると、LASSOのβは線形回帰のβに近づくことも分かります。

「そしてLASSOのβは、0と線形回帰のβの間にある」という事実は、LARSのそれと同じですね。

そのせいでLASSOとLARSの性能が似ているのかもしれません。