ファクタライゼーションマシン - オーバーフィット防止

私は最近、インタビューでこの質問をして、「2次相互作用を使用しているときに、因子分解機械が過度の問題をどのように回避するのか」という答えがどうかと疑問を呈しました。

4

2 答え

私が思っているオリジナル論文の抜粋質問を理解するための鍵:

  •   

    各インタラクションに独自のモデルパラメータを使用する代わりに、   FMはそれを因数分解することによって相互作用をモデル化する。私たちは後で見るでしょう、   これが高品質パラメータを可能にする重要なポイントであること   スパース性の下で高次の相互作用の推定値。

  •   

    ファクタライゼーションマシンは、これらでもインタラクションを推定できます   相互作用の独立性を損なうため、設定(希薄なデータ)もうまくいきます   パラメータをそれらを因数分解して求める。一般に、これは、データ   1つの相互作用のために、関連する   相互作用。

言い換えれば、2次相互作用ごとに独立したパラメータをフィッティングする代わりに、パラメータ空間とモデルの複雑さを低減するパラメータを因数分解するため、モデルのオーバーフィッティングが起こりにくくなります。

これが質問のいくつかの側面を理解するのに役立つことを願っています。

6
追加された

元の論文では言及されていませんが、L2正規化をモデルに追加することができます。第1次加重と第2次加重にもL2-regを加えることができます。 十分なデータがない場合は、2次ランクを制限することもできます。

0
追加された