私は他の数値的な特徴と一緒にバイナリのフィーチャをスケールすることになっていますか?

私のデータをきれいにしているとき、私は大きな数字といくつかのバイナリ機能を持っているいくつかの機能を持っています。大きなフィーチャをスケールし、バイナリカラムを追加するか、それらをすべて一緒にスケーリングする必要がありますか?

私の恐れは、それらを一括してスケーリングすれば、バイナリのフィーチャは実際よりも重要でないように見えるということです。

注:私はバイナリ分類のためのニューラルネットワークを準備しています。私はシグモイド出力を使用しており、[0,1]

1
通常、バイナリフィーチャは$ \ {0,1 \} $で表されます。このような機能を0から1の範囲にスケールすると、影響を受けません。 ($ \ { - 1,1 \} $で始まるか、または0、標準偏差1を意味するようにスケーリングするなど)何かをしているかどうかを明確にすることができますか?
追加された 著者 Jeff Ferland,

1 答え

あなたが理解する必要がある2つの重要な概念があります。

  • 機能を拡大しても、ニューラルネットワークの「重要度」には影響しません

直観的には、あなたのニューラルネットワークは、重力を学習することによって、どの機能が重要かどうかを学習します。

  • フィーチャを拡大縮小するとコンバージェンスがスピードアップし、オーバーシューティングやローカル最適化のリスクが制限されます。数値でも意味があります。

直感的に、スケーリングフィーチャーは、フィーチャーが拡大縮小されている場合(右側の図)、収束パスがおそらく短くなるため、トレーニングをより迅速に行うことができます。

また、非常に大きくて小さな値がある場合、重みの一部が非常に低くなる可能性があり、数値的な問題が発生し、モデルのパフォーマンスが低下する可能性があるため、フィーチャのスケールを数値で表すこともできます。

enter image description here

0
追加された