ニューラルネットワークにおける不変量

私はニューラルネットワークの不変性について質問します。

  1. 一般に、十分なレイヤーを持つニューラルネットは、任意に複雑な非線形関数を学習できます。したがって、ニューラルネットがフーリエ変換または畳み込みをどのように学習できるかを理解することは困難ではない:(このページの最後から3段目まで: http://www.dspguide.com/ch26/3.htm )。

  2. フーリエ変換には便利な変換(シフト)不変プロパティがあります。つまり、関数/画像のFTの大きさは、

  3. 他の変換にも有用な不変量プロパティがあります。 Mellin変換はスケール不変であり、すなわち、関数/画像のMellin変換の大きさは、拡大縮小後も同じままである。

だから私の質問は、なぜニューラルネットワークが不変性を組み込んでいないのかということです。純粋にニューロン数の問題ですか?膨大な数のニューロンやレイヤーがある場合、私は不変性に組み込まれ始めますか?

(上記のリンクで説明したように、N個のサンプル信号の畳み込みを学習するには、N層の2層が必要です。 2Nより多くのニューロンが必要です。)

1

2 答え

ネットワークは、一般に、生成モデルの情報なしで識別することを学ぶ。これが、不変ではないことを学ぶ傾向がある理由です。これは、きめ細かな分類作業でも非常に優れたパフォーマンスを発揮する理由です。それらの不変性のレベルは、提供されるデータによって大きく左右されます。したがって、すべてのローテーションをカバーするようにデータを増やすと、ネットワークはローテーションに対して不変であるようになります。これは他のタイプの非自明な変換でも同様です。このような特性は、我々には示されていない変形に対して不変であることを望まないので望ましい。

彼らは、本質的に一定の不変性を発達させていると言っています。これは、主にプールメカニズムによるものです。だから、あなたが(特定の基準に対応して)あなたのプール法を設計するならば、より多くの不変性を達成することができます。

また、$ L ^ 2(R ^ d)$上のMallatの翻訳変換不変式演算子は、Lipschitz - diffeomorphismsの動作に連続しています。彼らは理論的にはコンパクトの行動に対して不変であるようにすることができる 嘘つきのグループ。

Goodfellow et。他の不変性については、ネットワークが発展する可能性があります。

畳み込みニューラルネットワークは、翻訳不変(少なくとも畳み込み層)である。これはネットワークの構造によって強制されるので、それが組み込まれていると言うことができます。

彼らはある程度まで回転不変性を学ぶことができます。

異なる解像度で入力画像をネットワークに提示することで、スケール不変性を構築することもできます。

0
追加された