PReLU起動機能更新ルール

私はちょうどレクティファイアーへ深く浸透するの記事を読み終えました。本稿では、PReLUと呼ばれる新しいアクティベーション機能を提案する。この論文では言及していないので、明らかであるかもしれませんが、PReLUのパラメータがいつ更新されるかを知りたいのですが?体重更新前または体重更新後に更新されていますか?

1

1 答え

ウェイト更新前またはウェイト更新後に更新されますか?

NNフレームワークがパラメータの更新ステージから別の勾配計算ステージを持っていれば、通常は重要ではありません。

勾配は、すべての重みとパラメータを現在の値(バックプロパゲーション中)で収集する必要があります。これらの勾配を使用してパラメータが更新されます。更新ステップ中にパラメータ間の相互作用はありません。

ただし、トレーニングコードを最初から実装し、グラデーションの計算と重みの更新をインターリーブした場合、これは純粋なオンライン状況でのみ動作し、グラデーションが計算されるにつれて重みが更新されます。このシナリオでは、同じレイヤーのPReLUパラメータを更新する前に、 レイヤーの重みを更新して、計算中にグラジェントを変更するアクティブ化関数の変更を防ぐ必要があります(これは、通常の体重更新)。

あるいは、勾配計算を重み更新ステップから分離することもできます。これはより柔軟で、他の高度な最適化やレイヤーデザインを使用することができます。

1
追加された