強化学習の学習済み方策の転移について

Question

一馬平田 2021-8-1

回答： Hiro Yoshino 2021-8-2

お世話になります。

強化学習(DQN)の学習済み方策を別の制御モデルに転移させる時、学習済みのQ-Networkを転移させることは可能でしょうか。

また、転移学習の例題では最終層以外の層の学習率を0にすることで最終層以外の重みを凍結させていましたが、一部の層の重みのみを凍結することは可能でしょうか。

Answer 1

Hiro Yoshino 2021-8-2

やったことが無いのですが、可能だと思います。

DQN なので、rlQValueRepresentation で学習済みのネットワークを渡せば良いと思います。

また、学習済みのネットワークを追加で学習する際に、一部のレイヤーの一部のパラメータの学習率をコントロールすることが任意で可能です。setLearnRateFactor で任意のパラメータの学習係数を指定できます。

これにグローバルの学習率が掛け合わさって、そのパラメータの学習率になります。従って、これを使ってゼロを設定すれば、そのパラメータは学習において更新されません。