【緊急】強化学習の際のmemoryブロックのステップ遅れについて
2 次查看(过去 30 天)
显示 更早的评论
お世話になっております。
memoryブロックのステップ遅れについて質問があります。
現在、MATLAB/Simulinkを通じて強化学習を行っています。
agentブロックからactionを受け渡す際に以下のようなエラーが発生します。
----------------------------------------------------------------------------------------------------------
エラー: rl.env.SimulinkEnvWithAgent>localHandleSimoutErrors (行 668)
'EAHEs/simulation/Mdl_surf_RF' の入力端子 (1) はループ内にあります。
---------------------------------------------------------------------------------------------------------
このため、例題などを確認すると、actionから環境側に受け渡す際にmemoryブロックが接続されているおり、
同様に接続を行うと解析が流れるようになりました(図)。
ただ、このブロックを使うと、初期値を入力する必要があるため、
agent側が選択した行動と環境側から返答される状態値が1ステップずれてしまうのではないかと考えました。
実際にmemoryブロックの前後でactionをmatファイルで確認したところ、1ステップ分、ずれていました。
※Unit Delayブロックでも同様の現象が発生しました。
![](https://www.mathworks.com/matlabcentral/answers/uploaded_files/826735/image.jpeg)
上記のような、行動が1ステップ遅れる現象を改善する方法はありますでしょうか。
もし、memoryブロックを使わなくても解析が流せるのであれば、方法をご教授頂きたいです。
可能であれば、お早めに回答いただけると幸いです。何卒宜しくお願い致します。
0 个评论
采纳的回答
Toshinobu Shintai
2021-12-8
強化学習のエージェントブロック(RL Agent)は離散時間で動作していますので、連続時間のモデルと接続する際には遅延要素は必ず必要になります。あるべきモデリングとしては、離散時間と連続時間の間をRate Transitionブロックで繋ぐ方法をおすすめします。
3 个评论
Toshinobu Shintai
2021-12-8
離散時間のシステムが実行していない時、つまり前回実行時と次回実行時の間は、前回実行時の値で出力が固定されます。先程のコメントにも書きましたが、何らかの形で遅延は必ず発生します。理解を深めたい場合は、「離散時間システムの制御」を説明した教科書や動画などをご確認ください。
連続時間から離散時間に渡すRate Transitionブロックは0.02、離散時間から連続時間に渡す方は-1の設定でよいです。
時刻0の時点で連続時間のモデルへ入力するために、memoryブロックで指定したような初期値は必ず必要になります。
更多回答(0 个)
另请参阅
Community Treasure Hunt
Find the treasures in MATLAB Central and discover how the community can help you!
Start Hunting!