reinforcement learning toolboxでの行動選択について、状態から選ばれる行動を制限することは可能でしょうか

Question

RU SnRG 2021-3-25

0
链接

此问题的直接链接

https://ww2.mathworks.cn/matlabcentral/answers/783516-reinforcement-learning-toolbox

评论： RU SnRG 2021-3-30

采纳的回答： Hiro Yoshino

在 MATLAB Online 中打开

現在、reinforcement learning toolboxを用いて、三目並べ(tic tac toe)の強化学習を試みている初学者です。

https://qiita.com/HYCE/items/102b2d58218271cc61eb

上記のQiitaの記事を参考に、ActionInfoとObservationInfoを以下のようにしています。　

ObservationInfo = rlNumericSpec([3 3]);
ActionInfo = rlFiniteSetSpec([1 2 3 4 5 6 7 8 9]);

左上のマスから順に１～９として、どこかのマスを選択する、といった形です。

しかし、これだと絶対に入らないマスを選択してしまい、無駄な行動が増えてしまいます（例えば、左上のマスは既に相手が取っているにもかかわらず、行動で１を選択してしまうなど）。このような無駄な行動を避けるために、現在の状態を確認して選択できない行動はあらかじめ除外するといったことをしたいのですが、そのようなことは可能でしょうか？可能でしたらやり方を教えていただきたいです。

0 个评论
显示 -2更早的评论隐藏 -2更早的评论

请先登录，再进行评论。

请先登录，再回答此问题。

Answer 1

Hiro Yoshino 2021-3-26

0
链接

此回答的直接链接

https://ww2.mathworks.cn/matlabcentral/answers/783516-reinforcement-learning-toolbox#answer_658621

在 MATLAB Online 中打开

現状では、探索方策をカスタマイズする方法があるようです。

https://www.mathworks.com/help/reinforcement-learning/ug/custom-agents.html

連続空間なので少し状況が異なるかと思いますが：

function action = getActionWithExplorationImpl(obj,Observation)
    % Given the current observation, select an action
    action = getAction(obj,Observation);
    
    % Add random noise to the action
    num = size(obj.R,1);
    action = action + 0.1*randn(num,1);
end