離散行動を複数持つQ関数の作成

Question

Y. M 2020-10-20

0
链接

此问题的直接链接

https://ww2.mathworks.cn/matlabcentral/answers/619798-q

评论： Y. M 2020-10-21

采纳的回答： Hiro Yoshino

在 MATLAB Online 中打开

rlFiniteSetSpec を使い、複数の離散行動を持つQ関数を作成したいのですが、

InputとDimensionの数が合わずエラーが返されてしまいます。

現在コードは下記のようにしているのですが、

DimensionをInputの数に合わせる方法はないでしょうか。

初歩的な質問となってしまいますが、

教えていただけますと幸いです。

%Actionに関するコード抜粋
NA = 5;
actInfo =rlFiniteSetSpec(NA);
actPath = [
    featureInputLayer(NA,'Normalization','none','Name','action')  
    fullyConnectedLayer(50,'Name','CA1')]

0 个评论
显示 -2更早的评论隐藏 -2更早的评论

请先登录，再进行评论。

请先登录，再回答此问题。

Answer 1

Hiro Yoshino 2020-10-20

0
链接

此回答的直接链接

https://ww2.mathworks.cn/matlabcentral/answers/619798-q#answer_519253

rlFiniteSetSPec の引数はInputの数では無く、実際に取り得る値を指定します

actionが1つならば、それが取り得る離散値をベクトルで渡します

actionが複数ならば、cellを使ってあり得る組み合わせのベクトルを渡します

https://jp.mathworks.com/help/reinforcement-learning/ref/rl.util.rlfinitesetspec.html#mw_68f70adf-d6a9-4cbe-846c-a7d0823c0774_sep_mw_770a16f8-3eaf-4f06-80ca-87296824fb89

このあたりに詳細が書いてあります

3 个评论
显示 1更早的评论隐藏 1更早的评论

Y. M 2020-10-21

在 MATLAB Online 中打开

現在このように書き換えてみました。

criticOpts＝...までは実行可能なのですが、やはりcritic=...で、

エラー: rl.representation.rlAbstractRepresentation/validateModelInputDimension (行 557)

Model input sizes must match the dimensions specified in the corresponding observation and action info specifications.

が返されてしまいます。

NS=4;
selectable_actions={1,2,3,4,5};
Ts = 0.05;
obsInfo =rlNumericSpec(NS);
obsInfo.Name = 'observation';
obsInfo.Description = '温度、絶対湿度、代表点壁面温度' ;    %状態に関する情報の説明（別になくてもいい）
actInfo =rlFiniteSetSpec(selectable_actions);
actInfo.Name = 'AirVolume' ;
NA = numel(actInfo.Elements);
    
obsPath = [
   featureInputLayer(NS,'Normalization','none','Name','state')   
    fullyConnectedLayer(50,'Name','CS1')             
actPath = [
    featureInputLayer(NA,'Normalization','none','Name','action')  
    fullyConnectedLayer(50,'Name','CA1')];
comPath=[   
    additionLayer(2,'Name','add')
    reluLayer('Name','CriticCommonRelu') 
    fullyConnectedLayer(1,'Name','output')];
    
dnn = layerGraph();
dnn = addLayers(dnn,obsPath);
dnn = addLayers(dnn,actPath);
dnn = addLayers(dnn,comPath);
dnn = connectLayers(dnn,'CS1','add/in1');
dnn = connectLayers(dnn,'CA1','add/in2');
figure
plot(layerGraph(dnn))
criticOpts = rlRepresentationOptions('LearnRate',0.001,'Optimizer',"rmsprop");
critic = rlQValueRepresentation(dnn,obsInfo,actInfo,'Observation',{'state'},'Action',{'action'},criticOpts);