EDA365电子论坛网

标题: Actor-critic结构 [打印本页]

作者: cichishia 时间: 2020-11-13 14:01
标题: Actor-critic结构
最近在做Actor-critic结构写了相应的程序结果控制效果不好  求助大神，感谢!

程序：
%设置常值
M=1.0;
m=0.1;
b=0.0005;
l=0.5;
T=0.02;
g=9.8;
F=10;
w=zeros(1,162);
vi=w;
p=0;
pp=0;
for j=1:100 %开始一次trail
ei=zeros(1,162);  %两个资格函数
xh=zeros(1,162);
X=[0;0;0;0];
k=unidrnd(162); %给倒立摆设置随机初始状态
for i=1:18000 %
      x1=zeros(162,1);
      x1(k)=1;
      y=sign(w*x1+0.1*randn);  %ASE输出的激活函数
      ei=0.9*ei+0.1*y*(x1)';
      xh=0.8*xh+0.2*(x1)';
      pp=p;
      %倒立摆模型
      JPP=((M+m)*g*sin(X(4))+cos(X(4))*(y*F-b*sign(X(3))-m*l*(X(2))^2*sin(X(4))))/(4/3*(m+M)*l-m*l*(cos(X(4)))^2);
      XPP=(F*y-b*sign(X(3))+m*l*((X(2))^2*sin(X(4))-JPP*cos(X(4))))/(M+m);
      %更新状态向量
      X(3)=X(3)+T*XPP;
      X(2)=X(2)+T*JPP;
      X(1)=X(1)+T*X(3);
      X(4)=X(4)+T*X(2);
      %判定是否失去平衡
      if (X(1)>2.4)|(X(1)<-2.4)|(X(4)>0.21)|(X(4)<-0.21)|(k>162)
         r=-1;
      else
         r=0;
      end
      if r==-1
         break
      end
      %更新权值向量
      p=vi*x1;
      rj=r+0.95*p-pp;
      w=w+1000*rj*ei;
      vi=vi+0.5*rj*xh;
      %新的状态向量进入解码器解码
      jmq(X);
end
hold on;
plot(j,i,'rx');
if i>=18000
      break;
end
end
解码器的程序：function k=jmq(X)
if X(1)>=-2.4&X(1)<-0.8
k=1;
elseif X(1)>=-0.8&X(1)<0.8
k=55;
elseif  X(1)>=0.8&X(1)<2.4;
k=109;
end
if X(2)<-0.87
k=k;
elseif X(2)>=-0.87&X(2)<0.87
k=k+18;
else k=k+36;
end
if X(3)<-0.5
k=k;
elseif X(3)>=-0.5&X(3)<=0.5
k=k+6;
else k=k+12;
end
if X(4)>=-0.21&X(4)<-0.105
k=k;
elseif X(4)>=-0.105&X(4)<-0.017;
k=k+1;
elseif X(4)>=-0.017&X(4)<0
k=k+2;
elseif X(4)>=0&X(4)<0.017
k=k+3;
elseif X(4)>=0.017&X(4)<0.105
k=k+4;
else k=k+5;
end

作者: shuddkk 时间: 2020-11-13 14:35

作者: nkkopd 时间: 2020-11-17 10:36
这个我也不会，等一个大神

作者: 大小的小 时间: 2020-11-17 10:48

欢迎光临 EDA365电子论坛网 (https://bbs.eda365.com/)