迭代之后，误差反而越来越大的问题

R_myself

目前正在做神经网络训练方面的学习，拿一份数据进行了练习，但是对数据进行处理之后，发现在训练过程中，误差随着迭代次数的增加也在增加，之后维持不变，请教各位大神，这可能是出于什么缘故？
6 b- n5 k$ x& K+ n具体代码如下：
8 J( W* l, {) ?! }$ R6 }  Y    err = expectedOut'-out_out;
    sse = sumsqr(err);
    errRec(i) = sse;                    %记录每次的错误
    fprintf('第%d次迭代  误差： %f\n',i,sse);


- N8 V, k8 P/ W0 A* d+ s# ]其中，expectedOut是实际值，out_out是经过训练之后得到的结果
8 ^- B8 k2 k6 n& g! {3 `然后，结果是这样：
8 y) z6 m! e# Y, \6 n2 v; r第1次迭代  误差： 2.124233
! p6 f/ u: ^2 F: `7 I6 F( @- x第2次迭代  误差： 8.216954
9 ~% d/ G9 {+ N3 f, q& S1 N6 C# q第3次迭代  误差： 6.639643
第4次迭代  误差： 27.220103
第5次迭代  误差： 27.222127
7 U8 x" z2 }, \2 a: M  h第6次迭代  误差： 27.222127
第7次迭代  误差： 27.222127
0 N% j% K4 \) j/ A; ~0 u& c1 @/ N第8次迭代  误差： 27.222127

6 q) w3 H2 o+ c, [9 {之后误差一直维持不变，想了解一下这是出于什么缘故？是正常情况吗？
6 Y1 v2 C: Y* f* S$ y) x& F1 F6 i
* {* L2 U+ O2 u/ z6 V9 L2 e/ \' k) `- n& h

hfiwioq

（1）判断条件是否有问题，不该迭代却迭代了；（2）迭代方向是否搞反了

TEL15286598

如果方便给更多一点代码会更容易理解

R_myself

TEL15286598 发表于 2022-12-1 13:21
如果方便给更多一点代码会更容易理解

%开始迭代
for i=1:maxiter
    hid_input = net.w1 * SampInEx;                %3X100
    hid_out = logsig(hid_input);                  %3X100  
& f7 F) i) J, z# s" ]    ou_input1 = [hid_out;ones(1,nTrainNum)];      %4X100
    ou_input2 = net.w2 * ou_input1;               %1X100
    out_out =logsig(ou_input2);                   %1X100
- p# t( L# ^5 _/ l    out_Rec(:,i) = out_out;                       %记录每次的输出
9 ^, D* o. ^' _. _+ @    err = expectedOut'-out_out;
! v- q0 N, u! H    sse = sumsqr(err);
    errRec(i) = sse;                    %记录每次的错误
$ g6 T& ]& [! ?1 V4 m& A$ Z" F8 B    fprintf('第%d次迭代  误差： %f\n',i,sse);
5 V/ ?: j3 Z$ ~" ]    iteration = iteration+1;
   
4 V; y( O4 h1 c: z4 ?2 m    %判断是否收敛
0 _' l; F+ W. l/ y1 }    if sse<=eb
        break;
    end
   
    %误差反向传播
) @* y% i+ ^, r! k7 E" A    %隐含层与输出层之间的局部梯度度
    DELTA = err.*dlogsig(ou_input2,out_out);
    %输入层与隐含层之间的局部梯度
    delta = net.w2(:,1:end-1)'*DELTA.*dlogsig(hid_input,hid_out);
    %权值修改量
    dWEX=DELTA*ou_input1';
2 m  d: S0 H/ z3 n    dwex=delta*SampInEx';
, h" B7 n6 F5 m" h% p# L) J    %修改权值，如果不是第一次修改，则使用动量因子
    if i==1
        net.w2 = net.w2+eta*dWEX;
3 K, x* }; F+ S1 G  e        net.w1 = net.w1+eta*dwex;
    else
        net.w2 = net.w2+(1-mc)*eta*dWEX+mc*dWEXOld;
' Y: ~) _) H* ?4 E5 ^        net.w1 = net.w1+(1-mc)*eta*dwex+mc*dwexOld;
    end
& D% H- I: z, ?* R1 ~5 T# K" K* ]2 x   
  f' c6 g9 h4 B& \# C, f) |+ B    %记录上一次的权值修改量
, Z$ Q% z4 \# F& }2 V$ W    dWEXOld = dWEX;
* k* C2 v; a( C    dwexOld = dwex;
end