等位点数值差对迭代次数的影响

移位距离和假设

(A，B)---m*n*k---(1,0)(0,1)

用神经网络分类A和B，把参与分类的A和B中的数字看作是组成A和B的粒子，分类的过程就是让A和B中的粒子互相交换位置，寻找最短移位路径的过程。而熵H与最短移位距离和S成正比，迭代次数n与熵H成反比。

移位规则汇总

移位距离就是等位数值差的绝对值的和S=Σ|a-b|

如对一组3*3的矩阵

S=s0+s1+，…，+s8=|a0-b0|+|a1-b1|+,…,+|a8-b8|

按照移位假设如果用神经网络分类

8123和8123*11他们的迭代次数应该是相同的，

因为8123的移位距离和是

S=|0.8-1|+|1-1|+|1-1|+

|1-1|+|1-1|+|1-1|+

|0.1-1|+|0.2-1|+|0.3-1|=4-0.8-0.6=2.6

而8123*11的移位距离和是

S=|0.8-1|+|1-1|+|0.1-0.1|+

|1-1|+|1-1|+|1-1|+

|0.1-1|+|0.2-1|+|0.3-1|=4-0.8-0.6=2.6

因此他们的移位距离和都是2.6，所以他们的迭代次数应该相同。

实验验证这一猜测

分类8123*11，8123*12，8123*13，8123*14，8123*15。按照同样的算法他们的移位距离和分别是2.6，2.7，2.8，2.9，3.0.因此迭代次数应该依次减小。

得到的迭代次数为

	8123	8123*11	8123*12	8123*13	8123*14	8123*15
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	28525.63	28603.35	28495.51	28421.05	28147.91	27711.33
4.00E-04	34343.1	34625.89	34901.14	34556.31	34283.04	34305.35
3.00E-04	44964.48	45374.34	44968.54	45003.33	44452.52	44159.18
2.00E-04	65561.12	65231.52	65402.56	65034.89	65555.99	64023.5
1.00E-04	124472.5	124208.3	123552.5	121692.2	122196.4	122875.6
s	2.6	2.6	2.7	2.8	2.9	3

从形态上看8123和8123*11的曲线是高度重合的，这符合假设。尽管当收敛误差为1e-4的时候，8123*15的迭代次数比8123*14的还要大些，但整体上看从8123*11到8123*15迭代次数是有明显的下降趋势的。

在前述的实验中已经得到当s=3时的迭代次数平均值为112824，这次实验得到的对应s=3的迭代次数为122875，实测值偏大，大了约8.9%。

继续做第二组实验

分类8123*16，8123*17，8123*18，8123*19，他们的移位距离和分别是3.1，3.2，3.3，3.4.得到的迭代次数为

	8123	8123*11	8123*12	8123*13	8123*14	8123*15	8123*16	8123*17	8123*18	8123*19
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	28525.628	28603.352	28495.508	28421.05	28147.915	27711.327	27650.487	27096.894	27029.367	26304.407
4.00E-04	34343.095	34625.889	34901.141	34556.307	34283.035	34305.347	33883.427	33316.99	32526.638	32165.779
3.00E-04	44964.482	45374.342	44968.543	45003.327	44452.523	44159.176	43389.693	43080.02	42515.08	41535.618
2.00E-04	65561.116	65231.518	65402.558	65034.889	65555.995	64023.497	63450.151	62744.623	61128.241	60766.829
1.00E-04	124472.48	124208.34	123552.51	121692.17	122196.36	122875.61	120244.26	118180.79	117954.35	114927.02
s	2.6	2.6	2.7	2.8	2.9	3	3.1	3.2	3.3	3.4

从整体上看迭代次数的下降趋势更为明显，验证了移位距离和与迭代次数之间的反比关系。

与前述实验数据对比

	981	871	971	881	861	771	122	961	875
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	34219.01	34553.02	28229.22	27843.89	28270.21	28114.19	25862.05	25523.99	25117.39
4.00E-04	41899.68	41568.85	34548.15	34511.79	34803.25	34375.59	31524.1	30958.15	31102.23
3.00E-04	53474.56	54287.27	44497.27	44407.41	45065.05	44667.95	41011.36	40262.78	40239.05
2.00E-04	77797.83	78173.77	64693.36	64832.42	64707.93	64534.3	59270.11	59096.97	58618.7
1.00E-04	148175	146473.4	123601.3	122874.1	123288	123420.9	112397.9	113446.1	111994.6
s	1	1	2	2	2	2	3	3	3


	851	951	866	777	941	854	931	921	911
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	25288.76	23904.73	23868.01	23579.5	22959.57	22738.92	22166.65	22094.36	23575.86
4.00E-04	31347.55	28978.03	28820.87	28965.92	27774.2	27653.1	27290.48	27253.6	28991.81
3.00E-04	40549.93	38252.24	37659.14	37460.82	35993.35	36072.61	35639.73	35340.25	37399.98
2.00E-04	59255.58	55426.48	54661.18	54804.67	52950.71	53116.99	51890.25	52155.43	54335.16
1.00E-04	114094.8	106880.8	106599.8	106112.6	101146.2	100986.2	100158	98502.28	102787.2
s	3	4	4	4	5	5	6	7	8


	8357	8357d0	8116	8123	8123*11	8123*12	8123*13	8123*14	8123*15
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	36477.09	30465.327	28917.729	28525.63	28603.352	28495.508	28421.05	28147.915	27711.327
4.00E-04	44583.452	37211.859	35497.623	34343.1	34625.889	34901.141	34556.307	34283.035	34305.347
3.00E-04	56961.221	48007.09	46176.704	44964.48	45374.342	44968.543	45003.327	44452.523	44159.176
2.00E-04	81632.01	69937.387	67179.523	65561.12	65231.518	65402.558	65034.889	65555.995	64023.497
1.00E-04	154778.59	132814.24	126701.39	124472.5	124208.34	123552.51	121692.17	122196.36	122875.61
s	1.7	2.3	2.4	2.6	2.6	2.7	2.8	2.9	3
误差	17%	10%	6.5-9.4%	5.9-6.7%					8.90%


	8123*16	8123*17	8123*18	8123*19	123-357
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	27650.487	27096.894	27029.367	26304.407	25830.608
4.00E-04	33883.427	33316.99	32526.638	32165.779	31733.412
3.00E-04	43389.693	43080.02	42515.08	41535.618	41331.859
2.00E-04	63450.151	62744.623	61128.241	60766.829	59049.849
1.00E-04	120244.26	118180.79	117954.35	114927.02	113162.18
s	3.1	3.2	3.3	3.4	3.9
误差					5.80%

等位点数值差对迭代次数的影响相关推荐

数值分布的分散程度对迭代次数的影响
( A, B )---1*30*2---( 1, 0 )( 0, 1 ) 让网络的输入只有1个节点,AB各由7张二值化的图片组成,排列组合A和B的所有可能性,固定收敛误差为7e-4,统计收敛迭代次数 ...
输入对5层网络迭代次数的影响
制作一个5层网络和一个3层网络图中左边的5层网络很显然可以看作是由两个右边的3层网络组合而成,所以左边的网络的迭代次数和右边的网络的迭代次数有什么关系? 在<测量一组5层网络的迭代次数> ...
权重初始化方式对神经网络迭代次数的影响
做一个网络输入X范围是[1e-16,37] 权重初始化方式 Random rand1 =new Random(); int ti1=rand1.nextInt(98)+1; tw[a][b]=(do ...
空间尺寸对迭代次数的影响
( A, B )---3*30*2---( 1, 0 )( 0, 1 ) ( A, B )---4*30*2---( 1, 0 )( 0, 1 ) 做4个训练集尺寸分别为3行3列,3行4列,4行3列和 ...
神经网络输出数量对迭代次数的影响
制作一个神经网络输入minst数据集的2的前200张图,经过3*3的卷积核向001收敛收敛标准是 while(Math.abs(y[0]-0)> δ || Math.abs(y[1]-0)& ...
学习对象对神经网络迭代次数的影响
制作一个81*30*2的神经网络输入minst数据集的1的图片,让这个网络向1,0收敛, y[0]=1,y[1]=0 收敛标准 while (Math.abs(f2[0] - y[0]) > ...
学习率对神经网络迭代次数的影响
调整学习率看看对网络的迭代次数是否有影响学习率先后实验了5, 1, 0.5, 0.3, 0.2, 0.1, 0.01, 0.005, 0.003,0.001 权重的初始化标准是 Random ran ...
神经网络的输入对迭代次数的影响
如果一个神经网络只有一个输入值,当这个输入值大小发生变化的时候对网络的收敛的迭代次数是否有影响. 比如如上的网络输入的x值从1e-16到45 权重的初始化方式是 Random rand1 =new R ...
决定迭代次数的两种效应
由于对称导致的空间结构耦合的不规则效应,和等位点数值差导致的线性效应共同决定了神经网络的迭代次数.而增加训练集图片数量和扩大图片的尺寸都可能弱化对称性,并同时弱化结构耦合的不规则效应,使得线性效应占优 ...

等位点数值差对迭代次数的影响

等位点数值差对迭代次数的影响相关推荐

最新文章

热门文章