Keras 模型使用相同的输入预测不同的结果

Question

我在简单数据集上构建了 Keras 序列模型。我能够训练模型，但是每次我尝试对相同输入进行预测时，我都会得到不同的值。有人知道为什么吗？我在这里阅读了不同的 Stackoverflow（为什么完全相同的 keras 模型在同一环境中为相同的输入数据预测不同的结果，Keras 保存的模型在不同会话上预测不同的值，在 keras 中加载模型后的不同预测） ），但找不到答案。我尝试设置 Tensorflow 种子，但仍然得到不同的结果。 这是我的代码

from pandas import concat
from pandas import DataFrame
# create sequence
length = 10
sequence = [i/float(length) for i in range(length)]
# create X/y pairs
df = DataFrame(sequence)
df = concat([df, df.shift(1)], axis=1)
df.dropna(inplace=True)
print(df)
# convert to LSTM friendly format
values = df.values
X, y = values[:, 0], values[:, 1]
X = X.reshape(len(X), 1, 1)
print(X.shape, y.shape)

输出为：

     0    0
1  0.1  0.0
2  0.2  0.1
3  0.3  0.2
4  0.4  0.3
5  0.5  0.4
6  0.6  0.5
7  0.7  0.6
8  0.8  0.7
9  0.9  0.8
(9, 1, 1) (9,)

然后开始构建模型

#configure network
from tensorflow import keras
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
tf.random.set_seed(1337)

n_batch = len(X)
n_neurons = 10
#design network
model = Sequential()
model.add(LSTM(n_neurons, batch_input_shape=(n_batch, X.shape[1], X.shape[2]), stateful=True))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(X,y,epochs=2,batch_size=n_batch,verbose=1,shuffle=False)

现在，每次我运行以下代码来获得预测时，我都会得到不同的结果，如您在此处看到的那样

model.predict(X)
********output**************
 array([[0.03817442],
       [0.07164046],
       [0.10493257],
       [0.13797525],
       [0.17069395],
       [0.20301574],
       [0.23486984],
       [0.26618803],
       [0.29690543]], dtype=float32)

model.predict(X)
********output**************
array([[0.04415776],
       [0.08242793],
       [0.12048437],
       [0.15823033],
       [0.19556962],
       [0.2324073 ],
       [0.26865062],
       [0.3042098 ],
       [0.33899906]], dtype=float32)

Answer 1

问题在于在 LSTM 层中设置

stateful=True

，因为这会保持预测调用之间的状态，因此每个预测都取决于之前的预测。

因此，作为解决方案，设置

stateful=False

。

Answer 2

我认为这个库及其附带的文档会对您的工作感兴趣。

基于上述库，在我最近使用 Keras 进行的工作中，我开始编写代码如下：

import os
import numpy as np
from numpy.random import seed
seed(42)
rng = np.random.RandomState(42)
import tensorflow
tensorflow.random.set_seed(42)
os.environ['TF_DETERMINISTIC_OPS'] = '1'

结果似乎有很多确定性，对于我当时所做的工作来说已经足够好了。

更新：链接库现已弃用。除此之外，现在Keras文档有自己的方法来处理决定论。

Answer 3

基于@Dr.Snoopy，问题是设置stateful = True。将其设置为 False 解决了该问题。 “布尔值（默认为 False）。如果为 True，则批次中索引 i 处每个样本的最后状态将用作下一批中索引 i 样本的初始状态。”我的误解是这仅适用于培训。

感谢@Dr.Snoopy 指出这一点。