我正在编写tf.keras中的模型，并且在训练集上运行model.evaluate（）通常会产生~96％的准确率。我对测试集的评估通常很接近，约为93％。但是，当我手动预测时，模型通常是不准确的。这是我的代码：
import tensorflow as tf
from tensorflow.keras import layers
import numpy as np
import pandas as pd
!git clone https://github.com/DanorRon/data
%cd data
!ls
batch_size = 100
epochs = 15
alpha = 0.001
lambda_ = 0.001
h1 = 50
train = pd.read_csv('/content/data/mnist_train.csv.zip')
test = pd.read_csv('/content/data/mnist_test.csv.zip')
train = train.loc['1':'5000', :]
test = test.loc['1':'2000', :]
train = train.sample(frac=1).reset_index(drop=True)
test = test.sample(frac=1).reset_index(drop=True)
x_train = train.loc[:, '1x1':'28x28']
y_train = train.loc[:, 'label']
x_test = test.loc[:, '1x1':'28x28']
y_test = test.loc[:, 'label']
x_train = x_train.values
y_train = y_train.values
x_test = x_test.values
y_test = y_test.values
nb_classes = 10
targets = y_train.reshape(-1)
y_train_onehot = np.eye(nb_classes)[targets]
nb_classes = 10
targets = y_test.reshape(-1)
y_test_onehot = np.eye(nb_classes)[targets]
model = tf.keras.Sequential()
model.add(layers.Dense(784, input_shape=(784,), kernel_initializer='random_uniform', bias_initializer='zeros'))
model.add(layers.Dense(h1, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(lambda_), kernel_initializer='random_uniform', bias_initializer='zeros'))
model.add(layers.Dense(10, activation='softmax', kernel_regularizer=tf.keras.regularizers.l2(lambda_), kernel_initializer='random_uniform', bias_initializer='zeros'))
model.compile(optimizer='SGD',
loss = 'mse',
metrics = ['categorical_accuracy'])
model.fit(x_train, y_train_onehot, epochs=epochs, batch_size=batch_size)
model.evaluate(x_test, y_test_onehot, batch_size=batch_size)
prediction = model.predict_classes(x_test)
print(prediction)
print(y_test[1:])
我听说很多人都有这个问题，这只是数据输入的问题。但我在这里看不出任何问题，因为它几乎总是错误地预测（如果它是随机的那么多，就像你预期的那样多）。我该如何解决这个问题？
编辑：以下是具体结果：
上一步训练：
Epoch 15/15
49999/49999 [==============================] - 3s 70us/sample - loss: 0.0309 - categorical_accuracy: 0.9615
评估结果：
2000/2000 [==============================] - 0s 54us/sample - loss: 0.0352 - categorical_accuracy: 0.9310
[0.03524150168523192, 0.931]
model.predict_classes的输出：
[9 9 0 ... 5 0 5]
打印输出（y_test）：
[9 0 0 7 6 8 5 1 3 2 4 1 4 5 8 4 9 2 4]
首先，您的损失函数是错误的：您处于多类分类设置，并且您正在使用适合回归而不是分类（MSE）的损失函数。
将我们的模型编译更改为：
model.compile(loss='categorical_crossentropy',
optimizer='SGD',
metrics=['accuracy'])
请参阅Keras MNIST MLP example进行确证，并在What function defines accuracy in Keras when the loss is mean squared error (MSE)?中获得更多详细信息（尽管这里您确实存在反问题，即分类设置中的回归损失）。
此外，目前尚不清楚您使用的MNIST变量是否已经标准化;如果没有，你应该自己规范化：
x_train = x_train.values/255
x_test = x_test.values/255
你也不清楚为什么要求一个784单位的层，因为这实际上是你的NN的第二层（第一层是由input_shape论证隐式设置的 - 见Keras Sequential model input layer），它当然不需要包含一个单位对于您的784输入功能中的每一个。
更新（评论后）：
但为什么MSE对分类毫无意义？
这是一个理论问题，并不完全适合SO;粗略地说，出于同样的原因，我们不使用线性回归进行分类 - 我们使用逻辑回归，两种方法之间的实际差异正是损失函数。 Andrew Ng在Coursera的流行机器学习课程中很好地解释了这一点 - 在Youtube上看到他的Lecture 6.1 - Logistic Regression | Classification（解释从3点开始），以及4.2为什么不是线性回归[用于分类]？ Hastie，Tibshirani及其同事的（强烈推荐和免费提供）教科书An Introduction to Statistical Learning。
MSE确实提供了高精度，那么为什么不重要呢？
如今，你在MNIST投掷的几乎任何东西都会“起作用”，这当然既不能使它更正确也不能成为更苛刻的数据集的好方法......
更新2：
每当我使用交叉熵时，精确度只会在~10％左右晃动
对不起，无法重现行为......将Keras MNIST MLP example与您的模型的简化版本一起使用，即：
model = Sequential()
model.add(Dense(784, activation='linear', input_shape=(784,)))
model.add(Dense(50, activation='relu'))
model.add(Dense(num_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy',
optimizer=SGD(),
metrics=['accuracy'])
在仅仅5个时期之后，我们很容易得到~92％的验证准确度：
history = model.fit(x_train, y_train,
batch_size=128,
epochs=5,
verbose=1,
validation_data=(x_test, y_test))
Train on 60000 samples, validate on 10000 samples
Epoch 1/10
60000/60000 [==============================] - 4s - loss: 0.8974 - acc: 0.7801 - val_loss: 0.4650 - val_acc: 0.8823
Epoch 2/10
60000/60000 [==============================] - 4s - loss: 0.4236 - acc: 0.8868 - val_loss: 0.3582 - val_acc: 0.9034
Epoch 3/10
60000/60000 [==============================] - 4s - loss: 0.3572 - acc: 0.9009 - val_loss: 0.3228 - val_acc: 0.9099
Epoch 4/10
60000/60000 [==============================] - 4s - loss: 0.3263 - acc: 0.9082 - val_loss: 0.3024 - val_acc: 0.9156
Epoch 5/10
60000/60000 [==============================] - 4s - loss: 0.3061 - acc: 0.9132 - val_loss: 0.2845 - val_acc: 0.9196
请注意第一个密集层的activation='linear'，它相当于not specifying anything，就像你的情况一样（正如我所说的，几乎所有你向MNIST抛出的东西都会“起作用”）......
最终建议：尝试将模型修改为：
model = tf.keras.Sequential()
model.add(layers.Dense(784, activation = 'relu',input_shape=(784,)))
model.add(layers.Dense(h1, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))
为了使用更好的（和default）'glorot_uniform'初始化程序，并删除kernel_regularizer args（它们可能是任何问题的原因 - 总是开始简单！）...