DataLoader类错误Pytorch

Question

我是初学者pytorch用户，我正在尝试使用dataloader。

实际上，我正在尝试将其实现到我的网络中，但加载需要很长时间。所以，我调试了我的网络以查看网络本身是否存在问题，但事实证明它与我的dataloader类有关。这是代码：

 from torch.utils.data import Dataset, DataLoader
 import numpy as np
 import pandas as pd

class DiabetesDataset(Dataset):

  def __init__(self, csv):
      self.xy = pd.read_csv(csv)

  def __len__(self):
      return len(self.xy)

  def __getitem__(self, index):
       self.x_data = torch.Tensor(xy.iloc[:, 0:-1].values)
       self.y_data = torch.Tensor(xy.iloc[:, [-1]].values)
       return self.x_data[index], self.y_data[index]

 dataset = DiabetesDataset("trial.csv")
 train_loader = DataLoader(dataset=dataset,
                      batch_size=1,
                      shuffle=True,
                      num_workers=2)`

 for a in train_loader:
    print(a)

为了验证数据加载器是否导致所有延迟，我创建了一个包含2列1和2的虚拟csv文件，每列总共10个样本。然后，我循环遍历train_loader对象，它已经超过1小时并且它仍然在运行，考虑到样本大小很小并且批量大小设置为1。

我不确定我的代码的错误是什么，它导致了这个问题。

任何评论/意见非常感谢！

Answer 1

您的代码中存在一些错误 - 您是否可以检查它是否有效（它与您的玩具示例一起在我的计算机上运行）：

from torch.utils.data import Dataset, DataLoader
import numpy as np
import pandas as pd
import torch


class DiabetesDataset(Dataset):

    def __init__(self, csv):
        self.xy = pd.read_csv(csv)

    def __len__(self):
        return len(self.xy)

    def __getitem__(self, index):
        x_data = torch.Tensor(self.xy.iloc[:, 0:-1].values)
        y_data = torch.Tensor(self.xy.iloc[:, [-1]].values)
        return x_data[index], y_data[index]


dataset = DiabetesDataset("trial.csv")


train_loader = DataLoader(
    dataset=dataset,
    batch_size=1,
    shuffle=True,
    num_workers=2)

if __name__ == '__main__':
    for a in train_loader:
        print(a)

编辑：您的代码无效，因为您在self方法（self.xy.iloc ...）中缺少__getitem__，并且因为您的脚本末尾没有if __name__ == '__main__。有关第二个错误，请参阅RuntimeError on windows trying python multiprocessing