处理Python中分类列的缺失值

Question

在进行数据整理时，如何处理分类列的缺失值。

我是Python新手，想了解越来越多的东西。我想清理和整理“泰坦尼克号”数据集中的“甲板”列，其中包含很多 NaN 值。

Answer 1

要在数据整理期间处理分类列中的缺失值，可以使用 pandas 中的

fillna()

函数。但是，处理这种情况有一些限制和解决方法。

1. 方法 1 - 众数插补：此方法涉及识别包含缺失值的分类列，使用

   mode()

   函数计算相应列的众数（最频繁的值），然后填充使用

   fillna()

   方法计算出的缺失值，并将

   method_name

   参数设置为“mode”。此方法可确保该部分中类别的总体分布保持适度不变，但如果缺失值在类别之间分布不均匀，则可能会出现偏差。

2. 方法 2 - 随机采样：此方法涉及使用

   numpy

   库生成与缺失值相对应的随机索引，使用

   unique()

   函数在列中创建唯一类别的列表，然后替换使用

   fillna()

   方法从列表中随机采样类别的缺失值。当缺失值在类别中随机分布时，此方法非常有用。

3. 方法 3 - 回填和前向填充：如果缺失值在数据中分布不均匀，您可以使用

   fillna()

   函数，并将

   method

   参数设置为“backfill”或“ffill”来传播缺失值最后一次有效的向前或向后观察来填补空白。当缺失值集中在数据的特定范围内时，此方法非常有用。

4. 方法 4 - 自定义插补：您还可以创建自定义函数来根据特定规则或模型插补缺失值。例如，您可以训练一个分类器根据数据集中的其他特征来预测缺失值，然后使用该分类器来填充缺失值。

5. 方法 5 - 删除或删除：如果缺失值没有意义或者存在于大量观测值中，则可以考虑删除包含缺失值的列或行。当缺失值不能代表整体数据时，此方法非常有用。

6. 方法 6 - 用指示变量替换：您可以用指示变量替换缺失值，指示变量告诉模型某行的值是否缺失（1 -> 该值缺失；0 -> 该值不缺失）丢失的）。当您对分类变量使用 one-hot 编码或虚拟编码时，此方法非常有用。

7. 方法7 - 使用xgboost：如果您使用xgboost库，您可以将缺失值标记为空并让xgboost处理它们。 xgboost 将忽略空值来生长树，然后根据更好的情况将它们发送到右侧或左侧分支。当您的模型使用 xgboost 时，此方法会很有用。

总之，有多种方法可以在数据整理期间处理分类列中的缺失值。方法的选择取决于缺失值的性质、类别的分布以及分析或模型的具体要求。了解每种方法的局限性和潜在偏差并选择最适合您需求的方法至关重要。