在 Python 类型提示中区分 PySpark 和 Pandas DataFrame (PyCharm)

Question

在 PyCharm 中，如果使用

pyspark.sql.DataFrame

代替

pandas.DataFrame

，类型提示似乎不会触发警告，反之亦然。

例如以下代码根本不会生成任何警告：

from pyspark.sql import DataFrame as SparkDataFrame
from pandas import DataFrame as PandasDataFrame

def test_pandas_to_spark(a: PandasDataFrame) -> SparkDataFrame:
    return a

def test_spark_to_pandas(b: SparkDataFrame) -> PandasDataFrame:
    return b.toPandas()

test_spark_to_pandas(PandasDataFrame({'a': [1, 2, 3]}))

这是否已知/可以修复吗？

顺便说一句：我确实安装了 pyspark 存根：

pyspark-stubs==2.4.0.post2

Answer 1

现在有一个名为

pandas-stubs

的库，它为静态类型检查工具提供了 pandas 类型提示。