如何（延迟）数据从多个python模块加载相同的大数据集

Question

我有多个（python）模块，在这些模块中我使用相同的输入数据，并且变量也具有相同的名称。

我创建了一个实例化变量的模块data_loading.py。然后，在data_analysis_xx模块中导入所需的变量。]​​>

例如，

" Module data_analysis_1 "
from data_loading import var_1, var_2,…, var_k 

" Module data_analysis_2 "
from data_loading import var_1, var_3
这样，我避免在每个模块中复制并粘贴相同的200行代码以加载相同或部分相同的数据集

第一个问题：

使用单个源模块加载数据是正确的方法吗？是否存在用于在多个模块中导入相同变量的标准方法或更好的方法？

问题：

但是，当我导入data_loading时，即使我实际上仅导入一个或几个变量，也要加载/处理其中的所有变量。这可能很耗时，尤其是因为在data_loading中我还做了一些基本的数据操作（检查，拆分，剪切，排序等）

第二个问题：

如何使data_loading模块工作，从而仅实际处理真正需要加载/处理的变量？

可能的解决方案

• 在多个子模块中拆分数据加载->稍微减少了问题，但增加了要加载的文件数量：复杂性，复杂性，容易出错。不好

• 创建一个处理数据加载并仅通过该类加载变量的类？实际上如何做到这一点？那我该如何导入变量呢？“从data_loading导入Loader.var_1为var_1…，Loader.var_k为var_k”？

• 实现延迟加载->我的许多变量都是处理实际数据加载（从文件中检索数据）的类。因此，延迟加载将有助于减少时间上的总成本。

参考：

• How to lazy load a data structure (python)
• 通过描述符缓存的函数（描述符：https://docs.python.org/3/howto/descriptor.html#descriptor-protocol）
• https://github.com/pallets/werkzeug/blob/10b4b8b6918a83712170fdaabd3ec61cf07f23ff/werkzeug/utils.py
• https://stackoverflow.com/a/6849299/7074426

我有多个（python）模块，在这些模块中我使用相同的输入数据，并且变量也具有相同的名称。我创建了一个模块data_loading.py，在其中实例化了变量。然后导入...

Answer 1

处理所有问题的一种方法是创建一个将按需创建单例的工厂。