如何使用泡菜存储和加载TFIdf矢量化器？

Question

def custom1(input):
      List1=[] 
    for i in input:
        List1.append(i)
    return List1
vectorizer = TfidfVectorizer(tokenizer=custom1)

安装我的矢量化器后。我转储了它，但是当我加载矢量化程序时，它说它找不到模块custom1。有人可以帮忙吗，还是有另一种方式来加载和保存矢量化器？

AttributeError：无法在main上获取属性'custom1']

Answer 1

首先，我不了解您的函数在做什么，因为它仅将一个数组复制到另一个数组。您能否详细说明？

如果您想使用腌菜来存储东西，只需致电

pickle.dump(vectorizer, open("vectorizer.pickle", "wb"))

并在以后重新加载，您可以使用

vectorizer = pickle.load(open("vectorizer.pickle", "rb"))

要使功能腌制，我建议使用Cloudpickle

def custom1(input):
  return input

pickledfunction = cloudpickle.dumps(custom1)
pickle.loads(pickledfunction)([1,2,3])