我有一个文件:
data = pd.read('data.csv')
该文件包含有关数字用户的分类文本数据,例如:(来源 = 'google'、'facebook'、'twitter')和(国家 = 'US'、'FR'、'GER')。
使用
sklearn.feature_extraction.DictVectorizer()
类,我成功地将这些类别转换为 numpy 数组。然后,我创建了一个字典,其中包含作为键的文本类别,以及作为值的相关类别的矢量化 numpy 数组,即:
{'google': np.array([0., 0., 0., 0., 1.])}
{'facebook': np.array([1., 0., 0., 0., 0.])}
{'FR': np.array([0., 0., 1.])}
我理想中想做的是将每个文本类别(例如“google”)替换为其矢量化numpy数组值(例如
np.array([0., 0., 0., 0., 1.]
),这样我就可以使用特征缩减算法将特征减少到2、用于可视化目的。
理想情况下,数据中的一行内容如下:
source | country
google | FR
twitter| US
会读:
source | country
np.array([0., 0., 0., 0., 1.]) | np.array([0., 0., 1.])
np.array([1., 0., 0., 0., 0.]) | np.array([1., 0., 0.])
有人可以推荐最好的方法吗?
也许这是将分类转换为数字表示的更简洁的操作。由于我最近主要使用 R,所以我必须稍微温习一下它。 这篇博文是一个很棒的资源。
import pandas as pd
from sklearn.feature_extraction import DictVectorizer
d = {'source' : pd.Series(['google', 'facebook', 'twitter','twitter'],
index=['1', '2', '3', '4']),
'country' : pd.Series(['GER', 'GER', 'US', 'FR'],
index=['1', '2', '3', '4'])}
df = pd.DataFrame(d)
df_as_dicts=df.T.to_dict().values()
df.T
给出转置,然后我们应用to_dict()
来获取DictVectorizer想要的字典列表。 values()
方法仅返回值,我们不需要索引。
df_as_dicts:
[{'source': 'google', 'country': 'GER'},
{'source': 'twitter', 'country': 'US'},
{'source': 'facebook', 'country': 'GER'},
{'source': 'twitter', 'country': 'FR'}]
然后使用DictVectorizer进行转换如下:
vectorizer = DictVectorizer( sparse = False )
d_as_vecs = vectorizer.fit_transform( df_as_dicts )
结果:
array([[ 0., 1., 0., 0., 1., 0.],
[ 0., 0., 1., 0., 0., 1.],
[ 1., 0., 0., 0., 1., 0.],
[ 0., 0., 1., 1., 0., 0.]])
如果我们想检查结果,get_feature_names()
允许我们从向量化器中检索该数组的列名称。
vectorizer.get_feature_names()
['source=facebook',
'source=google',
'source=twitter',
'country=FR',
'country=GER',
'country=US']
我们可以确认转换以 one-hot 编码形式为我们提供了测试数据的正确表示。
所以我找到了解决我问题的“一个”解决方案,但也许不是“唯一”的解决方案。我回去为我的键值对创建了新字典:
创建列表来存储键、值:
keys = []
values = []
将键和值添加到列表中:
for column in category_columns:
keys.append(data[column].unique().tolist())
for matrix in vectorized_data:
values.append(matrix)
结果(继续我上面的例子):
keys = ['google', 'facebook', 'twitter']
values = [np.array([0., 0., 0., 0., 1.]), np.array([1., 0., 0., 0., 0.]), np.array([0., 1., 0., 0., 0.])]
创建带有键、值的字典列表:
unique_vect = []
for i in range(0, len(keys)):
unique_vect.append(dict(zip(keys[i], values[i])))
然后我使用 pandas 的
.map()
函数将现有值替换为我从 DictVectorizer
创建的 numpy 数组
data['affiliate_channel'] = data['affiliate_channel'].map(unique_vect[0].get)
我对每一列都重复了这个步骤。
一点点脑力和几个小时的谷歌就能做到这一点,真是太神奇了。如果有人能想到更好/更快/更 Pythonic 的方法来做到这一点,我将不胜感激。