修改 Firebase 中正在运行的 AB 测试后，旧用户是否会被重新分组或受到影响？

Question

Firebase 中正在运行 AB 测试。它有 4 个变体 A、B、C、D。每个变体的权重为 25%。运行 15 天后，我想添加一个变体 E。

问题是A-D组的老用户是否会受到影响或者重新分组？ Firebase 是否刷新用户存储桶？

例如，有一个用户在第一次安装时获得了A。我添加变体 E 后，用户是否会得到 B 或 C 或 D 或 E？

谢谢。

Answer 1

在 Firebase A/B 测试中，一旦将用户分配到特定变体（A、B、C 或 D），他们就会在实验期间保留该变体。即使您添加新变体，Firebase 也不会将现有用户重新分配或重新分组到不同的变体。

添加新变体时会发生以下情况：

1. 现有用户（变体 A-D）：

   • 在添加变体 E 之前已分配到变体（A、B、C 或 D）的用户将保留其原始变体。 Firebase 不会将它们移动或重新分配给新变体 (E) 或任何其他变体（B、C、D）。
   • 他们在测试中的经验是根据他们最初分配的变体而固定的，因此即使在您引入变体 E 之后，他们在整个测试过程中也将继续获得相同的经验。

2. 新用户（添加变体 E 后）：

   • 添加变体 E 后，新用户（尚未分配到任何变体）将根据新的权重分布分配到所有可用变体（A、B、C、D 和 E）。
   • 如果每个变体的权重保持为 25%，新用户将平均分布在 A、B、C、D 和 E 中。

要点：

• 现有用户不会受到影响。添加新变体后，Firebase 不会刷新或重新分配用户存储桶。
• 新用户将在所有可用变体中均匀分布（或根据配置的权重），包括新变体 (E)。

在您的情况下，在首次安装时分配到变体 A 的用户将保留在变体 A 中，即使在您添加变体 E 后也是如此。他们不会被重新分配到 B、C、D 或 E。

-----来自ChatGPT