Pinterest增长团队总监揭秘:用“留出组”如何实现长期增长?
当人们提到“增长”的时候,往往不会注意到有一个潜在的陷阱是人们总会过度关注优化短期利益。作为Pinterest Growth团队的技术总监,John Egan将在本文中聊聊他在工作中遇到的成长和挑战——
增长团队总在一种快节奏的模式下运作,我们的团队也不例外。我们需要随时进行大量的实验,以找出一些可行的模式。一旦找到我们想要的,便会立刻投入下一个实验中。
然而,有时候我们必须退后一步,以验证新的调整或新发布的功能是否真的能够带来长期的可持续发展,而不能只关注短期的胜利,因为有的时候新的调整会让用户在长期接触后感到厌烦。在这篇文章中,我将介绍我们的团队如何实现优化后的长期可持续增长。
一个有趣的例子是,不知道从什么时候开始,你会发现当你的app有新的消息或提醒时,图标的右上角会出现一个带着小红圈的数字。对很多人来说,当这个数字出现在你的手机界面时,你就会产生强烈的冲动为了去掉这个小红圈点开app。
在最初发布这个新功能时,我们进行了A/B测试,就像之前所做的任何改变一样,这个新功能的指标表现最初的结果非常棒。app的日活跃用户(DAU)增加了7%,其他关键用户粘性指标也有显著提升。有了如此喜人的结果,我们迅速推出了这个新功能。
然而,我们并不知道这样做时长期有效的吗?还是用户最终会产生疲劳并对其免疫?
为了回答这个问题,我们创建了一个1%的“留出组”。“留出组”是一种特殊的控制组。也就是说,在A/B测试中,我们已向99%的用户发布小红圈这项新功能,但为了衡量该功能的长期影响,我们保留了1%的用户不让他们看到这个小红圈功能,也就是说他们不会收到app的小红圈提示推送。这种方法的作用是,我们可以持续观察这99%的用户和这1%用户之间的差异。
每当我们对某个功能的长期影响或有效性有疑问时,我们就会组建一个“留出组”。
在持续了一年多的实验后,我们发现初始的7%日活提升在几个月后已逐渐下降为2.5%(见下图)。虽然和原来比确实还是增长的,但并不是太大的增长。后来,我们又推出了“Pinterest新闻”,它可以给用户摘要整合他关注的内容,而作为新闻功能的一部分,当有新的新闻出现时,我们也发送提醒给相关的用户,他们的app上就会出现小红圈数字。
那当小红圈功能结合了Pinterest新闻之后,Pinterest日活数据从长期看又从2.5%提高到了4%。
我们还发现,小红圈数字能够有效提高用户参与度。我们将用户分为核心用户、一般用户和边缘用户等,我们发现小红圈这一功能有效吸引那些原本属于边缘用户或休眠用户,转变为核心用户或一般用户。这一发现很有说服力,因为它证明了小红圈功能能够有效地提高用户长期留存率。
“留出组”测试是我们确保长期增长的有效方式。我们还为广告、用户教育等功能设置了新的群组。通常情况下,只要有关于某个特性的长期影响的问题,就应该使用“留出组”测试。在小红圈例子中,它让我们了解用户在很长一段时间内对该功能的反应,这将有助于让我们优化下一步app通知和提醒的策略。
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。


