Spotify Data Scientist企业分析的原因和方法

本月,我们将重点关注所有产品数据分析。密切关注事件、播客、博客等!

企业分析就是其中之一Spotify高级数据科学家Gordon Silvera的书呆子的激情。在这次演讲中,他不仅深入讨论了Spotify的企业分析实践,还介绍了他个人对数据科学的哲学,以及为什么数据科学如此有价值。

关于戈登

前Spotify高级数据科学家Gordon Silvera

戈登有着独特的数据成长经历。他最初是一名战略家,但他对数据的好奇心使他对这一主题有了更多的了解。他继续与一些当今的数据梦想家和顶级数据驱动公司合作,并将自己作为数据科学家的成长归功于在这些环境中的工作。

他的数据之旅始于凯撒娱乐公司(Caesar's Entertainment),在那里他从事酒店客房的战略定价工作。凯瑟娱乐是CRM分析和游戏领域的先驱,这意味着那里的分析和商业智能团队是一流的。Gordon开始热衷于使用数据来告知他的业务决策,并开始向数据团队提出越来越多的问题。商业情报经理告诉他,他应该学会如何自己做这件事。

这是他职业生涯中的一个转折点。他开始学习SQL和VBA,学习如何无缝地提取信息以自动化工作的许多方面。为了进一步了解数据,他开始在Dunnhumby工作,Dunnhumby是CRM、分析和零售领域的先驱。

当他在那里工作时,他和他的团队可以完全访问Dunnhumby的客户克罗格百货公司的数据。这些数据是可识别的:每个用户的ID和他们在Kroger购买的所有东西,这些都是相当可观的数据,也是Gordon第一次使用类似于大数据的东西。他最终加入了他们的高级分析团队,之后跳槽到梦幻体育公司FanDuel,最后加入了Spotify。

他在Spotify工作了近5年,成为了高级数据科学家。此后,他成为体育游戏初创公司Streaks的产品主管。

企业分析的原因和方法

为什么数据分析很重要

很少有人不让我闭嘴就谈论企业分析。当有人问我在Spotify做什么时,我只是告诉他们我在分析东西,因为这是真的。但更具体地说,我在一个名为data SWAT的团队工作,我们负责为一些最高级别的客户提供支持我们公司内部的项目。

如果你们对Spotify和我们的运营方式有所了解,我们有一个叫做Bets的系统。这些是公司内优先级最高的10个项目,我在一个内部咨询团队工作,他们被投入到这些不同的赌注中,进行不同类型的分析。它们持续3个月到1年,我们需要数据来帮助驱动这些投注中的决策。这是一个很好的机会,因为我可以看到公司的广度和各种分析方法。

这是Spotify非常激动人心的时刻;我们有一个伟大的数据团队,有远见和技能,可以把Spotify转变为顶级的数据分析公司之一。但在我们更深入地讨论Spotify之前,我想先谈谈分析,以及为什么我认为分析在企业中非常重要。

这是数据科学行业的一个非常重要的时刻,因为人们开始对数据失去信心。为了说明这一点,我将使用谷歌趋势图。我这里有三条线:蓝色的是数据分析系统,绿色的是大数据,黄色的是数据科学。x轴的范围是我整个职业生涯的持续时间。

图表显示数据科学和大型科技公司的谷歌趋势数据

你会注意到,在2015年左右,据谷歌称,“大数据”已经开始停滞。作为一名数据专业人士,我可能会担心这一点,但我并不担心,因为这一趋势让我想起了Gartner对新兴技术的炒作周期。对我来说,这类似于预期膨胀的顶峰。

Gartner对新兴技术的炒作周期

我们来检验这个假设。第一点是谷歌趋势,这是一个弱趋势。我真的不太了解谷歌的趋势,所以你可以用这样或那样的方式来争论。其次,我们看到许多来自顶级学者的学术和商业文章质疑数据的价值。例如,贝恩公司(Bain)高级分析主管克里斯•布拉姆(Chris Brahm)提到,只有4%的公司能够充分利用大数据的价值。

第三点来自Gartner本身。这是他们2016年的大数据炒作周期。你会注意到,大数据的一些主要应用程序处于炒作周期的顶端。因此你有预测分析、Python、数据湖、spark、预测分析、机器学习。Gartner说这些东西中有很多都处于炒作周期的顶端。这有点像一面黄旗,因为数据并不是万能的。

我思考它的方式,这是我思考数据的核心-我们打破这种炒作循环、让分析对公司持续有价值的方法是思考如何将数据与价值联系起来。如果你只从这里拿走一件东西,那就是这个。您必须将数据与基础业务价值连接起来,这应该是理想的可量化的业务价值。

赢得利润:为什么公司需要企业分析

在我们讨论企业分析的原因之前,让我们先对其进行定义。我认为企业分析是指企业中的分析机构被认为与公司的其他主要职能一样重要。市场营销,财务,运营等等。我们定义“重要”的方式是通过你获得的融资或投资,你引进的人才类型,招聘的优先级,以及管理层的支持。

但除了商业文章之外,我还有哲学上的理由相信分析学。分析本身不仅仅是处理数字或信息;对于任何具有高度竞争性或挑战性的事情来说,成功都是至关重要的。

正如阿尔·帕西诺的角色在任何一个星期天所说,“人生就是一场英寸的比赛。足球也是如此。因为无论是在比赛中,人生还是足球,误差的幅度都很小——我的意思是,太迟了半步,或者太早了半步,你都无法成功。半秒太慢,太快,你无法完全抓住它。我们需要的英寸无处不在。比赛的每一次休息都会出现,每分钟,每秒钟。”

足球是英寸的游戏,生活是英寸的游戏。我真的相信商业是一场小游戏。来自竞技体育,做过一段时间的生意,我认为商业和体育在很多方面非常相似。如果你想在商业上成功,你必须赢得利润。所以这就是阿尔·帕西诺的角色在这里谈论的概念,以英寸取胜。你必须把小事做好。

我对边际收益的定义是:始终如一地比所有竞争对手更好地执行业务的利润产生过程。不止我一个人这么想。

我所追随的这些商界人士也体现了这一理想。杰夫·贝佐斯是一个非常有竞争力的人,亚马逊的文化也很有竞争力;他们真的很在意优化市场份额和现金流。你可能会认为增加收入是一种冒犯性的行为,但贝佐斯也会通过节俭的原则来防御这种行为。在亚马逊,节俭是他们的原则之一,他们真的做到了。

雷·达里奥,布里奇沃特的创始人。我觉得这家伙是个了不起的,聪明的家伙。我之所以提到雷·达里奥,是因为他有机器的概念。你就像一台机器,你有你想去的地方,你采取行动把你带到你想去的地方,这就产生了结果。

你从这个结果中学习,然后根据最初的学习采取另一个行动,然后从那里取得进步。基于这个过程,他建立了世界上最大的对冲基金,也可以说是世界上最成功的对冲基金之一。

最后,山姆·沃尔顿。他说:“你可以犯很多错误,但如果你有一个高效的运营,你仍然可以恢复;或者你可以很聪明,但如果你效率太低,你仍然可以破产。”

分析是迭代改进的最佳途径

好吧。现在你知道在边际上取胜很重要,但是你要怎么做呢?这是最小公分母填写页边距要求:

  1. 纪律文化
  2. 高效执行
  3. 迭代改进

当我作为一个数据战略家思考商业的时候,我把商业分成三个部分来从一个较高的层次理解它。我的解释是:

  1. 策略
  2. 操作
  3. 分析

战略可以是市场营销、你的执行团队等方面的任何东西。运营部是执行业务运营所需的一切的人,而分析部是分析东西的书呆子。这三个部分与进入利润空间的框架紧密相连。纪律文化与str相一致策略、高效执行与操作一致,以及迭代改进与分析保持一致。

当你考虑迭代改进时,在最基本的层面上,它需要两件事:1)你需要知道相对于过去你做得有多好,相对于竞争对手你做得有多好,等等。你需要知道如何变得更好。而分析在业务环境中对这两件事都非常关键,这就是为什么分析是迭代改进的最佳途径。

企业分析的价值

我们如何量化分析的价值?特别是当人们开始质疑大数据和数据科学的价值时,能够量化我们作为一个职业为公司带来的价值是非常重要的。

对于那些做优化或用户目标分析的人来说,这就简单多了,因为你可以进行a /B测试。

如果你预测用户何时会流失,你就可以建立一个预测模型。你可以将群组分成两组,你可以预测A组,然后瞄准他们,并添加特定的流失倾向。B组完全没有目标,然后测试这两组。

我将任何与优化或用户目标相关的内容视为运营分析:即你并没有真正从所做的分析中收集信息,而是在改进过程的分析。你在做更多的黑盒流线型的工作。

洞察=指导战略决策的信息点

另一方面是战略分析,你可以创造人们可以用来改变他们决策的见解。这是一个你可以使用的简单定义:洞察力是指导战略决策的信息点。战略方面比较难量化,因为你如何量化洞察力?

例如,每次你们整个分析社区的人看到一个ppt演示文稿,然后说,有趣的是,我要换一种方式做X。或者每次生产线上的某个人在整个生产过程中看到一个数据点出现时说,嗯,我想因为Y的原因,我们需要降低这台机器的产能。

这些都是真知灼见,但它们很难标记和实践。如果我们从概念的角度来思考这个问题,我们就可以把它放到一个更定量或更经济的框架中。你可以使用的框架之一是规模经济。在企业分析中,规模经济是一个非常重要的概念,因为如果你是一家初创公司,你通常会从小处着手进行分析。你只有几个商业情报人员,数据科学家,分析师等等。但这确实有限制。

如果你看看每个分析师、每个时间段的洞察力数量,很明显,尽早构建可扩展的基础设施将带来更多的长期洞察力。

在Spotify建立企业分析

那么,我们如何在Spotify建立企业分析呢?进入公司后,我非常欣慰地看到他们真的在考虑成为分析领域的先驱,以及他们的目标。关于Spotify的一个重要背景是,几年前Spotify收购了一家名为Seed Scientific的公司,这家公司是一家咨询分析咨询公司,但现在由Spotify的分析部门组成。

他们是现在推动公司分析愿景的人,而公司在数据方面的愿景是非常全面和深入的。他们现在正在构建的许多工具都非常令人印象深刻和有趣,使我的工作变得容易得多。

在Spotify,我们使用我们称之为卓越中心的模型,这本质上是一个组织模型。你可以有嵌入式分析团队,你可以有一个集中的分析团队。这是一种更像中心辐射模型的模型,其中我们以数据任务为中心。我们几乎像顾问一样,在其职能范围内支持这些嵌入式团队。

卓越中心模式

举个例子:我们有一个营销团队,然后在营销团队中,我们有一个营销科学团队。我们有内容洞察,专注于更好地理解我们的艺术家,以及用户与我们的艺术家互动的方式。我们有产品洞察,更深入地观察我们的实际产品以及它们的性能等等。

然后是数据任务。它们生成大量数据并开发最佳实践、流程和工具。他们雇了一些像我这样的人来搅局。Data Mission本身并不关注任何功能目标,但通常会问:我们如何在分析方面推动公司前进?

Spotify的数据分析工具

现在我们来看看好东西:Spotify实际上做了什么。我使用了2个框架,从概念上理解了如何在组织中进行分析。一个是卓越的关键,另一个是分析成熟度金字塔。我把这些和Spotify使用的东西结合在一起,比如用于大数据的BigQuery。

你可能还对以下方面感兴趣:Spotify的模式是什么?

卓越的关键
分析成熟度金字塔

《哈佛商业评论》(Harvard Business Review)有一篇题为“你的数据有策略吗?”的文章讨论了真相的来源和版本。真实性的单一来源是最重要的数据:传递到您的财务信息的数据,显示在整个公司范围内的数据。这些数据必须非常准确。在Spotify,我们的团队致力于生成单一的真相来源,我们称之为业务关键型数据。这是他们自己SLO的难以置信的数据。

另一方面,您有多个版本数据。这更多的是探索性的工作。我们甚至在产品洞察中使用团队模型,您将有一群分析师分布在一群不同的团队中,他们将生成数据。例如,关于搜索。每次您在Spotify上搜索艺术家或歌曲时,我们都会检索这些数据。这些数据对搜索团队来说非常重要,但对其他很多团队来说可能不那么重要。

这就是真相的多重版本出现的原因。搜索数据不需要百分之百准确。我可以想象,有了搜索数据,我们可能会有80%到90%的准确率。其他公司也在使用这一模式,尤其是那些通常采用团队模式的科技公司,在这种模式下,拥有多个版本的真相非常重要。

我们的AB测试系统叫ABBA,就像乐队一样。这需要在AB测试的特定方面进行测试的工程师之间进行协调。我们的产品负责人和战略人员通过这个来寻找性能,T测试,显著性测试等等。

我们还有一个系统z。这是一个运行和安排我们所有内部产品的平台。我专门将其用于一个名为BigQuery runner的东西,它允许您在持续的基础上调度查询。它适用于依赖关系,所以如果你必须运行一个查询,然后从该查询中提取数据,然后运行另一个查询,它可以做到所有这些。

我最喜欢的Spotify内部工具是Lexicon。它有数据科学家做过的每一个分析。它有大量的元数据,你可以索引和搜索,等等。这对我来说是无价的,因为我不是那种没有很多项目背景的人,他们只是把不同项目的业务抛给我,让我自己想办法。

或者是探索数据。我们有60000个数据集。在这里,您将看到与艺术家、专辑等相关的所有主要数据集。它使我更快地找到我实际需要使用的数据。而且它看起来很漂亮!

Spotify在招聘的某些方面非常具体,这也很有帮助。他们真正看重的是t型技能。这是一个在一件事上有很多深度的人,但在其他各种事情上也有很多广博的知识。

前几天我和一个家伙谈过,他是公司某一方面的产品负责人。他进来后开始查看一条信息,然后打开他的命令行终端,开始查询大量数据。结果发现,他在进入业务部门之前,曾经是一名工程师,工作了六年。所以你哈哈我相信这些人有着广泛的技能,但也有着深刻的技能。

结论

在新兴技术的炒作周期中,数据科学正处于预期膨胀的顶峰,人们对数据期望过高,并对其感到失望。我们应该打破大数据的炒作,我们可以做到这一点的方法是将数据与其潜在价值联系起来。

将数据转化为价值

而且,商业是一场英寸的游戏,一场利润的游戏。它需要纪律、有效执行和迭代改进,而分析是实现这一改进的最佳方法。

由于Spotify投资于数据,并将其置于其所有业务的中心,因此它很有可能成为世界顶级分析公司之一。

注:在这次演讲时,戈登·西尔维拉(Gordon Silvera)担任Spotify数据科学家近5年,刚满9个月。后来,他成为了Spotify的高级数据科学家,正如他在这次演讲中所希望的那样,帮助该公司转型为一家世界级的分析公司。他在数据科学的一个有趣时刻做了这个演讲,当最初对数据可能性的炒作正在冷却,现实出现了——数据不能创造奇迹,但它可以帮助我们不断提高,成为最好的。

喜欢这篇文章吗?你可能也喜欢这样: