AI技术内参

数据科学家高阶能力之分析产品

一个数据驱动的产品往往是一个复杂的复合体。如何在一个综合复杂的体系中找到人工智能技术的合适位置，以及技术究竟要扮演什么样的角色，其实是一个数据驱动型产品能否成功的核心问题。

人工智能技术到底能够给产品带来什么？

人工智能技术给产品带来的其实不仅是一些核心的模型和算法，更重要的是，带给产品一项根本性的能力：数据驱动的决策过程。

人工智能技术的特点有两个方面：第一，数据驱动。第二，在不确定的因素下智能决策。

数据驱动

数据（数据收集的机制，建立数据管道，建立数据的检测系统）

驱动（驱动产品的发展，驱动产品方方面面的进化，这个步骤是针对产品的所有参与人员的。加深对产品的认识，提出更好的想法。）

数据驱动的第一部分是有关“硬件”的，是数据链条的技术以及实现。第二部分是有关“软件”的，是项目人员的意识和责任。

智能决策

非智能决策主要是指，不依靠数据，或者依靠很少量的数据，由产品经理或产品负责人人工地进行决策。

非智能决策的一大特点是决策的主观性。另一个特点是不可复制性。决策的方法和方式都不能动态地随着时间、数据的变化而变化。

智能决策就是产品的决策者依据产品的特点，把一些复杂的、需要依靠大量数据、选择面太广的决策交给人工智能模型和算法，并且建立起一整套体系，利用人工智能手段依靠数据来对整个产品进行快速迭代。

智能决策不仅仅是某一项任务的智能化，更重要的是一种理念的提升。一旦产品的决策中出现了有需要大量数据、有复杂选项的时候，作为产品的决策者就需要马上意识到，这部分决策任务应该逐渐从人转移到智能模型和算法上，依靠数据驱动流程来加快迭代。这一点是智能决策的关键。

小结

作为人工智能工程师或者数据科学家的一个高阶技能，就是能够培养这样一种理念，对产品进行持续分析，检测产品是否遵循了数据驱动的理念，挖掘产品有哪些需求可以进行智能决策。

第一，产品分析的能力其实就是对产品需求的一个分解，而分解之后的产品迭代很大程度上依赖于数据驱动和智能决策。第二，什么是数据驱动，什么是智能决策，究竟怎样可以为产品带来这两项核心能力。

思考：什么样的产品不太适合数据驱动和智能决策呢？

数据科学家高阶能力之评估产品

有一个成熟的产品评价体系可以成为产品不断迭代的领航标。

我们需要建立层次化的评估体系，需要一个衡量产品好坏的框架。这个框架要从宏观到微观，能够对你的产品进行全方位的检测，并且这种检测能够帮助你更容易地进行决策。

产品的经济收益

1.如何衡量你的经济收益？如年收入、年增长率、季度增长率等

• 如何衡量你收入的现状

• 如何衡量你收入的增长

2.能否用经济收益来直接指导你的产品构建？

用经济指标来指导产品的发展是困难的，因为衡量经济收入的指标往往太过宏观，而且衡量起来有难度，指标的衡量需要至少等待一个季度以上。

很多产品并不直接产生经济结果，经济收益是一个“副产品”。

层次化的评估体系

最低层次的评估主要围绕着产品的最小组成单元。比如社交网络的各个页面上的模块就可以是最小的被评估的单元。

每一个模块往往是产品的一个逻辑单元，一个最小的承载产品理念的单元。不管是工程团队还是产品团队的运作，基本上都是为这些模块而工作。因此，观察最小单元的效果对产品和工程团队都有直接的指导意义。如果团队目前对这个模块做了一些更改，那么最直接的效果就是这个模块的一些指标会发生变化。

在这个层次，衡量模块的指标主要是模块的直接效果指标。比如模块本身的点击率，模块本身的驻留时间，模块上一些其他的用户活跃指标等。

第二个层次的指标是从单个模块上升到一个页面。这个时候，不仅需要理解单个模块的情况，还需要对整个页面上所有模块产生的功能群进行深入研究。

比如不少现代搜索引擎的搜索页面往往都有广告模块。长期的经验告诉我们，广告模块的效果和普通搜索模块的效果往往有相反关系的耦合。因此，广告效果的提升，可能并不意味着是件好事情。

这个层次的指标依然是可以直接测量的，但是分析时需要对页面上所有模块有全面了解。

前两个层次的指标主要是测量用户在某一个模块或者页面上的表现，核心是看产品的更改对用户的直接影响。

第三个层次的指标，就从某一个模块、某一个页面上升到了用户这个层级，主要是检测用户在一个会话（session）中的表现。

这个时候，用户往往在一个会话中，和多个模块、多个页面进行非常复杂的互动。在这个层次上，我们已经很难仅凭观测就能琢磨出用户在这个会话是否真正感觉满意。这个时候，我们往往就需要建立用户模型（User Model）,以及通过一些统计的方法建模，从而实现真正理解用户行为的目的。

比如，如果我们构建一个电子商务网站，在一个用户会话中检测用户是否购买了一些商品，这些商品的总价值又是多少。这个监测指标有时候被称作GMV（Gross Mercandise Value），也就是通常所说的网站成交金额。

如何测量和建模不同页面、模块对用户购买行为的影响，就是第三层次指标的核心挑战。

第四个层次的指标是从一个用户会话上升到多个用户会话。这个时候，我们关心的是用户较长时间的体验问题。对于一些复杂的任务，用户需要多个会话才能完成。这种情况下，检测指标的复杂性又进一步提高。比如用户先在网站上搜索关于婚纱的信息，之后又从其他途径了解了更多信息，重新回到网站开始新的会话，在这个会话中，重点比较了好几个婚纱，然后决定购买哪一件。

第三和第四层次的指标有两个特点。第一，相对于第一、第二层次的指标而言，这些指标已经不那么“敏感”了，也就是说，仅改变某一个模块甚至某一个页面，是很难在短时间内改变第三，特别是第四层次的指标的。第二个特点是，第三和第四层次的指标依然可以用传统的A/B测试来进行观测，只不过需要很仔细地设计实验。

第五个层次的指标就是用户和产品的长期指标。比如一些经济指标，类似的还包括月活跃用户、年度活跃用户等等。这些指标有两个特点。第一，这些指标往往是产品的终极目标，一般及其难以撼动，特别是对于成熟的产品而言。第二个特点是，这些指标往往无法通过A/B测试进行衡量。

思考题：如果第五个层次无法直接通过A/B测试进行观测，那我们如何在平时进行A/B测试的时候，就能确保是在优化第五个层次的指标，也就是我们产品的终极目标呢？

精读2017年KDD最佳研究论文

《通过挖掘类比关系加速创新》（Accelerating Innovation Through Analogy Mining）

这篇文章主要阐述了帮助创新的一个重要步骤，那就是如何找到合适并且有效的类比案例。

如何找到合适的类比，并能从中获取灵感，可能就是创新的一个关键因素。

这篇文章提出了一种自动的在海量无结构的文本数据中挖掘类比场景的方法。文章关注的是产品信息数据。

作者们提出了一组叫“目的”和“机制”的概念。当前的产品要解决什么问题？当前的产品是使用什么手段或者方法来解决这个问题的？作者们认为，这种对产品信息的分类符合很多工程设计的过程，是创新过程中的一个必要环节。

作者们提出一种依靠标签数据的监督学习机制。由亚马逊土耳其机器人上的在线工人来标注每个文本信息是目的信息还是机制信息。

首先，我们有一组文本，每组文本都有这些文本的原始文字。针对每个文档，我们都收集K个目的标注和K个机制标注。这时，我们定义一组“目的标注”向量，当文本原始文字中的某个字被标识为目的的时候，这个向量的相应元素置1，反之置0.类似的定义“机制标注”向量。因为我们有K个标注，因此我们也有相应的K个“目的标注”和“机制标注”向量。这两组向量可以说是原始标签信息的一种向量的表达。

下一步就是从每一个有标签信息的文档里产生唯一的目的向量和机制向量。这篇文章采用的方法是，利用每个单词的嵌入向量来获得这个唯一的向量。

具体方法是，首先，针对每一个标注（总共有K个），我们收集属于这个标注的单词的嵌入向量，并把这些嵌入向量都拼接起来。然后计算这组拼接好的向量所对应单词的TF-IDF值，并且取TF-IDF值最高的一些单词相对应的嵌入向量，加权平均以后，就得到了相应的唯一的目的向量或者是机制向量。这个步骤是依赖于文档标签的，我们只能对训练数据进行这样的构造。

如何基于这样的数据以及向量，来对未知的文档进行提取目的向量和机制向量呢？文章采用了深度模型RNN，具体来说是双向的RNN并且有一个GRU。

总体的思路是，根据文档的嵌入向量信息，我们希望得到一组文档的隐含表达（中间参数），然后可以从这个隐含表达来预测目的向量和机制向量。注意，因为需要预测两组目标，目的向量和机制向量，因此，这里至少需要分别有两组参数。

除了预测文档的目的向量和机制向量以外，作者们还提出了一个用少数关键词来解释这两组变量的机制。具体来说，就是设立一个新的学习目标函数，希望通过少数关键词所对应的嵌入向量来重构目的向量或者机制向量，让得到的误差最小。

思考：这篇文章提出的是使用标注信息来获取目的向量和机制向量，我们有没有办法能够不使用标注信息，采用完全无监督的方式呢？

精读2017年KDD最佳应用数据科学论文