智能推荐算法在电商领域的应用（智能推荐算法在实际中运用）_科技

本文目录一览：

1、为什么电商平台最不能少的是智能推荐？
2、人工智能有哪些是我们可以利用的领域？
3、人工智能在电商零售领域中的应用不包括哪些
4、个性化推荐算法
5、生活中的人工智能之搜索和推荐算法
6、人工智能与电子商务的联系及影响

为什么电商平台最不能少的是智能推荐？

本文由艾克斯智能，专业的个性化推荐Saas服务商提供。

智能推荐算法在电商领域的应用（智能推荐算法在实际中运用）

为了响应亚马逊CEO贝索斯的“亚马逊有1000万启信用户，就有1000万的亚马逊”的要求，亚马逊算法部门早在10几年前就开发了基于物品的电商推荐系统。国内的电商巨头淘宝、京东等也陆续在16年上线基于用户的智能推荐。

智能推荐的意义对于手握大把优质流量的电商巨头来讲，意义重大。同时，对于那些崛起的，流量没那么多的电商平台来说，可能价值还要更大。移动互联网流量红利期已过，新增用户成本高昂，对于各电商平台来说，将用户如何留在自家平台，提高用户的粘性、使用深度和转化率变得越来越重要。

那么，智能推荐的本质是什么呢？

智能推荐的核心是内容分发，内容分发第一代是网址导航和门户网站，第二代是搜索引擎，第三代是智能分发。智能分发是一个体系，它分为可被经验总结的部分和不可总结的部分。可以被经验总结的部分包括规则推荐，规则就是经验。不可被总结的就是千人千面的算法推荐，完全根据用户行为进行推荐。现阶段的内容分发主要为三种分发：运营分发、社交分发与智能分发。而智能分发不是对传统分发的补充，而是替代。

运营分发是依靠运营们的经验挑选自以为对人们有价值的内容大歼进行推荐，这在人们选择比较少的年代是成功的，其弊端也显而易见，无法满足人的个性化需求。运营有限的经验很难判断用户需要哪些内容。社交分发是在社交平台上进行内容分发的分发形式。以微信朋友圈、微博为例，你看到的内容都是朋友们帮你二次筛选过的。而内容的价值分为分享价值和阅读价值，很多内容具有阅读价值但不便于分享，而分享出来的价值很有可能是朋友用来“自我标榜”的。这两种传统的分发方式都有比较明显的缺陷。

智能分发是分发用户愿意看、对用户真正有价值的内容，也就是用户“嘴上说着不要，身体上却很诚实”的内容。如果说，社交分发解决的是用户“嘴上说”的内容，那智能分发解决的就是用户“身体诚实”的内容。智能分发通过分析用户特征（年龄、性别、职业等）、内容特征（商品、资讯、视频等）、环境特征（时间、场合、网络状态、地理位置等）、行为特征（隐性的兴趣爱好和显性的评价）和业务特征（业务场景干预），针对性的向用户推荐他感兴趣的内容。因为每个人的兴趣爱好、行为习惯等是不同的，所以每个人所看到的内容也是不同的。这样就避免了那些优质的内容由于不具备分享属性而不被人们所知的情形，也解决了运营依靠自身有限经验所推荐内容的不精准。

对于内容分发而言，不同行业不同场景其所要实现的分发目的是不同的，但本质都是要提高分发效率和质量。对于资讯客户端来说，最核心的指标是用户使用时长，也包括粘性、留存率、UV、PV、浏览深度等；对于社交平台来说，包括DAU、MAU，用户互动、用户发帖量、消耗内容量等；对于电商平台来说，最重要的指标自然是销量，影响最终销量的指标有点击率、访问转化率、下单转化率等。那么通过智能推荐实现的内容分发需要在不同场景上实现不同的分发目的，达成目标的分发效果。

对于电商平台来说，往往是用户有了较强的购物需求。未使用智能推荐的电商平台，因为每个用户的购物需求是不同的，用户在登陆时并不能很容易的在首页就发现自己意向购买的商品、品类，且每个用户的首页商品、品类都是一样的。用户不能在短时间找到意向商品在一定程度上会造成首页访问转化率降低和首页流量的流失，分发效率和质量较低。而使用了智能推荐的电商平台，用户在登陆首页时则会有很大的概率发现意向商品，从而直接跳转到商品详情页面，提高了页面的访问效率。像用户在购物车页面时，智能推荐则帮助电商平台挖掘了用户的潜在需求，实现了交叉和向上销售从而提高了客单价滚旁冲。较为经典的案例是，经常买德国啤酒的人很大概率上会需要尿布。而未使用智能推荐的电商平台，用户在购买德国啤酒时，可能想不到还需要购买尿布，或者想到了要购买尿布而去了其他的电商平台，而智能推荐则帮助用户发现自己的需求，减轻用户寻找到意向商品的时间成本。假设两个电商平台a和b，在平台a里用户3秒内就找到了他想要的商品，而平台b需要3分钟，那么显而易见地用户会更经常使用a平台。换句话说，智能推荐带来的不仅仅是简单的点击，更重要的是让用户重复使用。

而对于如何精准实现商品的推荐需要收集用户数据、用户行为数据、商品数据、商品营销数据等。行为数据包括对商品或品类的点击、收藏、下单等，用户的长期兴趣、短期兴趣、实时兴趣。兴趣则主要有性别、品牌偏好、品类偏好、购买力水平、自营偏好、尺码颜色偏好等。商品数据则包括商品的产品词、修饰词、品牌词、质量分、价格、性别、年龄、标签、属性、详情页等。商品营销数据则包括商品上架时间、是否主推、是否高毛利、是否自有品牌等营销数据。智能推荐在电商平台的应用不仅仅是推荐商品这样简单。如活动、分类、优惠券、楼层、banner、文章等几乎每个存在个性化需求的界面或内容都需要推荐系统。

对于电商平台来说，内容分发不能仅仅依靠智能推荐，而需要根据产品状态和业务场景，制定推荐目标，通过运营经验总结成的规则推荐和智能推荐一起提升内容分发效果，这也是第三代内容分发系统的核心。不同的商品有不同的复购周期，以高复购的零食和低频的家具为例，购买零食后的一个月内用户可能会再次购买零食，而购买家具的一年内用户可能不会再购买类似的家具，那么针对于不同商品的品类就得依据运营经验设置符合用户购物习惯的召回策略，来保证推荐商品不过度打扰用户，不影响复购体验。电商平台为了提高利润率、扶持自有品牌，则可以根据业务目标提高高毛利商品和自有品牌在推荐系统中的权重，高权重商品会有更高的概率被推荐系统分发至用户，从而达成业务目标。商家注册入驻类电商平台，则可以根据商家钻展、直通车等推广情况，提高会员商家商品权重，从而保证会员商家的推广权益。

无论是电商平台还是资讯平台，运营人员对推荐系统使用目标的干预和调整对推荐效果和指标的提升都至关重要。如果说智能推荐是一把锤子，那么运营人员就是使用锤子的人，要造出好的房子，不仅需要一把好锤子，还需要了解该怎样使用好这把锤子把房子盖好。

人工智能有哪些是我们可以利用的领域？

随着科学技术和经济社会智能推荐算法在电商领域的应用的迅速发展智能推荐算法在电商领域的应用，人工智能的应用越来越普遍智能推荐算法在电商领域的应用，它发展对我们的工作和生活方式都产生了深远影响。在电子商务领域，人工智能技术同样也得到了很好的应用，并取得了明显的效果。可以说，人工智能与电子商务之间存在着密切的联系，两者相互影响并共同进步。

日前，在商务部举行的例行新闻发布会上，商务部新闻发言人高峰表示，2018年中国网络零售市场规模持续扩大，全国网上零售额突破9万亿元，其中实物商品网上零售额7万亿元，同比增长25.4%，对社会消费品零售总额增长的贡献率达到45.2%，较2017年提升7.3个百分点。

近年来，电子商务取得了卓越成果，人们在享受电子商务带来的便利的同时，也对其提出了越来越高的要求，而人工智能技术的出现则为电子商务的发展开辟了新的思路和格局。

伴随着科学技术的发展，人工智能技术越来越成熟。它甚至被认为是继蒸汽机革命、电力革命、信息革命之后的第四次科技革命，正在翻天覆地地改变着人们的工作和生活方式。特别是在电子商务领域，人工智能技术已逐渐发展成为助推销量增长和优化电子商务运营的强大工具。目前，人工智能在电商领域的应用主要体现在以下几个方面智能推荐算法在电商领域的应用：

1、智能客服机器人

智能客服机器人涉及到了机器学习、大数据、自然语言处理、语义分析和理解等多项人工智能技术。智能客服机器人主要功能是自动回复顾客问题，消费者可以通过文字、图片、语音与机器人进行交流。智能客服机器人可以有效降低人工成本、优化用户体验、提升服务质量、最大程度挽回夜间流量，以及帮助客服解决重复咨询问题。此外，据市场调研公司Gartner预测，到2020年有超过80%的零售业消费者互动都将由人工智能来完成。

2、推荐引擎

推荐引擎是建立在算法框架基础之上的一套完整的推荐系统。利用人工智能算法可以实现海量数据集的深度学习，分析消费者的行为，并且预测哪些产品可能会吸引消费者，从而为智能推荐算法在电商领域的应用他们推荐商品，这有效降低了消费者的选择成本。

3、图片搜索

电商平台的商品展示与消费者的需求描述之间，是通过搜索环节产生联系的。不过，基于文字的搜索行为有时很难直接引导用户找到他们想要的商品。通过计算机视觉和深度学习技术，可以让消费者轻松搜索到他们正在寻找的产品。消费者只需将商品图片上传到电商平台，人工智能能够理解商品的款式、规格、颜色、品牌及其他的特征，最后为消费者提供同类型商品的销售入口。

4、库存智能预测

多渠道库存规划管理是困扰电子商务最大的问题之一。库存不足时，补货所浪费的时间会对商家的收入带来很大的影响。但是如果库存过多，又会使营业风险和资金需求增加。因此，想要准确预测库存并不是一件容易的事情。这时人工智能和深度学习算法可以在订单周转预测中派上用场了，它们可以识别订单周转的关键因素，通过模型计算出这些因素对周转和库存的影响。此外，学习系统的优势在于它可以随着时间的推移不断学习而变得更加智能，这就使库存的预测变得更加准确。

5、智能分拣

智能机器人分拣不仅灵活高效还适用性很强，机器人对场地要求比较低，数量也能根据场地条件进行增减。与人工分拣相比，在相同分拣量的情况下，货物分拣更及时、准确，分拣环节的减少让货物搬运次数相应减少，货物更有安全保障。

6、趋势预测

一般来说，图片中会隐藏着大量的用户信息。所以，根据用户浏览的图片，利用深度学习算法可以从中分析出最近某品类的流行趋势，如颜色、规格、材质、风格等，这也是电商平台与供货商进行谈判的重要依据。

7、商品定价

传统模式下，企业需要薯消滑依靠数据和数腊自身的经验制定商品的价格。然而，在日趋激烈的市场竞争环境中，商品价格也要随着市场的变动做出及时调整。这种长期持续的价格调整，即便是对于一个只有小规模库存的线上零售商来说，也是一项很大的挑战。而这种定价问题正是人工智能所擅长的，通过先进的桥败深度学习算法，人工智能技术可以持续评估市场动态以解决商品定价问题。

人工智能在电商零售领域中的应用不包括哪些

目前，人工智能在电商领域的应用主要体现在以下几个方面：

　1、智能客服机器人

智能客服机器人涉及到了机器学习、大数据、自然语言处理、语义分析和理解等多项人工智能技术。智能客服机器人主要功能是自动回复顾客问题，消费者可以通过文字、图片、语音与机器人进行交流。智能客服机器人可以有效降低人工成本、优化用户体验、提升服务质量、最大程度挽回夜间流量派迅，以及帮助客服解决重复咨询问题。此外，据市场调研公司Gartner预测，到2020年有超过80%的零售业消费者互动都将由人工智能来完成。

　2、推荐引擎

推荐引擎是建立在算法框架基础之上的一套完整的推荐系统。利用人工智能算法可以实现海量数据集的深度学习，分析消费者的行为，并且预测哪些产品可能会吸引消费者，从而为他们推荐商品，这有效降低了消费者的选择成本。

　3、图片搜索

　4、库存智能预测

　5、智能分拣

智能机器人分拣不仅尘肢此灵活高效还适用性很强，机器人对场地要求比较低，数量也能根据场地条件进行增减。与人工分拣相比，在相同分拣量的情况下，货物分拣更及时、准确，分拣环节的减少让货物搬运次数相应减少，货物更有安全保障。

6、趋势预测

　7、商品定价

传统模式下，企业需要依靠数据和自身的经验制定商品的价格。然而，在日趋激烈的市场竞争环境中，商饥拍品价格也要随着市场的变动做出及时调整。这种长期持续的价格调整，即便是对于一个只有小规模库存的线上零售商来说，也是一项很大的挑战。而这种定价问题正是人工智能所擅长的，通过先进的深度学习算法，人工智能技术可以持续评估市场动态以解决商品定价问题。

写在最后：

目前，电商巨头都在积极应用人工智能技术，优化自身电商平台，以此来增加行业竞争力。阿里巴巴、京东以及亚马逊相继推出了智能客服机器人。在物流领域，电商巨头也纷纷发力，都推出了各自的产品。在推荐引擎方面，阿里巴巴有可视化人工智能平台“DT PAI”，京东则推出图像信息平台“钟馗系统”和文字识别系统。可以说，在人工智能的具体应用上，电商企业各有千秋。

当前，人工智能已经驶入快车道，它对电子商务中的交易、客户维系、客户满意度等方面正在产生越来越大的影响。随着时间的推移，电子商务领域在人工智能技术的不断作用下，会有更广阔的发展前景。我们有理由相信，人工智能技术必将成为电商变革的重要助推力。

个性化推荐算法

随着算法的普及，大量的产品有了个性化推荐的功能，这也成为内容类产品的标配。个性化定制化逐渐成为了互联网思维的新补充，被提升到了越来越重要的地位。算法推荐经过了很长一段时间的发展，才逐渐达到能给用户惊喜的阶段。比如在电商领域，推荐算法可以挖掘用户潜在购买需求，缩短用户选取商品的时间，提升用户的购物体验；在新闻或段视频领域，推荐算法可以推送用户喜欢的内容，提高用户的阅读效率，减少用户选择内容的时间，也增加了用户在产品上的停留时长。

算法应用阶段

内容类产品发展初期，推荐算法一般为“热度算法”，就是系统把热点内容优先推荐送给用户，完成热点内容的高阅读率。在积累了一定的用户数据后，会发现用户阅读内容过于集中于热点信息，长尾信息中的优质资源往往被忽略，造成资源浪费。“千人一面”的状况已不是一个优质的解决方案，所以算法逐渐演变为“个性化推荐”，也就是协同过滤的方法论支撑下的一种算法。协同过滤能很好的根据用户的喜好，推荐匹配的内容，减少资源浪费，增加用户使用的友好体验。真正做到“千人千面”。

推荐算法的信息来源

第三方数据

一个新系统在初期没有数据积累的情况下，可与第三方合作，互授部分信息共享。比如，很多系统支持微信登陆，这时候可以获取客户的微信信息，生活地点，部分生活习惯等。同时会获取用户的社交信息，共同好友越纤卜多表明圈子越相似，可以推荐更多相似的内容。

用户行为数据

记录用户在系统内的使用习惯，可以准确的描述单个用户的行为特征，爱好特征等有效的信息，系统根据提取出的分析结果，将内容与之匹配，完成更精准的推荐。如，某用户经常浏览体育信息，系统将对应推荐更多体育相关的咨询，省去逗棚用户搜索筛选的时间。

基于生活习惯

基于生活习惯，生活常识的推荐，往往也可以作为内置的一个信息来源途径。比如，外卖的app推荐用户的餐厅，一般默认是位置优先，就近推荐，如果是快中午的时间段使用，系统默认推荐午餐，其次是晚餐。靠生活常识作出的系统算法，可以更符合人类的习惯，给用户更好的体验。

热度算法

热度算法简单的说就是把最核心的内容优先推荐，用新闻举例，每一条新闻都具有实效性，随着时间的推移，该条新闻的关注度降低，关注点被新的热点新闻取代。量化以上的过程，把各个影响因素设定为变量，会得出以下的公式：

新闻热度=初始热度分+用户交互热度分-衰减热度分

初始热度分为新闻产生时，系统对新闻主体的预判热度值。预判的分值一般为以下两种模式，一种情况，按照新闻类别的不同，娱乐新闻大于财经新闻，大于国际新闻，大于文化新闻等等系统的预设，依次给出不同的初始热度分；另一种情况，系统预置热词词库，用新闻的关键词和词库的去匹配，匹配度高的，初始热度分高。

用户的交互热度分也是一个变量，先要明确用的哪些行为会影响新闻热度，然后对这些行为量化，加权或打分等方式。例如，网易云音乐，用户的听歌，重复循环，收藏，评论，分享等行为，系统为每一种行为打分，求和后得出用户交互的热度分：

用户交互热度分=听歌X10+循环X5+收藏X10+评论X5+分享X3

此公式还可以继续细化，每一种操作的分值也可以作为变量，在产品前期时，传播产品为主要任务，所以分享的加权要大一些，随着网易云的发展，社区的概念逐渐强化，评论区互动的加权会加大，所以评论的分值会增加，系统随时山竖则调整分数加权，得出更准确的用户交互的影响值。

衰减热度分是一个随时间变化而变化的数值，往往是一个函数的表达。用新闻举例，新闻的热度会随着时间的推移而衰减，并且趋势是越来越快，人们在接受新的热点后，迅速忘记“旧闻”，直至热度趋近于零。根据理论数据，构建函数，准确的表达衰减分值。

还有很多其他的影响因素，比如传播次数，传播层数，停留时长等等，都会影响热度值，要想更精准的表达，就需要把涉及到的因素都作为变量，不断完善算法，才能更精准的完成推荐。

个性化推荐算法

随着用户量的增加，产品日活的增加，用户也不能仅限于千人一面热点阅读的模式中，个性化推荐在此时显得尤为重要。个性化推荐有两种常见的解决方案，一种是基于内容的推荐算法，推荐内容往往是根据用户的使用习惯得来，较为精准；另一种是基于用户的协同推荐算法，系统会根据以往使用内容，为用户建模，然后根据群体中个体的使用习惯，推荐更多超预期的内容，达到预测推荐的效果。

基于内容的推荐算法-预期内

基于内容的推荐算法，靠收集用户的使用习惯，进而推荐相关的内容。系统使用分词库匹配、关键词匹配等等方式，达到内容的匹配，做到内容的精确划分。比如，用户浏览了某部科幻电影，系统就会按照该电影所对应的标签，如科幻，然后系统推荐相同标签的影片给用户。

这样的推荐方案，确定性强，推荐的内容都是根据用户的历史来确定，不能挖掘用户的潜在需求。

基于用户的协同推荐-超预期

做到精准推荐后，系统会继续挖掘更潜在的推荐需求，给用户超预期的推荐体验。这就到了基于用户协同推荐的阶段。简单的说，这种算法是增加了用户建模的环节，将同标签的用户群分，对比群体中单个个体的特征，默认这种特征为这类人的潜在特征，再将此特征内容推荐给同标签的用户，达到超预期的推荐效果。

比如，某用户购买了一个苹果手机，系统会将此用户归类为果粉，系统识别出很多果粉除了买苹果的商品，还会购买小米作为备用机，这个特征会被系统识别为潜在需求，推荐给果粉，减少果粉选择备用机的时间。

这样的推荐算法，不仅能完成精准的推荐，还能给用户小惊喜，让系统“有温度”。但是这样的推荐方式，往往需要积累了大量用户资料为基础，才可以精确的完成。

生活中的人工智能之搜索和推荐算法

姓名：陈心语学号：21009102266 书院：海棠1号书院

转自：人工智能在搜索中的应用_u014033218的专栏-CSDN博客

人工智能在搜索的应用和实践_qq_40954115的博客-CSDN博客

【嵌牛导读】日常生活中的搜索和推荐算法也与人工智能有所关联，让我们一起来看看吧！

【嵌牛鼻子】人工智能运用于搜索和推荐算法。

【嵌牛提问】人工智能在搜索和推荐算法中有什么运用呢？

【嵌牛正文】

智能交互

智能交互有三个方面的这部分组成，第一个就是Query推荐，这是比较古老的课题；第二个做智能导购，这是现在正在做的一个原形，后面我会讲为什么做智能导购；第三个内容的展示和个性化的创意。就是说你把商品怎么展示给用户，也是我们认为是交互的一部分。

第一个是Query推荐，这个问题怎么来抽象呢空基樱？Query推荐是一个用户当前Query下面我们怎么推荐其它Query，这是我们相关搜索一样的。我们推荐这样的一个Query以后，如果用户一旦点了其中的一个Query，用户的状态就会发生变化，从当前的Query跳到另外一个Query，这是用户状态的变化。第二个就是说我们怎么评价我们推荐的Query的好坏，它由几部分组成，一个Query有没有被点，第二个就是说推荐Query里面，它的SRP页会不会点，因为Query推荐本质上不是Query推荐做的最好就是最好的，它是说最终要在搜索SRP用户有没有买，有没有点击，这才是做的好的，这是第二个收益。还有一个更加间接的，通过Query推，这个状态转到下一个状态以后，这个里面还会推其它Query，还会有锋弯其它点击，这个时候也是个间接推荐。如果我不推Query就不能到这个状态，不到状态不会有这个Query，不会有这个收益。我们了解，这就是典型的一个马尔科夫决策过程，我们是用强化学习来做的，Actions就是我们的Query list，根据用户和当前Query推荐其他Query，状态就是User + Query，收益就是包括推荐Query击，还有一个间接收益，间接收益通过bellman 公式可以算出来，这就是一个DQN的强化学习项目。

智能导购

现在的搜索呈现的问题就是说，如果去看搜索的Query都是一些品类词、品牌词、型号词或者属性词。假定用户他知道买什么再来搜索搜，但是有各很大的东西用户不知道买什么吗？智能导购就是做做一个类似智能导购机器人的产品，引导用户怎么搜，用户也可以主动问，获取知识或购物经验。这是后台的算法的一个原形，不久后会上线。

智能内容

因为淘宝的商品，卖家为了适应我们的引擎，做了大量的SEO，里面都是罗列热门的关健词，导致问题淘宝的标题没什么差异，都写的差不多，看标题也不知道什么东西，或者知道但里面没有很多特色的内容。我们做智能内容很重要的出发点是怎么从商品的评价、详情页、属性里面挖出一些比较有卖点，或者商品比较有特色的东西展示给用户，让用户更好的了解商品，这是第一个。第二个淘宝上面还有类似商品聚合的，比如清单，生成一个清单，怎么给清单生成一个比较好的导入的描述，让用户描述这个清单干什么。这里面主要做了这两个事情。具体怎么做的？一个会生成一些Topic，比如行业运营加上我们挖的一些点，比如像手机一般大家关注点会是手机的性价比，拍照是不是清晰，还有速度是不是快，是不是发热什么的，这是用户关注的兴趣点。然后它会根据这个商品会选择一个兴趣点，通过Seq2seq生成短文本。

语义搜索

我们的商品属性基本上是比较标准化的，因为这里淘宝有一个这样的商品库，非标准化的斗丛内容是没法上传的。导致的问题是我们的商品内容相对来说是比较规范化的，但是用户的输入的Query不是这样的，比如我这里举一些例子，比如一个新品有各种表达，2017新品，2017冬季新品，是吧？新品，有很多的表达。所以就是从从用户的需求跟商品的内容，就存在了一个语义的Gap。还有我们经常举例，比如三口之家用的电饭锅，很多这种语义的问题，这个语义从语义角度解决语义Match的事情。

大概会有这么几个方面。比如一个就是意图的理解，还有意图的Mapping，比如大容量冰箱，首先知道大的是跟冰箱的容量相关的，冰箱是个类目，最后要Mapping到人的冰箱，把‘大’改写成一个容量大于多少升，类目是冰箱这样才能够比较好的解决我们这个搜索的这个召回的问题。第二个语义理解，这里面包括Query和商品都要做语义理解，比如通过image tagging计算从图片里面抽取很多文本的语义标签补充到商品文本索引中。第三个就是现在有这个端到端的深度学习技术来直接学Query和商品的Similarity，通过端到端的深度学习技术来做语义的召回和语义的相关性。

智能匹配

主要就是讲个性化，做个性化的首要就是个性化数据。个性化本质上就是说以用户为中心构建用户的标签，用户的行为，还有用户的偏好，再通过这些数据找到，去Match到商品，比如说你看过相似商品，典型的协同过滤，还有你偏好的品牌的其它商品。那就是基于这些经历了一个以用户为中心的电商图谱，这里面还加了一些辅助的数据，比如商品的相似度，店铺之间的相似度，这样构建了我们这样的叫电商图谱。

个性化召回与向量化召回

召回是这样的，首先从咱们的电商图谱里取出用户的信息，包括比如说年龄性别，还有当地温度是多少，还有行为足迹等等之类的，社交现在没用了，因为这是几年前社交特别火，什么都要掺和一下，其实社交，信息的社交到电商其实风马牛不相及的领域，没有任何价值。所以现在好友这东西几乎没有用。因为不同Query中，用户信息重要性是不一样的，我们根据上下文会做用户信息的筛选或者排序，会找出比较重要的信息做个性化召回。以上是淘宝商品索引结构，传统的搜索关键字是通过搜索关键字召回，而个性化商品索引，除了Query还会有商品簇，簇与簇之间的关系，品牌店铺等等之类的，会加很多个性化的特征做召回，通过这种带的好处是召回的结果跟用户是直接相关的，就召回这一步带来个性化。

但是这种基于行为召回还是存在一个问题的。最重要的问题它的泛化能力会比较差。最典型的比如说你通过协同过滤来做，如果两个商品，没有用户同时看过的话，这两个商品你认为他们相似度是零，这个结论是错的，但是如果通过协同过滤就有这个问题。我们今年实现了向量化召回，包括两步：一个是Similarity learning，通过这个深度学习做端到端的Similarity learning，就会把这个我们的User 和Item会变成一个向量；第二步就是做向量化召回，比如层次聚类，随机游走，learning to hash等,这样的话就是说会极大的提升召回的深度。

个性化工作

在个性化领域其实最重要的一个核心的问题就是怎么去理解用户，怎么感知用户和预测用户行为及偏好。

首先是数据，用户在淘宝有两个中类型重要的基本信息：一个是用户标签，比如年龄、性别、职业等；第二是用户足迹，比如点过，买过的商品，店铺等；

其次是用户感知要和搜索上下文相关，即这个用户的表征和要用户搜索意图相关；

第三是搜索有很多差异化的任务，比如用户消费能力的预估， User到Item的CTR预估和用户购物状态预估等，是为每个任务做个端到端的深度学习模型还是用统一的用户表征来完成不同的Task？如果每一个任务都做端到端深度学习会有很多问题，比如离线和在线的性能开销会大很多，或部分任务样本太少。

如图是用户感知深度模型，输入X是用户的点击行为序列，下一步是embedding，embedding完以后，通过LSTM把用户行为序列做embedding，因为在搜索用户感知和Query相关，所以加入query 的 attention层，选择和当前query有关系的行为，表征完是Multi-task learning 网络。整个这个网络的参数大概有一百亿个参数，我在双11我们还实现了在线学习。

算法包括智能交互、语义搜索、智能匹配和搜索策略四个方向。

智能交互

商品搜索就是带交互的商品推荐，用户通过关键字输入搜索意图，引擎返回和搜索意图匹配的个性化推荐结果，好的交互技术能够帮助到用户更好的使用搜索引擎，目前搜索的交互主要是主动关键字输入和关键字推荐，比如搜索框中的默认查询词和搜索结果中的文字链等，推荐引擎根据用户搜索历史、上下文、行为和状态推荐关键字。和商品推荐的区别是，关键字推荐是搜索链路的中间环节，关键字推荐的收益除了关键字的点击行为外，还需要考虑对整个购物链路的影响，包括在推荐关键字的后续行为中是否有商品点击、加购和成交或跳转到另外一个关键字的后继行为，这是一个典型的强化学习问题，action 是推荐的关键字候选集合，状态是用户当前搜索关键词、上下文等，收益是搜索引导的成交。除了被动的关键字推荐，我们也在思考搜索中更加主动的交互方式，能够做到像导购员一样的双向互动，主动询问用户需求，挑选个性化的商品和给出个性化的推荐理由，目前我们已经在做智能导购和智能内容方向的技术原型及论证，智能导购在技术上主要是借鉴对话系统，通过引导用户和引擎对话与关键字推荐方式互为补充，包括自然语言理解，对话策略，对话生成，知识推理、知识问答和商品搜索等模块，功能主要包括：a. 根据用户搜索上下文生成引导用户主动交互的文本，比如搜索“奶粉”时，会生成“您宝宝多大？0~6个月，6个月到1岁….”引导文案，提示用户细化搜索意图，如果用户输入“3个月”后，会召回相应段位的奶粉，并在后续的搜索中会记住对话状态“3个月”宝宝和提示用户“以下是适合3个月宝宝的奶粉”，b. 知识导购，包含提高售前知识问答或知识提示，比如“3个月宝宝吃什么奶粉” 回答“1段”，目前对话技术还不太成熟，尤其是在多轮对话状态跟踪、知识问答和自动评价几个方面，但随着深度学习、强化学习和生成对抗学习等技术在NLP、对话策略、阅读理解等领域的应用，越来越多的训练数据和应用场景，domain specific 的对话技术未来几年应该会突飞猛进；智能内容生成，包括生成或辅助人工生成商品和清单的“卖点”，短标题和文本摘要等，让淘宝商品表达更加个性化和多元化。

语义搜索

语义搜索主要是解决关键字和商品内容之间的语义鸿沟，比如搜索“2~3周岁宝宝外套”，如果按照关键字匹配召回结果会远小于实际语义匹配的商品。语义搜索的范围主要包括：a. query tagging和改写，比如新品，年龄，尺码，店铺名，属性，类目等搜索意图识别和归一化，query tagging模型是用的经典的序列标注模型 bi-lstm + CRF，而标签分类（归一化）作为模型另外一个任务，将序列标注和分类融合在一起学习；b. query 改写，主要是计算query之间相似度，把一个query改写成多个语义相似的query，通常做法是先用不同改写策略生成改写候选query集合，比如词替换、向量化后top k、点击商品相似度等，然后在用ltr对后续集合排序找出合适的改写集合，模型设计和训练相对简单，比较难的是如何构建高质量的训练样本集合，线上我们用bandit 的方法探测部分query 改写结果的优劣，离线则用规则和生成对抗网络生成一批质量较高的样本； c. 商品内容理解和语义标签，通过商品图片，详情页，评价和同义词，上下位词等给商品打标签或扩充商品索引内容，比如用 image tagging技术生成图片的文本标签丰富商品内容，或者更进一步用直接用图片向量和文本向量融合，实现富媒体的检索和查询；d. 语义匹配，经典的DSSM 模型技术把query 和商品变成向量，用向量内积表达语义相似度，在问答或阅读理解中大量用到多层LSTM + attention 做语义匹配，同样高质量样本，特别是高质量负样本很大程度上决定了模型的质量，我们没有采样效率很低的随机负采样，而是基于电商知识图谱，通过生成字面相似但不相关的query及相关文档的方法生成负样本。从上面可以看到query tagging、query相似度、语义匹配和语义相关性是多个目标不同但关联程度非常高的任务，下一步我们计划用统一的语义计算框架支持不同的语义计算任务，具体包括1. 开发基于商品内容的商品表征学习框架，为商品内容理解，内容生成，商品召回和相关性提供统一的商品表征学习框架，重点包括商品标题，属性，详情页和评价等文本信息抽取，图像特征抽取和多模信号融合；2. query 表征学习框架，为query 类目预测，query改写，query 推荐等提供统一的表征学习框架，重点通过多个query 相似任务训练统一的query表征学习模型；3. 语义召回，语义相关性等业务应用模型框架。语义搜索除了增加搜索结果相关性，提升用户体验外，也可以一定程度上遏制淘宝商品标题堆砌热门关键词的问题。

智能匹配

这里主要是指个性化和排序。内容包括：a. ibrain (深度用户感知网络)，搜索或推荐中个性化的重点是用户的理解与表达，基于淘宝的用户画像静态特征和用户行为动态特征，我们基于multi-modals learning、multi-task representation learning以及LSTM的相关技术，从海量用户行为日志中直接学习用户的通用表达，该学习方法善于“总结经验”、“触类旁通”，使得到的用户表达更基础且更全面，能够直接用于用户行为识别、偏好预估、个性化召回、个性化排序等任务，在搜索、推荐和广告等个性化业务中有广泛的应用场景，感知网络超过10B个参数，已经学习了几千亿次的用户行为，并且会保持不间断的增量学习越来越聪明； b. 多模学习，淘宝商品有文本、图像、标签、id 、品牌、类目、店铺及统计特征，这些特征彼此有一定程度的冗余和互补，我们利用多模学习通过多模联合学习方法把多维度特征融合在一起形成统一的商品标准，并多模联合学习中引入self-attention实现特征维度在不同场景下的差异，比如女装下图片特征比较重要，3C下文本比较重要等；c. deepfm，相对wide deep 模型，deepfm 增加了特征组合能力，基于先验知识的组合特征能够应用到深度学习模型中，提升模型预测精度；d. 在线深度排序模型，由于行为类型和商品重要性差异，每个样本学习权重不同，通过样本池对大权重样本重复copy分批学习，有效的提升了模型学习稳定性，同时通过融合用户状态深度ltr模型实现了千人千面的排序模型学习；e. 全局排序，ltr 只对单个文档打分然后按照ltr分数和打散规则排序，容易导致搜索结果同质化，影响总页效率，全局排序通过已知排序结果做为上下文预测下一个位置的商品点击概率，有效提升了总页排序效率；f. 另外工程还实现了基于用户和商品向量的向量召回引擎，相对倒排索引，向量化召回泛化能力更强，对语义搜索和提高个性化匹配深度是非常有价值的。以上实现了搜索从召回、排序特征、排序模型、个性化和重排的深度学习升级，在双11无线商品搜索中带来超过10% (AB-Test)的搜索指标提升。

智能决策

搜索中个性化产品都是成交最大化，导致的问题是搜索结果趋同，浪费曝光，今年做的一个重要工作是利用多智能体协同学习技术，实现了搜索多个异构场景间的环境感知、场景通信、单独决策和联合学习，实现联合收益最大化，而不是此消彼长，在今年双11中联合优化版本带来的店铺内和无线搜索综合指标提升12% (AB-Test)，比非联合优化版本高3% (AB-Test)。

性能优化

在深度学习刚起步的时候，我们意识到深度模型inference 性能会是一个瓶颈，所以在这方面做了大量的调研和实验，包括模型压缩(剪枝)，低秩分解，量化和二值网络，由于缺少相应的指令集和硬件支持，最终只在个别场景下上线，期待支持低精度矩阵计算和稀疏矩阵计算的硬件早日出现。

未来计划

通用用户表征学习。前面介绍的DUPN 是一个非常不错的用户表征学习模型，但基于query 的attention 只适合搜索，同时缺少基于日志来源的attention，难以推广到其他业务，在思考做一个能够适合多个业务场景的用户表征模型，非搜索业务做些简单fine tuning 就能取得比较好的效果；同时用户购物偏好受季节和周期等影响，时间跨度非常大，最近K个行为序列假设太简单，我们在思考能够做life-long learning 的模型，能够学习用户过去几年的行为序列；搜索链路联合优化。从用户进入搜索到离开搜索链路中的整体优化，比如搜索前的query 引导（底纹），搜索中的商品和内容排序，搜索后的 query推荐（锦囊）等场景；跨场景联合优化。今年搜索内部主搜索和店铺内搜索联合优化取得了很好的结果，未来希望能够拓展在更多大流量场景，提高手淘的整体购物体验；多目标联合优化。搜索除了成交外，还需要承担卖家多样性，流量公平性，流量商业化等居多平台和卖家的诉求，搜索产品中除了商品搜索外还有“穹顶”，“主题搜索”，“锦囊”，“内容搜索”等非商品搜索内容，不同搜索目标和不同内容（物种）之间的联合优化未来很值得深挖。

人工智能与电子商务的联系及影响

人工智能与电子商务的联系及影响：

1、通过收集和分析大量数据的能力，AI可以使用机器学习功能来评估特定产品的未来销售趋势。此信息通常基于过去的消费者行为以及整体市场趋势。如果确定了向上或向下趋势，将通知托运人和库存管理，以便根据需求生产适当数量的产品。

上下趋势导致更多数据驱动的库存管理模式，这再次节省您的业务时间和金钱，并生成更有效的业务结构。

2、人工智能辅助电子商务自动化可以成为其平台规则改变者，拥有太多自己的板块，此外，它可以节省大瞎中量的时间和精力用于关键任务任务。

3、人工智能可以很快接管大量琐碎但耗时的任务。甚至可以创建一个AI虚拟助手来处理诸如回复电子邮件，安排会议和组织行程等工作。

扩展资料：

结合人工智能技术，品牌能够更有效地预测客户的需求和购买行为，并为其提供个性化推荐。以淘宝为例，它利用人工智能分析收集到的用户数据，综合考虑客户信息、客户偏好、客户历史购买行为、第三方数据以及上下文信息后，为客户提供个性化建议。

人工智能并不意味着机器将接管一切。很多人害怕将来机器人取代人类，但机器人只是辅助零售商进行精准营销磨枝山的手段而已。

随着电搭颂商行业的不断扩大，势必会拥有越来越多的客户，自动化的需求也就越发急切，并将成为电商的投资重点。更重要的是，随着电商企业的增长，重复任务的数量也在增长，这时利用机器人处理问题便是极好的解决办法。