|
倘若一个商场连续促销，你会有立即购物的冲动吗？可能不会！无间隔的促销或许会降低你的消费激情。
倘若一个线上购物平台连续的向你推出同一品类的东西，你会买账吗？可能不会！过于类似的商品会让你产生审美疲劳，并失去下单的欲望。
然而，你相信吗，针对这些问题的改进，不需要商家或品牌方，仅仅经过人工智能就能够实现！从语音识别到图像处理、从自动驾驶汽车到医疗设备人，如今再到营销行业，人工智能的“深度强化学习”为数字行业带来非常多前所未有的机会。 
照片源自：©千库网
浙江大学管理学院市场营销学系教授、品质管理硕士学位项目论文导师王小毅和团队正是发掘了“深度强化学习”为数字营销行业革命带来的巨大启示和变化，对其进行了一系列深入科研，并设计了一种基于DRL的个性化目的定位策略。
日前，王小毅与团队在管理科学行业国际顶刊《MANAGEMENT SCIENCE》上发布了相关数智营销的研究成果"Deep Reinforcement Learning for Sequential Targeting"（运用深度强化学习实现动态连续定位营销）。 
Deep Reinforcement Learning for Sequential Targeting.pdf
成果在线发布，点击链接查看详情
到底什么是“深度强化学习”？
人工智能算法是怎样助力数字营销发展的？
研究团队都做了那些尝试？
本期【“研究”】，让咱们一块走进王小毅团队的“AI营销世界”。 
学者简介
王小毅：浙江大学管理学院市场营销学教授、博导，品质管理硕士学位项目论文导师，数字化转型与脑机智能营销交叉科研专家，得到中国商场联合会科技进步一等奖等省部级奖励多项。
在《管理世界》、Management Science、MarketingScience、JournalofMarketingResearch、InformationSystemsResearch等期刊发布论文，谷歌学术H指数为20。
她们为么聚焦设备学习来
科研营销定位策略？
目的市场定位营销（Target Marketing）一般指的是企业识别各个区别的购买者群体，选取其中一个或几个做为目的市场，运用适当的市场营销组合，集中力量为目的市场服务，满足目的市场的需要。然而，在数字化时代，企业的营销策略越来越依赖于与消费者的高频次互动和针对营销策略的快速调节。此时，经典营销理论的传统思路和手段办法面临着越来越多的挑战。
传统的定位营销策略常常只思虑与顾客进行一次性“买卖”，较为依赖前期策划和庞大的宣传投放，忽略了时间原因对消费者行径的影响和促销活动的连续性，成本巨大且结果不确定。
实质状况中，企业需要在多个周期内依次决定向谁发放优惠券、选取哪个促销活动以及决定两个活动之间的等待时长。与此同期，消费者的真实偏好亦会随着时间的推移而快速改变。
因此呢，不论是学术界和产业界都迫切需要一种随着持续变化的顾客行径而进行调节的适应性定位营销策略。 
企业平常的动态连续促销策略
做为一种新兴的人工智能算法，“深度强化学习”（Deep Reinforcement Learning，DRL
）算法能够在无人类监督的状况下连续“学习”加强性能，对处理以上问题拥有巨大的潜能。
“深度强化学习（DRL）”是一种基于奖励的学习办法，它能够帮忙定位营销策略实现个性化、强适应性，但它亦面临着许多挑战，例如针对时间影响的处理；针对繁杂消费者行径维度的处理；针对策略效果的评定等。
正是基于此背景，王小毅教授与团队提出了这种创立在DRL算法基本上的个性化目的定位策略
，并运用一种基于量化的不确定性学习启发式办法来使DRL适应繁杂的消费者行径维度。
采用双流法（ Two-Stream Computations）的竞争网络架构（Double-Dueling Network Architecture）
研究团队都做出了那些尝试?
人工智能的“自主学习”和持续升级，是经过“深度学习”和“强化学习”等技术来实现的。深度学习拥有较强的感知能力，然则缺乏必定的决策能力；而强化学习拥有决策能力，对感知问题束手无策。因此呢，将两者结合起来，优良互补，就能为繁杂系统的感知决策问题供给新的处理思路，这便是咱们所说的“深度强化学习（DRL）”，亦是一种更接近人类思维方式的人工智能办法。
近年来，“深度强化学习（DRL）”取得了巨大突破，这种人工算法经过在给定奖励或处罚反馈的状况下，让系统以持续试错的方式与营销环境进行连续交互，从而寻找到“最佳策略”，以完成学习的过程。
王小毅教授团队正是基于DRL人工算法，在序贯性定位营销设置的场景下，设计了这项个性化定位营销策略。
这项策略首要运用连续价格促销来吸引顾客的即时重视力并锁定她们，并在每两次价格促销之间供给一个非促销期（即冷却期），并且随着时间的推移逐步增多冷却期的长度，以便顾客调节其价格参考点。
序贯性定位营销（Sequential Targeting），即连续地对消费者开展促销行径。
科研显示，采用深度强化学习办法能够处理当前实施连续定位营销策略所面临的三大挑战：
01
前瞻性
平衡机构当前收入和将来收入
02
边探索学习边得到市场报答
最大化利润，同期经过探索研发持续学习
03
可扩展性
应对高维状态和营销政策空间 
照片源自：©千库网
为了更好地使DRL能够适应繁杂的消费者行径维度，科研团队又提出了一种基于量化的不确定性学习启发式算法，以实现有效的探索研发。
经过评定，其结果显示，平均状况下，采用这种新算法代理（agent）产生的长时间收入比采用传统办法所产生的收入多26.75%，学习速度亦比所有基准中，其他产业界常用算法模型的速度快76.92%。
为了更好地理解科研结果背面的潜在机制，科研团队进行了多种可解释性算法的科研，能够诠释个体和群体水平上学习最优策略的行径模式。
另外，王小毅教授与团队合作者提出的“模拟”在线测试环境为DRL训练和测试构建了用户行径模拟器，为平台供给了一种节省成本的方式来学习DRL代理，而无需在现实世界中运行海量、测试。 
照片源自：©千库网
然而，不得不承认的是人工智能算法在营销行业的应用仍然面临着有些挑战。因为算法依靠训练数据和计算资源，需要进行海量的实验和优化来加强算法的效率和准确性；因为消费者行径的繁杂性和不确定性，需要更加多的数据和模型来解释和预测消费者行径；因为运用DRL算法的实时决策和调节需要在短期内做出，因此呢需要创立一个实时决策系统来支持DRL算法的应用。
为认识决这些挑战，王小毅教授团队正在进一步奋斗开展开发工作，有望在今年供给一个更加通用和普适的DRL框架，框架亦能够很容易地推广到其他目的市场营销场景，例如基于位置的服务、在线流媒介或在线教育的序贯举荐，可供平台和营销人员在平常实践中容易运用。
该框架将基于量化的不确定性学习启发式办法，结合实时决策系统和用户行径模拟器，以加强DRL算法的效率和准确性，并帮忙企业更好地理解和预测消费者行径，制定更加智能和有效的营销策略。
总体而言，王小毅教授团队的科研结果表示了“深度强化学习”办法在优化定位营销策略以最大化企业长时间收入方面的巨大潜能，证明了这种办法在数字营销行业能够产生颠覆性影响。 
照片源自：©千库网
她们的科研对
品牌价值和数字营销有何道理？
基于“深度强化学习”的营销策略对提高数字化营销效率有何功效？对助力企业制定数字化营销策略有何道理？
其实，这项听起来“奥秘”的基于算法驱动的营销科研成果，与品牌、企业的息息关联，且在企业数字化转型中拥有重要价值与战略道理。详细来讲，它能够帮忙企业更加精细地进行市场定位和目的营销，加强数字化营销的效率和精细度，实现业务增长和品牌价值的提高。
1
更好认识消费者的需要和偏好
“深度强化学习”能够帮忙企业更好地认识消费者的需要和偏好，从而精细地进行市场定位和目的营销。
经过对消费者数据的深度分析，企业能够认识消费者的行径模式和心理特征，从而制定更加精细的营销策略。例如，企业能够按照强化学习算法的分析结果，适时调节制品定价、制品举荐、宣传投放等策略，以加强消费者的消费忠诚度和购买转化率。
2
优化营销途径，提高效率
“深度强化学习”能够帮忙企业优化营销途径，加强数字化营销的效率和精细度。
经过对区别营销途径的数据进行分析和比较，企业能够认识每一个途径的贡献度和效果，从而制定更加科学的途径策略。例如，企业能够按照强化学习算法的分析结果，适时调节各个途径的投放比例和投放策略，以加强数字化营销的效率和精细度。
3
实现数字化营销的精细化和智能化
深度强化学习算法能够帮忙企业实现数字化营销的精细化和智能化。
经过对消费者数据的深度学习和分析，企业能够认识消费者的行径和偏好，从而实现个性化的营销和服务。例如，企业能够按照强化学习算法的分析结果，针对区别的消费者群体，供给区别的营销方法和服务，以加强消费者的满意度和忠诚度。 
图片源自：©千库网
基于这项科研成果，王小毅团队与阿里巴巴合作改进数字营销经营办法论、与浙江中烟合作设计智慧营销大脑，为传统零售商场的制定自有品牌策略等，为企业数智创新供给了新的路径和解题方式。
日前，王小毅教授联合阿里妈妈发布的DEEPLINK模型，仔细解析了消费者从种草，到首购，在到复购的消费路径。
如果以“个性化定位营销策略”来分析诠释模型中看似繁杂无序的消费路径，能够将其拆解为：Discover发掘—Engage种草—Enthuse热爱—Perform行动—Initial首购—Numerous复购—Keen忠诚。该模型是基于过去围绕营销漏斗的AIPL模型（Awareness认知-Interest兴趣-Purchase购买-Loyalty忠实）的进一步升级。
这般的路径分析能够帮忙企业更好地理解和预测消费者行径，制定更加智能和有效的营销策略。 
附：论文摘要
Deep reinforcement learning (DRL) has opened up many unprecedented opportu-nities in revolutionizing the digital marketing field. In this study, we designed a DRL-based personalized targeting strategy in a sequential setting. We show that the strategy is able to address three important challenges of sequential targeting: (1) forward looking (balancing between a firm’s current revenue and future revenues), (2) earning while learning (maximizing profits while continuously learning through exploration-exploitation), and (3) scalability (cop-ing with a high-dimensional state and policy space). We illustrate this through a novel design of a DRL-based artificial intelligence (AI) agent. To better adapt DRL to complex consumer behavior dimensions, we proposed a quantization-based uncertainty learning heuristic for effi-cient exploration-exploitation. Our policy evaluation results through simulation suggest that the proposed DRL agent generates 26.75% more long-term revenues than can the non-DRL approaches on average and learns 76.92% faster than the second fastest model among all bench-marks. Further, in order to better understand the potential underlying mechanisms, we con-ducted multiple interpretability analyses to explain the patterns of learned optimal policy at both the individual and population levels. Our findings provide important managerial- relevant and theory-consistent insights. For instance, consecutive price promotions at the begin-ning can capture price-sensitive consumers’ immediate attention, whereas carefully spaced nonpromotional “cooldown” periods between price promotions can allow consumers to adjust their reference points. Additionally, consideration of future revenues is necessary from a long- term horizon, but weighing the future too much can also dampen revenues. In addition, analy-ses of heterogeneous treatment effects suggest that the optimal promotion sequence pattern highly varies across the consumer engagement stages. Overall, our study results demonstrate DRL’s potential to optimize these strategies’ combination to maximize long-term revenues.
本期素材 | ZJUSOM官微
本期责编 | ZUPUC品牌推广
| 
发表于 2024-9-4 01:21:29