基于CNN-LSTM的用户购买行为预测模型

计算机应用与软件

ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ

Ｖｏｌ３７Ｎｏ．６Ｊｕｎ．２０２０

基于ＣＮＮＬＳＴＭ的用户购买行为预测模型

胡晓丽１　张会兵２　董俊超２　吴冬强３

１

２

（桂林电子科技大学教学实践部　广西桂林５４１００４）

３

（桂林电子科技大学广西可信软件重点实验室　广西桂林５４１００４）

（南宁地精科技有限公司　广西南宁５３００００）

摘　要　　利用电商平台上的购物历史数据对用户购买行为进行预测有助于提升用户体验和营销效果。提出一种基于ＣＮＮＬＳＴＭ的用户购买行为预测模型。使用“分段下采样”对样本数据进行均衡化处理以获得购买用户ＮＮＬＳＴＭ组合网络实现用户属性、商品属性及用户行为特征的自动抽取与选择，和未购买用户均衡样本；使用Ｃ并以此对用户购买行为进行预测。在阿里巴巴移动电商平台数据集的实验结果表明，基于ＣＮＮＬＳＴＭ的预测模型Ｆ１值比基准模型平均提升了７％～１１％，使用“分段下采样”样本均衡算法Ｆ１值提升了２％左右。关键词　　电子商务　购买行为预测　样本均衡　卷积神经网络　长短时记忆网络

中图分类号　ＴＰ３９１　　　　文献标志码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２０．０６．０１２

ＰＲＥＤＩＣＴＩＯＮＭＯＤＥＬＯＦＵＳＥＲＢＵＹＩＮＧＢＥＨＡＶＩＯＲＢＡＳＥＤＯＮＣＮＮＬＳＴＭ

１２２３

ＨｕＸｉａｏｌｉ　ＺｈａｎｇＨｕｉｂｉｎｇ　ＤｏｎｇＪｕｎｃｈａｏ　ＷｕＤｏｎｇｑｉａｎｇ

１

２

（ＤｅｐａｒｔｍｅｎｔｏｆＴｅａｃｈｉｎｇＰｒａｃｔｉｃｅ，ＧｕｉｌｉｎＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｏｎｉｃＴｅｃｈｎｏｌｏｇｙ，Ｇｕｉｌｉｎ５４１００４，Ｇｕａｎｇｘｉ，Ｃｈｉｎａ）

３

（ＧｕａｎｇｘｉＫｅｙＬａｂｏｒａｔｏｒｙｏｆＴｒｕｓｔｅｄＳｏｆｔｗａｒｅ，ＧｕｉｌｉｎＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｏｎｉｃＴｅｃｈｎｏｌｏｇｙ，Ｇｕｉｌｉｎ５４１００４，Ｇｕａｎｇｘｉ，Ｃｈｉｎａ）

（ＮａｎｎｉｎｇＤｉｊｉｎｇＣｏ．，Ｌｔｄ．，Ｎａｎｎｉｎｇ５３００００，Ｇｕａｎｇｘｉ，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ　　Ｕｓｉｎｇｓｈｏｐｐｉｎｇｈｉｓｔｏｒｉｃａｌｄａｔａｏｎｅｃｏｍｍｅｒｃｅｐｌａｔｆｏｒｍｔｏｐｒｅｄｉｃｔｕｓｅｒｓｂｕｙｉｎｇｂｅｈａｖｉｏｒｉｓｈｅｌｐｆｕｌｔｏｉｍｐｒｏｖｅｕｓｅｒｅｘｐｅｒｉｅｎｃｅａｎｄｍａｒｋｅｔｉｎｇｅｆｆｅｃｔ．ＴｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｏｆｕｓｅｒｂｕｙｉｎｇｂｅｈａｖｉｏｒｂａｓｅｄｏｎＣＮＮＬＳＴＭ．Ｉｔｕｓｅｄ＂ｓｕｂｓａｍｐｌｉｎｇ＂ｔｏｅｑｕａｌｉｚｅｔｈｅｓａｍｐｌｅｄａｔａｔｏｏｂｔａｉｎｔｈｅｂａｌａｎｃｅｄｓａｍｐｌｅｓｏｆｐｕｒｃｈａｓｅｄｕｓｅｒｓａｎｄｕｎｐｕｒｃｈａｓｅｄｕｓｅｒｓ；ｔｈｅＣＮＮＬＳＴＭｗａｓｕｓｅｄｔｏａｕｔｏｍａｔｉｃａｌｌｙｅｘｔｒａｃｔａｎｄｓｅｌｅｃｔｕｓｅｒａｔｔｒｉｂｕｔｅｓ，ｃｏｍｍｏｄｉｔｙａｔｔｒｉｂｕｔｅｓａｎｄｕｓｅｒｂｅｈａｖｉｏｒｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ａｎｄｔｈｅｎｐｒｅｄｉｃｔｕｓｅｒｂｕｙｉｎｇｂｅｈａｖｉｏｒ．ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎＡｌｉｂａｂａｍｏｂｉｌｅｅｃｏｍｍｅｒｃｅｐｌａｔｆｏｒｍｄａｔａｓｅｔｓｈｏｗｔｈａｔｔｈｅＦ１ｖａｌｕｅｏｆｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎＣＮＮＬＳＴＭｉｓ７％～１１％ｈｉｇｈｅｒｔｈａｎ，ａｎｄｔｈｅＦ１ｖａｌｕｅｏｆｓａｍｐｌｅｅｑｕａｌｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎ＂ｓｕｂｓａｍｐｌｉｎｇ＂ｉｎｃｒｅａｓｅｓｂｙｔｈｅｂｅｎｃｈｍａｒｋｍｏｄｅｌａｂｏｕｔ２％．

Ｋｅｙｗｏｒｄｓ　　Ｅｃｏｍｍｅｒｃｅ　Ｂｕｙｉｎｇｂｅｈａｖｉｏｒｐｒｅｄｉｃｔｉｏｎ　Ｓａｍｐｌｅｂａｌａｎｃｅ　Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ　ＬＳＴＭ

用户购买行为预测是国内外诸多学者关注的热

０　引　言

网民在电商平台上选购商品的过程中伴随着浏览、收藏、放入购物车等各种在线操作行为。当前，在电商平台上沉淀了海量的用户购物历史数据，深入分析这些数据能够较好预测其购物习惯、偏好或购物意愿。特别地，对用户购买行为进行预测有助于提升用

１］

。户购物体验，促进电子商务可持续发展［

２－６］

点［。文献［３］使用决策树与神经网络方法挖掘用

户购物历史行为数据，预测用户是否会购买他们已经

４］添加到购物车里的商品。曾宪宇等［针对海量在线消

费行为数据准确预测兴趣偏好和购物行为，提出融合了潜在因子和行为序列的效用函数选择模型，与逻辑回归（ＬｏｇｉｓｔｉｃＲｅｇｒｅｓｓｉｏｎ，ＬＲ）和梯度提升决策树（ＧｒａｄｉｅｎｔＢｏｏｓｔｉｎｇＤｅｃｉｓｉｏｎＴｒｅｅ，ＧＢＤＴ）相比，该模型有更

５］好的精确度和有效性。Ｌｉｕ等［利用大量的用户浏

２０１９－０８－１０。国家自然科学基金项目（６１６６２０１３）。胡晓丽，讲师，主研领域：社交网络，电子商务。张会兵，副教收稿日期：

授。董俊超，硕士生。吴冬强，工程师。

　６０　　　

计算机应用与软件

２０２０年

览、点击、购买等行为数据，通过支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ，ＳＶＭ）对未来网络消费者的购买情况进行预测，得到了满意的结果。祝歆等融合逻辑回归和支持向量机构建了网络购物行为预测模型，取得了比单一模型更好的预测效果。

随着电商平台中行为数据的日益增加，应用传统机器学习算法的特征构造和选择需要花费时间与人力急剧增加，并且不同的电子商务平台中数据的格式和内容有所不同，使得算法的移植性受限。同时，对用户［６］

１．２　在线交互行为样本均衡与特征构建

（１）在线交互行为样本均衡。用户与商品的在线交互过程中，只有极少部分浏览行为会转化为购买行为，出现购买样本与未购买样本极度不均衡的问

１０］

。目前，解决样本不均衡问题的主流方法是上采题［

１１］

样和下采样［。然而，上采样方法很难适应电子商务

中用户商品交互数据结构复杂、数据量大的特点；下采样方法因为数据倾斜和信息丢失也不适合解决此类购买行为的性假设也与用户购买的实际情况不符，导致其不能准确预测不同时间段的用户购买行为。

为此，提出一种Ｃ

ＮＮＬＳＴＭ神经网络组合模型来预测用户购买行为。首先使用卷积神经网络层ＣＮＮ从用户历史行为数据中自动抽取高影响力的特征，然

后通过长短期记忆神经网络Ｌ

ＳＴＭ建立时间序列预测模型［７－９］

，最后通过全连接层（ＦｕｌｌｙＣｏｎｎｅｃｔｅｄＬａｙｅｒ，ＦＣ）输出模型预测结果。以此实现特征自动抽取和基于行为序列的用户购买行为预测。

１　ＣＮＮＬＳＴＭ购买行为预测模型

１．１　预测模型框架

图１为融合用户属性、商品属性和用户行为特征

的预测用户购买行为的Ｃ

ＮＮＬＳＴＭ模型总体架构［８，１５］。数据处理和特征构建完成用户历史行为数据清洗，剔除刷单用户、重大促销等不具有一般规律的数据，并采用分段下采样方法进行样本均衡处理；ＣＮＮ层接收影响用户购买行为的各种特征，如浏览数、购买数、浏览购买转化率等，进行特征选择和特征优化；ＬＳＴＭ依据ＣＮＮ提取的用户购买行为序列中的重要特征进行用户购买行为预测；全连接层把ＬＳＴＭ单元输出的高维用户购买行为信息压缩为相应的特征向量，实现对用户购买行为的分类表达。

图１　ＣＮＮＬＳＴＭ用户购买行为预测模型

问题。为此，设计了如算法１所示的分段下采样方

法［１１－１２］：根据用户购买行为预测样本数据具有时间衰

减的特性，将购买用户和未购买用户历史数据样本以天为单位进行分段。针对用户样本中的每个用户找出其三个最近邻用户，若该用户是未购买用户且其三个最近邻用户中有两个以上是购买用户，则删除它；反之，当该样本是购买用户并且其三个最近邻中有两个以上是未购买用户，则去除最近邻中的未购买用户，其余情况均保留原始用户样本。

算法１　分段下采样样本均衡算法。

输入：用户原始历史数据（Ｄ），数据记录天数（Ｔ）；输出：新用户平衡历史数据（Ｄ′）；算法流程：１：Ｄ′＝Ｄ／Ｔ

／／对原始数据按照数据记录天数进行分段

２：ｆｏｒＤ（ｕ）∈Ｄ

′ｄｏ／／遍历原始数据中的每个用户

３：Ｄ′（ｕ）＝ＲａｎｄｏｍＣｈｏｏｓｅ（Ｄ（ｕ））

／／随机选择任意用户数据

４：ｉｆＤ′（ｕ）为购买用户ｔｈｅｎ

５

：／／判断Ｄ′（ｕ）最近邻中是否有两个以上未购买用户　　　ｉｆｎｏｂｕｙ＝ｓｕｍ（ＫＮＮ（Ｄ′（ｕ）））≥２ｔｈｅｎ６：／／删除最近邻中的未购买用户　　　　ｄｅｌｅｔｅ（ＫＮＮ（Ｄ′（ｕ））ｎｏｂｕｙ）７：　　ｅｌｓｅ８：ｓａｖｅ（Ｄ′（ｕ））

／／保留新用户数据

９：ｅｌｓｅ１０：

ｉｆｂｕｙ＝ｓｕｍ（ＫＮＮ（Ｄ′（ｕ）））≥２ｔｈｅｎ１１：／／删除新用户

　ｄｅｌｅｔｅ（Ｄ′（ｕ））

１２：　ｅｌｓｅ

１３：

　　ｓａｖｅ（Ｄ′（ｕ））

／／保留新用户数据

（２）在线交互行为特征构建。分析京东商城等的交互数据发现：用户行为数据分散在用户属性、商品信

息、用户对商品的行为等处［１３－１４］。原始数据中可用的

特征数量极少，直接用于ＣＮＮＬＳＴＭ模型无法有效预测用户购买行为。为此，运用统计分析构建出如表１所示的用户购买行为预测特征。然后，将该特征输入到ＣＮＮＬＳＴＭ模型中，ＣＮＮ自动进行用户历史购买行

为的特征提取，可以有效简化传统机器学习中特征提

第６期　　　

７］

取和特征选择过程［。

胡晓丽，等：基于ＣＮＮＬＳＴＭ的用户购买行为预测模型　６１

ＬＳＴＭ接收ＣＮＮ提取的重要特征向量序列，通过遗忘门、输入门和输出门改变细胞状态，更新以前隐藏表１　用户购买行为预测特征

特征

特征类型

编号特征名称特征描述

ｘ１用户编号

唯一表示用户身份

ｘ２

用户浏览数用户浏览商品总数用户

特征

ｘ３用户加购数用户购物车添加商品总数ｘ４用户购买数用户购买商品总数ｘ５

用户收藏数用户收藏商品总数商品

ｘ６商品编号唯一表示商品特征

ｘ７商品类别商品所属类别

ｘ购买浏览

用户购买的商品总数与浏览的８

转化率商品总数之比

用户商品ｘ购买加购用户购买的商品总数与添加购９

特征

转化率物车的商品总数之比

ｘ购买收藏用户购买的商品总数与收藏的１０

转化率

商品总数之比

１．３　ＣＮＮＬＳＴＭ组合的购买行为预测

ＣＮＮ由接收用户历史行为特征的输入层、对接ＬＳＴＭ输入层的输出层以及多个隐藏层组成。其中，隐藏层包括卷积层和池化层，如图２所示。

图２　ＣＮＮＬＳＴＭ模型中ＣＮＮ层

输入层接收表１中的用户历史行为特征向量ｘ０

ｉ＝

｛ｘ１，ｘ２，…，ｘ１０｝，并使用卷积层进行卷积运算，以全面准确地获得影响用户购买行为的局部特征。卷积层的输出如下：

Ｍ

ｙＩｉｊ＝σ(∑ｗＩＩ－１Ｉ

ｍ，ｊｘｉ＋ｍ－１，ｊ＋ｂｊ

)（１）

ｍ＝１式中：ｙＩＩＩ

ｉｊ由上一层的输出向量ｘｉｊ计算得到；ｂｊ

表示第ｊ个特征映射的偏置；ｗ为卷积核的权重；ｍ是过滤器的索引值；σ是Ｒ

ｅＬＵ激活函数。用户行为特性经过卷积操作后，传入池化层中进一步减少参数数量，压缩数据维度，减少过拟合。用式（

２）的最大池化方法筛选出对用户购买行为影响最大的特征信息，实现用户购买行为预测。

ｐＩ

＝ｍＩ－１

ｉｊ

ｒ∈ａＲｘ（ｙ

ｉ×Ｔ＋ｒ，ｊ

）

（２）

式中：Ｔ为池化区域的步长；Ｒ是池化尺寸。

状态的内存单元来保持用户历史购买行为信息持续存

在，更准确地预测了用户购物行为［

１６－１７］

。ＬＳＴＭ单元结构如图３所示。

图３　ＬＳＴＭ单元结构图

门控单元中的各个门和记忆细胞的表达式如下：外部输入门单元表达式：

ｇ（ｔ）ｉ＝σ(ｂｇｇｉ＋∑Ｕｉ，ｊｘ（ｔ）ｇ（ｔ－１）

ｊ＋∑Ｗｉ，ｊｈｊ

)（３）

ｊ

ｊ

遗忘门单元表达式：

ｆ（ｔ）ｉ＝σ(ｂｆｆ（ｔ）ｆ（ｔ－１）ｉ＋∑Ｕｉ，ｊｘｊ＋∑Ｗｉ，ｊｈｊ

)（４）

ｊ

ｊ

细胞内部状态更新表达式：

ｓ（ｔ）（ｔ）（ｔ－１）ｉ＝ｆｉｓｉ＋σ(ｂｆｉ＋∑Ｕ

ｉ，ｊｘ（ｔ）ｊ＋ｈ（ｔ－１）

)ｊ

∑Ｗｉ，ｊｊｊ

（５）

输出门单元表达式：

ｈ（ｔ）ｉ＝ｔａｎｈ（ｓ（ｔ）ｉ）σ(ｂｏｏ（ｔ）ｏ（ｔ－１）ｉ＋∑Ｕｉ，ｊｘｊ＋∑Ｗｉ

，ｊｈｊ)ｊ

ｊ

（６）

式中：ｈ（ｔ－１）ｆｏｇ

ｊ表示隐藏层状态；ｂｉ、ｂｉ、ｂｉ分别表示各个门的偏置；

Ｕ、Ｕｆ、Ｕｇ、Ｕｏ

分别表示各个门的输入权重；Ｗ、Ｗｆ、Ｗｇ、Ｗｏ分别表示各个门的循环权重。这些参数均为ＬＳＴＭ模型依据ＣＮＮ层输出向量自主学习，无须人工干预。

ＣＮＬＳＴＭ模型的最后一层为全连接，该层将ＬＳＴＭ单元输出的高维用户历史购买行为信息压缩为一个特

征向量ｈＩ

＝｛ｈ１，ｈ２，…，ｈｎ

｝，进行用户商品对的分类，预测用户是否会购买某种商品，其函数表达式如下：

ｄｌＩ－１Ｉ－１ｉ＝∑ｗｊｉ（σ（ｈＩ－１

ｉ）＋ｂｉ）

（７）

ｊ

式中：σ为非线性激活函数；ｗＩ－１

ｊｉ表示第Ｉ－１层的第ｉ节点与第Ｉ层的第ｊ节点的权重；ｂＩ－１

ｉ为偏置。

基于ＣＮＮＬＳＴＭ模型的用户购买行为预测算法如

算法２所示。

算法２　基于ＣＮＮＬＳＴＭ模型的用户购买行为预

　６２　　　测算法。

输入：用户属性数据（Ｕ）、商品属性数据（Ｍ）和用户对商Ｂ）；品的行为数据（

输出：用户商品对（ＵＭ），是否购买（ｂｕｙ）（１：表示购买，０：表示未购买）；

计算机应用与软件

续表２

字段

字段说明

２０２０年

提取说明用户购买与浏览的商

品总数之比

用户购买与加购的商ｂｕｙ＿ｂｒｏｗｓｅ＿ｒａｔｉｏ购买浏览转化率算法流程：

１：ｒｅａｄｄａｔｅ＝｛Ｕ，Ｍ，Ｂ｝

／／读取输入数据，构建用户行为特征

２：ｃｒｅａｔｅｘ０

ｉ＝｛ｘ１，ｘ２，…，ｘ１０

｝／／构建用户行为特征

３：／／根据样本均衡算法进行用户购买行为数据样本均衡

Ｕ

＝ｃｈｏｏｓｅ（Ｕ）

４：／／设置卷积核数量为３２，卷积尺寸３，根据式（１）进行卷积操作，得到特征向量矩阵

Ｃｕ＝ＲｅＬＵ（Ｃｏｎｖｏｌｕｔｉｏｎ（３２，３，３））

５：／／设置池化层尺寸为２，根据式（２）进行池化操作，特征

／／降维得到新特征向量Ｃｕ

Ｃｕ＝

ＭａｘＰｏｏｌｉｎｇ（３，３）（Ｃｕ）６：／／根据式（３）到式（６）进行ＬＳＴＭ层训练，得到特征向

／／量矩阵Ｌｕ

Ｌｕ＝ＬＳＴＭ（ｏｕｔｐｕｔ＝１２８，ａｃｔｉｖａｔｉｏｎ＝′ｔａｎｈ′）（Ｃｕ）７：ｂｕｙ＝ｓｏｆｔｍａｘ（Ｌｕ）

／／根据式（７）进行用户购买行为分类

２　实　验

２．１　数据集

本文选用天池大赛中阿里巴巴移动电商平台数据集进行测试，包括１１月１８日到１２月１８日的２０８４８５９条用户历史购买行为数据：包含用户标识、商品标识等６个字段，１９９７２个用户，１０５４种类的４２２８５８件商品，对１

２月１９日用户对商品的购买行为进行预测［１４］。其中，行为信息有浏览、收藏、加购物车、购买

四种方式。对清洗后的数据字段进行组合优化，删除用户行为时间、商品位置与用户位置字段，增加购买浏览转化率、购买收藏转化率、购买加购转换率三个与用户购买行为密切相关的３个字段，优化后的数据字段如表２所示。

表２　测试数据字段

字段字段说明提取说明ｕｓｅｒ＿ｉｄ用户编号抽样＆字段脱敏ｉｔｅｍ＿ｉｄ商品编号抽样＆字段脱敏包括浏览、收藏、加购ｂｅｈａｖｉｏｒ＿ｔｙｐｅ用户对商品的

行为类型物车、购买，对应取值

分别是１、２、３、４ｉｔｅｍ＿ｃａｔｅｇｏｒｙ

商品分类标识

字段脱敏

ｂｕｙ＿ａｄｄｃａｒｔ＿ｒａｔｉｏ购买加购转化率品总数之比

ｂｕｙ＿ｆａｖｏｒ＿ｒａｔｉｏ购买收藏转化率

用户购买与收藏的商品总数之比

２．２　评估指标

这里采用精确率Ｐ、召回率Ｒ和Ｆ１值三个指标来评估预测模型性能。根据样例真实类别与ＣＮＮＬＳＴＭ预测类别组合划分为真正例（ＴＰ）、假正例（ＦＰ）、真负例（

ＴＮ）、假负例（ＦＮ）四种类型，混淆矩阵如表３所示。预测结果在主对角线上取值越大，副对角线上取值越小的模型越好。将混淆矩阵数字化后即为精确率Ｐ、召回率Ｒ和Ｆ１值，计算公式分别为：

Ｐ＝ＴＰ

ＴＰ＋ＦＰ（８）Ｒ＝ＴＰＴＰ＋ＦＮ（９）Ｆ１＝２×Ｐ×ＲＰ＋Ｒ

（１０）

表３　用户购买行为混淆矩阵

真实情况

预测结果

正例（购买）负例（未购买）正例（购买）ＴＰ（预测购买，ＦＮ（预测未购买，实际购买）实际购买）负例（未购买）

ＦＰ（预测购买，ＴＮ（预测未购买，实际未购买）

实际未购买）

２．３　实验结果与分析

（１）ＣＮＮＬＳＴＭ模型验证。为了验证ＣＮＮＬＳＴＭ模型的性能，我们将ＣＮＮＬＳＴＭ模型与５种基线模型进行比较。参数设置如表４和表５所示。

表４　机器学习算法参数设置

模型类别

主要参数取值错误项的惩罚系数

１．０支持向量机

核函数高斯核函数阈值０．００１最大迭代次数－１最大的弱学习器的个数

６０最大特征数

１０随机森林决策树最大深度１３内部节点再划分最小样本数

１２０叶子节点最少样本数

２０

第６期　　　

胡晓丽，等：基于ＣＮＮＬＳＴＭ的用户购买行为预测模型

续表４

模型类别

主要参数学习率最小孩子权重

树深度取值０．３１６　６３

从表６中的实验结果可以看出，基于ＣＮＮＬＳＴＭ模型的Ｆ１值在训练集和测试集中均高于其余基准模型，其原因主要为该模型集成了ＣＮＮ在网络特性提ＳＴＭ记忆机制处理时序模型方取、特征选择方面和Ｌ面的优势。ＸＧＢｏｏｓｔ模型的Ｆ１值优于ＣＮＮ模型，低于ＸＧＢｏｏｓｔ

最大增量步长０树的个数１００随机种子

１０００

表５　神经网络参数设置

模型类别

主要参数取值学习率０．００１卷积核个数

３２ＣＮＮ

卷积核大小５×５池化核大小２×２优化函数Ａｄａｍ激活函数ＲｅＬＵ学习率

０．００１ＬＳＴＭ

隐藏层神经元数量１２８ＬＳＴＭ隐藏层数量

２优化函数Ａｄａｍ学习率０．００１卷积核个数３２卷积核大小

３×３ＣＮＮＬＳＴＭ

池化核大小２×２ＣＮＮ输出向量维度２５６ＬＳＴＭ隐藏层神经元数量

１２８ＬＳＴＭ隐藏层数量

２优化函数

Ａｄａｍ为了保证实验数据的准确和客观，将每个模型在同一训练和测试数据集上分别运行１０次，求得精确率、召回率和Ｆ１值的平均值作为模型最终结果，所得结果如表６所示。

表６　六种用户购买行为预测模型精确率、召回率和Ｆ１值对比模型类别

训练数据集

测试数据集

精确率召回率Ｆ

１值准确率召回率Ｆ１值支持向量机０．６７５０．７３３０．７０３０．６０２０．６８２０．６４０随机森林０．７３１０．７８７０．７５８０．６９９０．６５６０．６７７ＸＧＢｏｏｓｔ０．８１８０．８３４０．８２６０．７８００．７６９０．７７４ＣＮＮ０．７８５０．７４６０．７６５０．７６４０．７４３０．７５３ＬＳＴＭ

０．８２８０．８５４０．８４１０．８０２０．８４２０．８２２

ＣＮＮＬＳＴＭ０．８７５０．８４３０．８５６０．８５６０．８３９０．８４７

ＬＳＴＭ模型的Ｆ１值，主要原因为ＸＧＢｏｏｓｔ是一种集成很多弱分类器的强分类器，在很多数据挖掘相关比赛中的表现多次优于神经网络。此外，ＬＳＴＭ模型的表现优于Ｃ

ＮＮ和ＸＧＢｏｏｓｔ模型的主要原因与本次的实验数据选择密切相关，本次采用的数据集是用户购买行为一个月的历史数据，属于标准的时序数据，ＬＳＴＭ模型较其余基准模型更适合时序数据的分析和预测。

从表６中可见，

６种模型在训练数据集上的Ｆ１值均优于其在测试数据集上的Ｆ１值。主要原因是模型仅仅在测试数据集寻找购买行为的样本，其中有部分在１

２月１９日购买的用户为新进用户，在训练集中的１１月１８日到１２月１８日（除１１月１１日外）一个月时间之内没有该用户购买历史记录，模型预测将其预测为未购买用户，导致模型预测结果的召回率降低，Ｆ１值也随之下降。

为了更直观地验证Ｃ

ＮＮＬＳＴＭ模型的稳定性，将六种模型的１

０次训练数据集的Ｆ１值画出折线图分析波动幅度，如图４所示。

图４　六种模型Ｆ１值变化曲线

可以看出，ＣＮＮＬＳＴＭ模型与支持向量、随机森林和Ｃ

ＮＮ模型在预测效果上有明显优势。ＬＳＴＭ和ＸＧＢｏｏｓｔ模型偶尔一次的Ｆ１值会优于ＣＮＮＬＳＴＭ模型，然而ＬＳＴＭ和ＸＧＢｏｏｓｔ模型的Ｆ１值跟随实验次数波动较大对于整体效果而言，ＣＮＮＬＳＴＭ模型处于高Ｆ１值的区间小幅度波动，模型稳定性较好。

（２）“分段下采样”样本均衡算法验证。图５为６种模型样本均衡前后的Ｆ１值对比结果，可以看出，经过分段下采样样本均衡算法的六种模型的Ｆ１值均有不同程度的提升。其中支持向量机、随机森林、ＸＧ

　６４　　　

计算机应用与软件

１－６．　

［６］祝歆，刘潇蔓，陈树广，等．基于机器学习融合算法的网络

Ｊ］．统计与信息论坛，２０１７，３２（１２）：购买行为预测研究［９４－１００．

［７］卢泓宇，张敏，刘奕群，等．卷积神经网络特征重要性分析

及增强特征选择模型［Ｊ］．软件学报，２０１７，２８（１１）：２８７９－２８９０．

［８］ＫｉｍＴＹ，ＣｈｏＳＢ．Ｐｒｅｄｉｃｔｉｎｇｒｅｓｉｄｅｎｔｉａｌｅｎｅｒｇｙｃｏｎｓｕｍｐ

ｔｉｏｎｕｓｉｎｇＣＮＮＬＳＴＭｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｊ］．Ｅｎｅｒｇｙ，２０１９，２０２０年

Ｂｏｏｓｔ、ＣＮＮ、ＬＳＴＭ这５种模型的Ｆ１值提升比较明显。实验结果表明，使用分段下采样的样本均衡算法对样本不均衡的用户行为历史数据进行均衡处理，对提升用户购买行为的预测准确率有一定作用。

图５　六种模型样本均衡前后Ｆ１值对比

３　结　语

本文基于ＣＮＮＬＳＴＭ模型对用户购买行为进行预测，与现有的购买行为预测模型相比，简化了特征选择过程，提高了模型准确性和稳定性。分段下采样样本均衡算法有效解决了电商平台中购买样本与未购买样本极度不均衡的问题，提升了ＣＮＮＬＳＴＭ模型预测的准确率。然而，目前的模型尚未考虑用户性别、年龄、商品评论以及“双十一”“六一八”重大促销活动等信息对用户购买行为的影响。在后续研究中，我们将构建一种能够包含更多上述信息的用户购买行为预测模型，使其预测更精准、实用。

参考文献

［１］中国互联网络信息中心．第４３次中国互联网络发展状况

统计报告［Ｒ］．北京：中国互联网络信息中心，２０１９．［２］何绯娟，郭朝彤，吴蓓，等．社区问答网站中问题的刻面组

织方法———以知乎网站为例［Ｊ］．情报杂志，２０１８，３７（３）：１８２－１８６．

［３］Ｓｌａｈｔａｒｏｇ）ｌｕＧ，Ｄｎｅｒｔａ爧ｌｉＨ．ＡｎａｌｙｓｉｓａｎｄｐｒｅｄｉｃｔｉｏｎｏｆＥ

ｃｕｓｔｏｍｅｒｓｂｅｈａｖｉｏｒｂｙｍｉｎｉｎｇｃｌｉｃｋｓｔｒｅａｍｄａｔａ［Ｃ］／／２０１５ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＢｉｇＤａｔａ（ＢｉｇＤａｔａ）．ＩＥＥＥ，２０１５：１４６６－１４７２．

［４］曾宪宇，刘淇，赵洪科，等．用户在线购买预测：一种基于

用户操作序列和选择模型的方法［Ｊ］．计算机研究与发展，２０１６，５３（８）：１６７３－１６８３．

［５］ＬｉｕＸ，ＬｉＪ．Ｕｓｉｎｇｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｆｏｒｏｎｌｉｎｅｐｕｒ

ｃｈａｓｅｐｒｅｄｉｃａｔｉｏｎ［Ｃ］／／２０１６ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｏｇｉｓｔｉｃｓ，ＩｎｆｏｒｍａｔｉｃｓａｎｄＳｅｒｖｉｃｅＳｃｉｅｎｃｅｓ（ＬＩＳＳ）．ＩＥＥＥ，２０１６：

１８２：７２－８１．

［９］ＪａｄｅｒｂｅｒｇＭ，ＤａｌｉｂａｒｄＶ，ＯｓｉｎｄｅｒｏＳ，ｅｔａｌ．Ｐｏｐｕｌａｔｉｏｎ

ｂａｓｅｄｔｒａｉｎｉｎｇｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓ［ＥＢ］．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１７１１．０９８４６，２０１７．

［１０］周成骥．基于机器学习的商品购买行为预测模型设计

［Ｄ］．广州：广州大学，２０１８．

［１１］ＦｅｒｎáｎｄｅｚＡ，ＧａｒｃｉａＳ，ＨｅｒｒｅｒａＦ，ｅｔａｌ．ＳＭＯＴＥｆｏｒｌｅａｒｎ

ｉｎｇｆｒｏｍｉｍｂａｌａｎｃｅｄｄａｔａ：ｐｒｏｇｒｅｓｓａｎｄｃｈａｌｌｅｎｇｅｓ，ｍａｒｋｉｎｇｔｈｅ１５ｙｅａｒａｎｎｉｖｅｒｓａｒｙ［Ｊ］．Ｊｏｕｒｎａｌｏｆａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅｒｅｓｅａｒｃｈ

，２０１８，６１：８６３－９０５．［１２］ＨａｉｘｉａｎｇＧ，ＹｉｊｉｎｇＬ，ＳｈａｎｇＪ，ｅｔａｌ．Ｌｅａｒｎｉｎｇｆｒｏｍｃｌａｓｓ

ｉｍｂａｌａｎｃｅｄｄａｔａ：Ｒｅｖｉｅｗｏｆｍｅｔｈｏｄｓａｎｄａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．ＥｘｐｅｒｔＳｙｓｔｅｍｓｗｉｔｈＡｐｐｌｉｃａｔｉｏｎｓ，２０１７，７３：２２０－２３９．［１３］ＪＤａｔａ［ＯＬ］．２０１９－０７－２６．ｈｔｔｐｓ：／／ｗｗｗ．ｄａｔａｆｏｕｎｔａｉｎ．ｃｎ／

ｃｏｍｐｅｔｉｔｉｏｎｓ／２４７．

［１４］阿里天池［ＯＬ］．ｈｔｔｐｓ：／／ｔｉａｎｃｈｉ．ａｌｉｙｕｎ．ｃｏｍ／ｃｏｍｐｅｔｉｔｉｏｎ／

ｅｎｔｒａｎｃｅ／２３１５２２／ｉｎｆｏｒｍａｔｉｏｎ．

［１５］厍向阳，王邵鹏．基于卷积ＬＳＴＭ网络的广告点击率预测

模型研究［Ｊ］．计算机工程与应用，２０１９，５５（２）：１７９－１８６．　

［１６］张宜浩，朱小飞，徐传运，等．基于用户评论的深度情感分

析和多视图协同融合的混合推荐方法［Ｊ］．计算机学报，２０１９，４２（６）：１３１８－１３３２．

［１７］ＹｕＹ，ＳｉＸ，ＨｕＣ，ｅｔａｌ．Ａｒｅｖｉｅｗｏｆｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔ

ｗｏｒｋｓ：ＬＳＴＭｃｅｌｌｓａｎｄｎｅｔｗｏｒｋａｒｃｈｉｔｅｃｔｕｒｅｓ［Ｊ］．Ｎｅｕｒａｌｃｏｍｐｕｔａｔｉｏｎ，２０１９，３１（７）：１２３５－１２７０．

（上接第３３页）

［１１］徐彬，李华，张荣，等，探索式软件测试融于传统测试模型

的研究［

Ｊ］．电子与封装，２０１７，１７（６）：１６－１８．［１２］杨晓慧．软件测试价值提升之路［Ｍ］．北京：机械工业出

版社，２０１７．

［１３］ＭｙｅｒｓＧＪ，ＳａｎｓｌｅｒＣ．Ｔｈｅａｒｔｏｆｓｏｆｔｗａｒｅｔｅｓｔｉｎｇ［Ｍ］．３ｒｄ

ｅｄ．

北京：机械工业出版社，２０１３．［１４］余久久．软件探索性测试发展及其关键技术展望［Ｊ］．宜

宾学院学报，２０１７，１７（１２）：５７－６０．

［１５］史亮，高翔．探索式测试实践之路［Ｍ］．北京：电子工业出

版社，２０１２．