1.一种用户网络行为分析过程中精确匹配消费数据的工作方法,其特征在于,包括如下步骤:S1,通过获取用户网络行为数据,形成行为数据聚合集,并进行解析操作;
S2,在解析操作过程中,将行为数据进行数据爬取,对行为数据进行降噪处理;
S3,降噪处理之后的行为数据通过精确匹配方法,链接最优的用户网络行为;
所述S1包括:
S1‑1,配置需覆盖的电商平台访问域名,获取用户网络行为数据中所搜索的商品关键字,在某一电商平台内进行搜索,使用异步调用搜索结果;
S1‑2,搜索完成后,爬取不同类目下的商品数据详情,使用Scrapy框架提取用户网络行为数据中的结构性数据,使用beautiful soup语法解析网页中用户网络行为数据;
S1‑3,然后使用document object model完成对用户网络行为数据中搜索结果的解析,解析完成后聚合返回用户网络行为数据结果,服务端整理聚合返回的结果,在客户端进行相应展示;
所述S2包括:
S2‑1,从初始URL开始,数据爬取过程中Scheduler会将其交给Downloader进行用户网络行为数据下载,下载之后会交给Spider进行行为数据分析;
S2‑2,Spider分析出来的结果有两种:一种是需要进一步抓取的链接,抓取的链接会被传回Scheduler;另一种是需要保存的行为数据,被送到Item Pipeline中,对行为数据进行后期处理;
S2‑3,另外,在行为数据流动的Item Pipeline通道里安装数据抓取中间控件,进行进一步行为数据抓取处理;
所述S3包括:
S3‑1,客户端通过使用Retrofit网络请求框架,实现商品的搜索,然后使用Glide图片加载框架,实现商品预览图片的展示;
S3‑2,用户在客户端通过立即购买操作,实现消费行为数据的规格、数量、价格、分期期限、分期金额的确认,服务端根据用户网络行为数据的提炼过程完成相应消费数据的指向操作。
2.根据权利要求1所述的用户网络行为分析过程中精确匹配消费数据的工作方法,其特征在于,所述商品数据详情包括:价格、链接、图片、信息来源、商家名称、商品规格、图文详情。
3.根据权利要求1所述的用户网络行为分析过程中精确匹配消费数据的工作方法,其特征在于,所述S2‑1还包括:S2‑A,引擎打开一个网站,找到处理该网站的Spider并向该spider请求第一个要爬取的URL;
S2‑B,引擎从Spider中获取到第一个要爬取的URL并在调度器以Request调度;
S2‑C,引擎向调度器请求下一个要爬取的URL。
4.根据权利要求3所述的用户网络行为分析过程中精确匹配消费数据的工作方法,其特征在于,所述S2‑1还包括:S2‑D,调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间请求request转发给下载器Downloader;
S2‑E,一旦用户行为数据页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间返回response发送给引擎;
S2‑F,引擎从下载器中接收到Response并通过Spider中间输入方向发送给Spider处理。
5.根据权利要求3所述的用户网络行为分析过程中精确匹配消费数据的工作方法,其特征在于,所述S2‑1还包括:S2‑G,Spider处理Response并返回爬取到的Item及跟进的新的Request给引擎;
S2‑H,引擎将Spider返回的爬取到的Item给ItemPipeline,将Spider返回的Request给调度器;
S2‑I,从S2‑B重复直到调度器中没有更多地request,引擎关闭该网站。