一种基于APP的行为采集系统的设计与实现.pdf

《一种基于APP的行为采集系统的设计与实现.pdf》由会员分享，可在线阅读，更多相关《一种基于APP的行为采集系统的设计与实现.pdf（58页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、北京大学硕士学位论文版权声明任何收存和保管本论文各种版本的单位和个人，未经本 论文作者授权，不得对本论文进行复制、抄录、拍照、修改 或以任何方式传播等行为。否则，引起有碍作者著作权益之 问题，将可能承担法律责任。北京大学硕士学位论文摘要随着智能手机的日益普及，移动终端已经成为人们获取信息的重要手段，企 业希望通过采集分析移动用户行为，了解用户的偏好，以移动平台为载体针对用 户进行个性化的精准营销。本文根据爱咔咔业务需求,描述了一种基于APP的用户行为采集系统的设计 与实现，为后端进行数据分析和个性化推荐提供完整准确的用户行为数据。本文 描述的基于APP的用户采集系统主要包括移动端、服务器端、管

2、理端三个部分。其中移动端部分运用浏览行为和特定行为的采集方法分别对显式用户行为和隐 式用户行为进行收集；通过数据暂存压缩和策略发送机制解决了离线数据收集和 网络流量占用的问题：通过使用统一的数据格式和接口，解决了不同移动平台的 数据兼容问题。系统还通过基于网络请求的参数统一配置机制，解决了各APP 的统一控制问题。在服务器端进行配置优化，满足了大并发请求的要求。在管理 端提供了对整个系统的监管页面。本文最后给出了系统的测试结果。关键词：APP；用户行为：行为采集；数据采集；显式用户行为；隐式用户行为北京大学硕士学位论文AbstractWith the growing popularity of

3、 smart phones,mobile terminals have become an important means for people to obtain information.Companies hope that by collecting and analyzing user behavior,to personalized precision marketing for the users on the mobile phone platform.Based on the business needs of Aikaka,this paper describes the d

4、esign and implementation of a user behavior based APP collecting system,providing complete and accurate data on user behavior to back-end data analysis and personalized recommendation systems.The APP-based user collecting system in this paper mainly includes three parts:the APP layer,service layer a

5、nd management layer.The APP layer uses different collecting methods for the explicit user behavior and implicit user behavior,uses temporary storage,compression and different transmission strategy for asynchronous transmission of the data in order to collect data when off-line,reduce data redundancy

6、,and network traffic occupied.Unified data formats and interfaces are used to solve multi-platform problem.The system also provides a web-based parameters unified configuration mechanism,unified APP control by the management layer.In the service layer configuration is optimized to meet the requireme

7、nts of a large number of concurrent requests.In the management layer a website is provided for the management of the entire system.Finally,the test results of the system arc given.Key Words:APP;User Behavior;Behavior Collecting;Explicit User Behavior;Implicit User Behavior北京大学硕士学位论文目录摘要.IAbstract.II

8、目录.III第一章绪论.11.1 项目背景和意义.11.2 国内外发展和现状.21.3 论文的主要工作.21.4 本文的组织结构.3第二章相关理论与技术介绍.42.1用户行为.42.1.1移动用户行为.42.1.2 用户行为特征和分类.52.1.3 显式用户行为.62.1.4 隐式用户行为.62.1.5 用户行为上下文.72.2行为采集.72.2.1 传统采集方式的缺点.72.2.2 隐式用户行为采集.82.2.3 显式用户行为采集.82.2.4 用户行为上下文采集.92.2.5 用户区分方法.92.3本章小节.10第三章系统需求及功能规约.113.1 应用场景.113.2 功能综述.123.

9、3 用户行为模型.133.4 设计目标.143.5 系统功能规约.143.5.1 功能模块.143.5.2客户端类库.153.5.3服务端接口.163.5.4 APP参数统一配置.173.5.5系统管理.173.6本章小节.17第四章系统设计与实现.194.1系统定位.194.2总体设计.194.3系统主要设计.224.3.1客户端初始化流程.224.3.2用户行为记录流程.224.4 APP端数据类型及发送策略设计.23III北京大学硕士学位论文4.5 APP端参数统一配置.244.6 iOS相关技术实现.254.6.1 iOS单例实现.254.6.2 iOS端网络异步访问技术.264.6.

10、3 iOS端异常退出捕获技术.264.7 基本功能模块设计.274.8 数据采集接口模块设计.294.8.1 浏览行为采集.294.8.2 特定行为采集.304.9 数据存储机制设计.314.10数据发送模块设计.344.11 数据接收模块设计.364.12 数据存储模块设计.374.13本章小节.38第五章系统部署与测试.395.1部署方案.395.1.1客户端部署.395.1.2服务端部署.405.2测试.405.2.1功能测试.405.2.2非功能测试.435.3缺陷及改进.47第六章总结与展望.486.1 回顾与总结.486.2 下一步工作展望.48参考文献.50北京大学学位论文原创性

11、声明和使用授权说明.52致谢.53IV北京大学硕士学位论文图表目录图3.1系统业务流程.1111 3。2 育3715图 3.3 客户数据图.16图4.1爱咔咔系统整体框图.19图4.3系统客户端功能框图21图4 4系统服务端功能框图.1图4.5客户端初始化流程图.22图4.6用户行为记录流程图.23图4.7系统配置更新时序图.29图 4,8 E3 并据流程图33图4.9发送数据流程图.35图4.10数据拆解流程图.37图5.1使用本系统前后内存占用对比.46图5.2使用本系统前后活跃内存占用详情.46表2-1移动用户行为关键绩效指标表.4表 4 1 用户基础信息字段表 27表5-1客户端测试硬

12、件环境.39表5-2客户端测试软件环境.39表5-3服务端部署配置.4054 月艮ab 44表5-5数据最对比测试表（单位：byte）.47北京大学硕士学位论文第一章绪论1.1 项目背景和意义本文依托于“爱咔咔（Aikaka）”移动营销系统，该系统是应用于智能手机 上的在线会员卡系统，致力于为用户提供便捷的会员卡消费体验和及时的优惠信 息，为商户提供基于电子会员卡的移动营销方案。随着用户数量的快速增加，系 统对用户行为数据的采集需求也在加大。系统中每一位用户的每一次访问和操作 都需要以日志形式被记录下来。以日志文件形式为代表的文本数据文件是一种重 要的非结构化数据记录方式。日志型数据主要包括系

13、统操作日志、系统行为日志、交易流水数据、用户行为数据等多种数据内容。这些日志数据往往蕴藏着巨大的 分析价值：分析日志文件可以揭示用户的行为习惯、兴趣爱好，还可以帮助系统 管理员快速发现系统中可能存在的性能隐患等等。对各种日志文件进行完善的分 析可以为企业提供包括决策支持、精准营销等多种商业智能功能5。移动用户群包含的大量的用户行为信息是采集分析用户行为的理想数据源，同时其潜在的巨大市场以及友善、方便的交互方式也是精准服务和精准营销的良 好媒介2。移动用户和移动终端具有移动性特点，为个性化偏好提取技术提供 了丰富的数据来源；移动通讯网络具有人机相应的特点，用户的行为更真实、直 接的体现了用户偏好

14、信息口。基于行为的数据挖掘一般由以卜三部分组成：数据预处理、模式发现和模式 分析。而在数捱预处理中，又分为三个阶段：数据清洗、区分使用者和会话识别 10 o本文不仅要解决数据的采集问题，还需要涉及到数据预处理的一些相关问 题。当前的爱咔咔系统中，有一套正在使用的用户行为采集系统，但是系统存在 诸多问题，比如系统与当前业务逻辑耦合较大，导致业务无法方便变更，并且用 户行为采集接口与APP数据接口没有分离，容易导致APP数据接口压力过大，影 响正常的业务流程。北京大学硕士学位论文为满足客户对商业智能的需求，爱咔咔APP行为采集系统(AUBCS)需要对 用户的各种行为，包括界面访问跳转、界面驻留时间

15、、会员卡申请使用、优惠券 申请使用等进行完整详细的记录。这些数据的采集都需要在APP端进行，因此如 何在APP端进行用户行为的采集而不影响到APP原有业务逻辑及用户体验就成了 一个很大的挑战。同时，APP端需要将数据发送到服务器端，如何在服务器端应 对如此大数据量的访问请求也成为需要解决的关键问题。1.2 国内外发展和现状目前国内外在这方面比较成熟的两个产品如下：Google Analytics18是Google开发的针对Web端及移动端的数据统计分 析平台。任何开发者均可以将他们提供的功能集成到自己的网站或APP中，将数 据发送到Google,由Google的服务器进行分析处理，在Googl

16、e网站上查看处 理结果。Google Analytics为用户提供了功能强大、易于使用的报告平台，帮 助开发者了解到网站或APP中最受欢迎的部分，为客户营造更好的体验。Google Analytics还支持iOS客户端和Android客户端，方便进行不同平台之间的对比。友盟19是国内创新工场的一个针对移动应用的统计分析服务平台，同样提 供了一个公共的平台，针对移动应用进行数据的采集处理展示等。用户行为采集系统不仅要满足对行为数据的采集，更需要能够在特定的业务 环境下解决具体的业务问题。而Google Analytics和友盟等产品虽然提供了统 一的平台，但是无法针对特定的业务进行定制，不能满足

17、企业特定的业务需求。1.3 论文的主要工作论文的主要研究内容分为以下几个方面：1)通过调研，总结了移动用户行为与传统用户行为的异同，将用户行为划 分为显式用户行为和隐式用户行为，并针对不同类型的用户行为提出不 同的采集方法，并给出在iOS系统上的相关设计实现：2)通过爱咔咔的业务需求归纳出系统需要实现的功能，分析实现过程中的难点并提出解决方案;2北京大学硕士学位论文3）调研APP端统一配置技术，通过网络调用和APP端缓存技术实现了服务 端管理层对APP端统一配置机制；4）研究iOS端数据文件缓存技术，对比不同的存储方式，通过一进制文件 形式实现行为数据的缓存；5）研究数据发送策略，实现在APP

18、启动时、APP退出时和定时发送策略，满足不同数据的发送需求，并通过ASIHTTPRequest实现iOS端异步网 络访问机制；6）部署并测试系统，对系统中存在的问题提出改进建议。1.4 本文的组织结构本文的内容组织结构如下：第一章绪论，主要对项目的背景和意义，国内外相关技术发展现状，论文的 主要工作等做了阐述，并给出论文的组织结构；第二章用户行为与相关理论研究，介绍了用户行为的基本概念和分类，对比 了移动用户行为和传统用户行为的不同，对用户行为进行分类，针对不同类型的 行为数据给出了相应的采集方式；第三章系统需求及功能规约，讲解了系统整体的需求，并对系统中的功能给 出规约：第四章系统设计与实现

19、，描述了系统的应用场景和功能需求，论述了系统的 设计方案，按模块对系统的结构和设计细节进行了详细的说明，对系统的主要流 程进行梳理和描述，对主要模块的设计进行了阐述；第五章系统部署与测试，论述了系统客户端和服务端的部署方法，最后给出 测试结果，总结了系统的不足，并提出了改进方案；第六章总结与展望，通过对论文工作的总结，提出将来的研究重点与工作展 望。3北京大学硕士学位论文第二章相关理论与技术介绍2.1 用户行为2.1.1 移动用户行为传统的网站用户行为是指访客在进入网站后所有的操作。本文中描述的移动 用户行为特指移动用户对特定APP进行的操作行为。移动用户行为有以下关键绩效指标22：表27移动

20、用户行为关键绩效指标表KPI维度标准访问次数在一定时间范围内，所有的用户对APP的使用次数。UV（独立访客）在指定时段内不重复（仅计数一次）的访问者人数。PV（浏览量）APP界面的浏览量，用户每次进入界面即被计算一次。访问深度指用户每次使用APP进入的界面层数。停留时间指用户对APP中各界面访问的时长。跳出率单界面访问次数占总访问次数的百分比。基于移动APP的用户行为和基于传统WEB页面的用户行为有如下几个主要不同点：1）展示和操作形式：传统的WEB以页面为主，主要操作形式为鼠标键盘；移动设备的处理能力及显示能力与PC差别较大，移动设备以APP的界 面展示为主，界面相对小，展现的内容少而集中，

21、操作以触摸和滑动为 主，用户在手机上倾向于更少的输入20；2）网络能力：传统WEB数据可以实时发送，而移动设备由于受到网络带宽 和网络稳定性的制约及流量的限制，无法做到实时发送数据；3）对位置的依赖性：移动用户的行为与用户的位置有很大关系，如用户在 家和在商场中对同一 APP的操作就会产生很大的差别，而WEB用户一般4北京大学硕士学位论文的使用地点较为单一，不会因为在不同地点产生很大的操作差异L21；4）信息密度较低11：移动用户的使用时间较为零散，内容较有限，故相对于传统的WEB形式，信息的密度较低，同等时间段内包含的信息量较 少。2.1.2 用户行为特征和分类用户行为从分布上主要有以下两个

22、特征4：突发性：用户活动是有规律的，即在每天的特殊时段的用户活动的突发 现象是规律出现的：统计表明4,每天上午和晚上10点均会出现移动 用户的使用量突起，上午的使用量突起是和WEB统计结果相类似的，这 个时间段用户的活动较为频繁，而晚上10点以后WEB使用量没有明显 增长，移动用户则在这个时段产生了新的使用量增长，这是由于移动用 户有在睡前使用手机的习惯造成的；不均匀性：不同的用户发出的请求数量不同，即用户发出请求数的分布 是不均匀的，服从著名的80/20原则，即大部分移动用户发出的点击数 是很少的，而只有少数用户贡献了很大的点击数。在一个APP的用户群 中，注册用户基数可能会很大，但是真正活

23、跃的用户可能只占到总用户 数的10%-20%左右；而在一个APP的提供的各种功能中，最经常被使用 到的功能可能只占总功能数的较少一部分。而移动用户行为的主要特征体现在如下方面：用户数量增长迅速：据调查显示，智能手机用户（这里指每个月至少使 用一次智能手机的用户）占全部上网用户的比率从2011年的31%上升到 了 2012年的44机15年 操作系统分化：调查发现，在智能手机操作系统中，Android系统的占 有率为46乐iOS系统占有率为35哈且都呈现出上升趋势，而其他手机 操作系统如Windows Phone、BlackBerry等的占有率则持续降低。智能 手机用户呈现出多平台的趋势，有84%

24、的用户表示有过多设备（电视、手机、平板电脑）同时使用的经历15。内容获取成为主流功能：有93%的用户经常通过智能手机获取内容，有 5北京大学硕士学位论文一半的用户至少每天获取一次，其中有43%的用户通过各种APP进行内 容获取1容。APP的使用量增加：有96%的用户在一年内平均下载了 36个APP,其中 14%的用户下载的是付费应用15 o以上调研表明，进行基于APP的用户行为的采集，不仅要考虑到应对大量用 户大量数据的压力，还要能够兼容主流移动操作系统，对用户行为进行更全面的 采集。用户行为可以划分为以下几种类别：显式用户行为、隐式用户行为及用户行 为的上下文，针对每一种用户行为数据又有着不

25、同的采集方法。2.1.3 显式用户行为显式用户行为是指系统给用户以一定的引导，使用户直接向系统提供自己的 背景信息或者对系统中某些项目做出评价的行为3。显式用户行为的优点为数据噪声小、数据准确可靠、数据量较小，更加便于 分析，从中提取出的用户意图可靠性强。这是由于显式用户行为的触发都是事先 设计好的，目的性很强，对用户起到了引导的作用，而且显式用户行为主要形式 一般为采集用户基础信息或者意图信息，故能较明显的反映出用户的喜好。显式用户行为的缺点为数据质量的好坏很大程度上依赖于用户的配合程度 和系统交互界面的设计好坏，因此这类用户行为信息获取难度较大，且可能存在 较大的主观倾向3。在本系统中，显

26、式用户行为的形式主要包括用户注册、用户对商户或优惠券 评分、用户填写的在线调查问卷、用户进行的意见反馈等。2.1.4 隐式用户行为隐式用户行为指不需要用户主动参与，以对用户透明的方式，在用户不知情 的情况下间接获取用户的各种行为信息3。隐式用户行为的优点为数据获取的自动化程度高、用户的抗拒性小、用户行 为数据获取全面，获得的数据更加接近统计学模型的相关要求。这是因为隐式用 户行为主要关注的是用户自身的操作习惯，使用户在不知不觉中将自己的习惯和 6北京大学缺士学位论文喜好暴露给采集系统，故隐式用户行为更能反映出用户的真实情况。隐式用户行为的缺点为数据噪声大，数据量大，数据代表的意义不够明确，往往

27、需要经过较复杂的分析过程才能真正获得需要的数据3。隐式用户行为是用户行为中数量较大的一部分，有研究显示，在特定的网络 中用户的隐式行为可以占到总用户行为量的92%16。本系统中的隐式用户行为主要的形式包括用户为达到某种目的而经过的界 面、用户在执行某操作时放弃的路径、用户的历史交易记录、用户点击的区域、用户在某页面停留的时间、用户在列表界面滚动次数等。2.1.5 用户行为上下文用户行为上下文主要用于描述移动用户周围环境状况的所有信息的组合，这 些信息组合影响用户的行为和用户对功能使用的选择L3。用户行为上下文一般 指用户所在的地理位置、用户使用的时间段等，由于移动设备的独特性，这些数 据会对用

28、户行为和操作产生影响，比如用户在商场和在家就会对同一款APP有不 同的使用方式，或者用户在白天和晚上会关注不同的内容等。在本系统中，用户行为的上下文主要是指用户设备的基本信息、用户操作的 时间段及用户所处的地理位置等。2.2行为采集2.2.1传统采集方式的缺点传统对于APP用户行为的采集是通过APP数据接口的形式进行。以对用户注册这一行为进行采集为例，则需要在注册数据接口的业务逻辑 中，额外加入对用户行为数据的记录操作，将注册这一行为数据存储到指定的日 志文件或数据库中。这样做实际上是将采集系统强行插入了原有系统，打乱了原 有的业务逻辑，与系统耦合严重，不方便业务的变化，并且还可能影响原有数据

29、 接口的执行效率，在大并发的情况下可能会造成性能问题。又例如需要对某界面的访问行为进行采集。而在APP端，对此界面进行访问 不需要调用数据接口。此时想采集用户访问此界面这一行为，只能强制加入一个 7北京大学硕士学位论文用来采集访问此界面的行为数据的接口，专门对这一采集需求进行处理，然后在 用户进入界面后，额外的调用一次数据接口，将访问行为传送给服务器进行存储。这样做混淆了数据接口和行为采集接口，使原有系统复杂化，不便于系统的复用，同时加大了数据的发送频率，影响了用户的体验，并且在服务器端需要额外的进 行接口调用处理，可能会造成性能瓶颈。2.2.2 隐式用户行为采集在本系统中，隐式用户行为主要是

30、指用户对APP界面的访问和离开。对于数 据统计而言，主要需要关心的是用户对某界面的进入时间、停留时间和离开时间，而由于这三个时间有一定的数学关系，即离开时间减去进入时间等于停留时间，故在真正保存数据时，只需保留停留时间和离开时间即可推算出进入时间。又由 于在APP端，在同一时间一般只能展示一个界面，故根据这些时间可以推算出用 户的界面访问路径。系统提供了一组配对函数和一个单独的函数进行这部分数据的采集。在APP 的每个界面进入/离开时，可调用配对函数，记录下用户进入和离开的行为；或 者开发者自行记录界面的驻留时间，在离开界面时调用记录函数，记录下界面驻 留时间和离开时间。数据记录下后会被暂存下

31、来，然后系统会按一定策略集中发 送用户行为数据。2.2.3 显式用户行为采集本系统中，显式用户行为主要是指用户对特定按钮的点击、对特定内容的关 注等。在实现方法上，通过自定义事件的形式来实现。首先要在后台定义好需要 关注的特定事件及相应的事件ID,然后在APP端产生这些特定事件的相应函数 中调用系统提供的行为采集函数即可。本系统中对这部分数据的采集提供了特定的自定义事件采集函数。自定义事 件采集函数分为一对配对函数和一个胞独的记录函数，其中配对函数主要用于记 录有持续时间的行为事件，比如音乐的开始和停止播放等，通过记录事件的开始 时间和结束时间来采集用户行为；单独的记录函数带有持续时间参数，功

32、能与配 对函数类似，但需要开发者自行记录事件持续时间并传入，如果传入持续时间为 北京大学硕士学位论文空则表明此类事件为非持续性的，或者并不需要关心持续时间。系统在采集到用 户对自定义事件的行为后，会暂存下来，然后通过一定的发送策略发送行为数据。2.2.4 用户行为上下文采集本系统中，用户行为上下文主要指用户当前的一些基本信息，主要包括用户 基本信息（如用户的身份标识）、移动设备的信息（如手机型号、联网方式等）和用户的位置等。这部分数据在用户的一次使用过程中，一般不会发生很大的变 化，故这部分数据只需要在系统开启后进行一次采集即可。在系统中这部分数据的采集是放在系统初始化中自动进行的，系统初始化

33、后 会自动调用上下文采集函数，将用户的基本信息进行保存，并作为其他行为数据 的“主键”，此部分数据会附加在其他行为数据上，以标明行为数据的产生者身 份及产生时的上下文信息。2.2.5用户区分方法在用户行为采集系统中，用户的区分是一个关键问题。清晰的用户区分不仅 能够使数据更准确，还能使后续的分析工作能更顺利的开展。传统的Web数据分析中使用IP地址和浏览器代理来区分使用者，由于这样 会带来一些不可预期的错误，后来改用Cookie来区分使用者10。而在移动端，Cookie是不存在的，故在移动端需要使用新的方式来进行使用者的区分。在移动端由于设备的操作系统不同，故需要有一套统一的能够跨设备的用户

34、识别方法，用来对不同操作系统上的用户进行统一的识别。UDID（Unique Device Identifier）7是一种软件构建的标准，目的在于 让分散的系统中的每一个单元都有一个唯一的标识信息，而不用依赖庞大的集中 协调系统。UDTD是一个16bit的数字，一般使用32位16进制字符串表示7。由于苹果公司对APP中读取UDID的禁止策略（苹果公司已经宣布于2013 年5月1日禁止含有UDID功能的APP上架）及UDID的单一平台性（只能在iOS 系统上使用），对于用户的识别需要使用其他的方式进行。OpenUDID可以很好的 解决这个问题8。OpenUDID是在2011年出现在Github上的

35、一个项目，由于其方便使用，并 9北京大学硕士学位论文且拥有跨iOS、Android、Windows平台的特性，很快成为了 UDID的替代者。本项目中，除了使用每个用户独自的用户ID来标识用户外，还使用OpenUDID 来对用户进行识别。使用OpenUDID的好处在于，对于拥有多部手机的用户，可 以被识别为不同的用户个体，从而使用户行为的采集更为精确。而且OpenUDID 只与设备相关，并不依赖于系统的业务逻辑，故增强了系统的可移植性。2.3本章小节本章主要介绍了用户行为的特征和分类，移动用户行为与传统用户行为的区 别，传统采集方法的弊端和不足，并对显式用户行为、隐式用户行为和用户行为 上下文这

36、几种不同类型用户行为的采集方法进行了阐述，并对如何进行用户的区 分提出了解决方法。10北京大学硕士学位论文第三章系统需求及功能规约3.1应用场景在对APP用户行为采集的过程中，数据需要从APP端经由数据接口流入爱咔咔云端系统，经过分析后交付商户进行查看。系统业务流程如图3.1所示。图3.1系统业务流程具体步骤说明如下：1.APP用户使用手机APP,产生用户行为，APP中行为采集功能会根据用户 行为的类型采用不同的函数对用户行为进行采集，然后将采集到的数据 以二进制文本形式暂存到手机中；2.APP读取暂存数据文件，对数据进行合并去冗余处理后，采用一定策略 集中发送到后端行为采集服务器；3.采集服

37、务器对行为数据进行拆解，根据数据的类型和时间，将数据保存 到不同的日志服务器中；4.日志分析服务器定期抓取数据进行分析，产生分析结果；5.WEB服务器读取分析结果，生成图表以供展示；6.商户用户根据生成的图表，获取用户行为的分析数据，了解营销行为的11北京大学硕士学位论文效果，对以后的营销活动进行改进。本系统主要需要解决的问题是APP端用户行为的采集，即集中在以上1、2、3步骤中。3.2功能综述爱咔咔APP每天会有大量的用户进行使用，APP行为采集系统的职责就是采 集这些行为数据，供其他子系统进行进一步的分析。总的来说，APP行为采集系 统应满足以下功能需求：1）提供一个能供现有APP调用的类

38、库。APP行为采集系统应独立于当前已有的APP,以独立的类库形式存在。这样 方便系统的应用和移植，即系统不仅能够方便的被已有的APP调用，而且可以应 用到以后要开发的APP中去。2）提供一系列用户行为的记录函数。APP行为采集系统应能针对各种类型的用户行为提供相应的记录函数进行 记录。如系统初始化时对用户基本信息的记录，用户进入、退出界面时对页面驻 留时间的记录，用户进行特定操作时对特定事件的记录等，都需要设计相应的函 数进行处理。3）提供数据暂存机制。由于收到移动设备的限制，系统不应将采集来的数据实时进行发送。系统需 提供一套数据临时存储的机制，将一段时间内的数据临时存储起来，然后统一发 送

39、。数据发送时需要对数据进行合并，去除数据中冗余的部分，并对数据进行一 定的压缩，尽可能的减小网络流量的占用。4）提供一套数据发送策略数据在暂存后，应按照一定的发送策略进行批量发送。这需要系统提供一套 数据发送策略，使开发者可以根据需要调整发送频率，达到数据实时性和用户体 验的平衡。5）提供数据接收拆解存储功能系统服务端需要提供数据接收、处理、存储的功能。不仅能够满足对数据的 解包、按数据类型分文件存储功能，满足数据解析系统的数据格式要求，还需要12北京大学硕士学位论文能够应对大量数据的并发访问。3.3 用户行为模型在爱咔咔业务中，用户行为主要包括如下四种：用户的点评行为、用户点击 广告行为、用

40、户领取优惠券行为和用户使用优惠券行为。其中，用户的点评行为属于显式用户行为，用户直接参与评分，系统可以直 接获取到用户对某优惠券的偏好。在爱咔咔APP中，用户可以对优惠券做出的点 评内容包括总评分和细节评分。总评分反映了用户对优惠券的综合评价，细节评 分则从商品、环境和服务三方面来获取用户的反馈。总评分和细节评分的评分等 级均为五级。显式用户行为虽然能够直观反映出用户的喜好，但是由于评分行为并非强 制，通过评分获取到的用户行为数据量较小，不足以满足分析推荐系统的数据需 求，故系统需要采集用户的隐式行为来弥补数据量的不足。在爱咔咔APP当前的品牌活动业务中，主要关心的隐式用户行为指用户浏 览、点

41、击、领取和使用四个环节：浏览是指用户在APP的瀑布流界面查看品牌活动的缩略信息，此部分数 据由于几乎所有的用户都会产生，故对于后端分析推荐系统的意义不 大，可以不进行此部分数据的采集。点击行为是指用户在发现感兴趣的品牌活动后，点击并进入查看详细信 息界面，但是行为终止于点击操作，而直接返回的行为。点击行为可以 较明显的反映用户对品牌活动的兴趣，但是由于止步于点击操作，说明 用户的兴趣还不足以促使用户申请其中的优惠券。领取行为是指用户在点击查看广告活动详情后，进行申请领取其中的优 惠券的行为。因为在爱咔咔APP中，优惠券的领取有时是需要花费一些 代价的（如会员卡积分），故领取行为可以非常明确的表

42、达用户对该品 牌的喜好，表明用户对此品牌的兴趣很大。使用行为是指用户在成功领取优惠券后，通过使用优惠券达成购买的行 为。用户的使用行为是上述行为中代价最高的，故用户的使用行为能最 大的反映出用户对品牌的喜好程序。13北京大学硕士学位论文通过以上分析，爱咔咔的用户行为模型是一种结合了显式用户行为和隐式用 户行为的混合型用户行为。在此用户行为模型基础上构建出的用户评分模型也是 一种结合了用户显式评分和隐式评分的混合式评分体系。3.4 设计目标根据业务需求与当前流行的行为采集系统的特征，本文中所设计的行为采集 系统有如卜一设计目标：松耦合：系统需要与当前系统解耦，解除对当前系统的依赖性，能不依 赖于

43、原有业务独立变化；跨平台：系统设计应与特定的手机平台无关，根据设计，应能开发出iOS 版、Android版等版本；安全性：系统传输的数据要保证完全不被篡改，禁止不安全的数据流入 到后台系统中；可复用性:系统不仅可以用在当前APP中，还可以方便的使用到其他APP 项目中，这要求系统在设计时就要考虑到系统无关性；对用户透明：在APP中添加了本系统后，用户不应有明显的感觉，在APP 的使用流程程度上不会有明显的变化，内存的占用量不应超过原APP内 存占用量的10%；并发支持：能支撑一定量级的数据访问请求，能及时的接收处理存储数 据，确保后端的分析系统获取到的是最新的数据。3.5 系统功能规约3.5.

44、1功能模块根据上文描述的系统功能和设计目标，将系统整体分为客户端类库、服务端 接口、APP参数统一配置和系统管理等几大功能模块。系统整体功能框图如下所示：14北京大学硕士学位论文图3.2系统功能框图3.5.2客户端类库客户端类库即系统提供给APP的功能库，APP开发人员可以调用类库中开放 的API实现对数据的采集、暂存、打包、发送等操作，使基于APP的行为采集系 统成为切实可行的用户行为采集方式17 o用户行为的采集功能要能满足对用户上下文、显式及隐式用户行为进行完整 的采集，除了对用户的浏览行为进行采集，还需要能够对特定的用户事件进行采 集。客户端需要满足能在用户在线、离线情况下对用户行为进

45、行采集，这需要客 户端在采集到数据后，将数据进行暂存处理，而不是直接发送。在数据发送时，需要将数据进行合并处理，以减少数据的冗余。客户端用户行为数据的生命周期包括以下几步：15北京大学领土学位论文1）用户进行操作，产生行为数据；2）如果是配对行为，则对行为数据进行合并处理;3）将行为数据暂存至客户端临时文件；4）对暂存的数据进行合法化验证；5）对暂存的数据进行合并处理；6）将暂存的数据按策略进行发送；7）发送成功后，删除已发送的行为数据。客户端数据流图如卜所示，其中配对数据列表为一个字典结构，存储着未配 对的行为数据，当有配对数据产生时，从列表中取出数据进行合并：图3.3客户端数据流图3.5.

46、3服务端接口服务端接口主要负责接收客户端传来的用户行为数据包，并对数据进行相应 的处理后存储成日志形式。具体功能如下：获取数据：服务端以HTTP形式对外开放数据采集接口，接收客户端发 送的用户行为数据包，并对数据进行初步的合法性检查，主要验证数据 包的完整性；数据预处理：服务端对合法的数据进行预处理，主要包括数据包的拆解、数据的重新组合和数据的分类等；数据存储：服务端根据数据的类型及时间，将数据存储到不同位置的日志文件中，完成数据包的处理流程。16北京大学硕士学位论文3.5.4 APP参数统一配置APP参数统一配置是指通过一定的机制，使管理人员在不修改APP原程序的 情况下，统一改变APP行为

47、的功能。其主要实现思路为在APP设计实现时就要考 虑到各种可配置的情况，通过不同的可配置参数来控制APP的展现形式或功能行 为等。然后在APP启动后，通过网络从服务器获取到配置好的参数，以此来达到 对APP行为进行统一管理配置的目的。APP参数统一配置主要包括以下几个部分：参数配置：通过网页形式对参数进行配置并存储到持久层中。管理人员 可以根据需求自行添加或修改自定义参数；客户端参数更新：客户端通过发起网络请求，获取最新的参数列表，并 缓存在本地供随时读取。服务端参数读取：服务端在收到客户端读取参数的请求后，需要从持久 层中获取参数列表，并返回给客户端。3.5.5系统管理系统管理即行为采集系统

48、的配置、监管功能面板，采用浏览器网页的形式，主要功能包括以下四部分：客户端参数统一配置：实现对客户端的统一配置管理，通过设置参数达 到统一控制客户端行为的目的；自定义用户行为设置：设置系统关注的自定义用户行为，通过行为的ID 来匹配行为数据中的对应行为；系统状态监控：实时反馈当前服务器的健康状态；客户端崩溃日志管理：查看客户端发回的崩溃日志信息，便于及时发现 问题并进行改进。3.6本章小节本章主要介绍了系统的需求和功能规约。从应用场景、功能、设计目标等方 面介绍了系统的总体需求，描述了系统整体的业务逻辑：APP端采集并暂存用户 17北京大学硕士学位论文行为数据，发送用户行为数据，服务端接收用户

49、行为数据，处理并存储行为数据。然后给出了用户行为模型的建立过程，主要针对显式用户行为和隐式用户行为进 行叙述，并提出两者相结合的行为模型。针对系统不同的部分给出了各部分的功能规约，主要描述了系统整体的功能 框图，给出客户端行为数据生命周期，为下一步的设计实现提供了依据。18北京大学硕士学位论文第四章系统设计与实现4.1系统定位APP行为采集系统是爱咔咔系统的一部分。APP用户行为采集系统分为客户 端和服务器端两个部分。其中，客户端隶属于前端展示层移动终端子系统，运行 于iOSAPP和AndroidAPP中，负责数据的采集和发送；服务器端隶属于在线业 务逻辑层子个人APP业务逻辑系统中的行为采集

50、服务，负责数据的接收处理和存 储。系统在总体系统的定位如图4.1中深色部分所示。HfQ员卡臬统商户业务调求籍友屋实附业务触发在域业务空层受咔咔云端系统他业务转发图4.1爱咔咔系统整体框图4.2总体设计系统总体分为客户端和服务端两层。客户端指运行在手机APP中的行为采集 暂存发送程序，服务端指运行在后端服务器上进行数据接收分包存储的程序。19北京大学硕士学位论文HTTP服务器端数据接收模块数据验证 数据转换2_数据接收模块 _数据验证 数据转换图4.2系统层次结构图系统采用了模块化的设计思想，模块之间相互独立，符合“高内聚，低耦合”的系统设计原则。客户端按照功能可划分为基本功能模块、数据采集接口