字节跳动企业级埋点设计方法论及实践分享.pdf

《字节跳动企业级埋点设计方法论及实践分享.pdf》由会员分享，可在线阅读，更多相关《字节跳动企业级埋点设计方法论及实践分享.pdf（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Copyright 2022 北京火山引擎科技有限公司 All rights reserved.WWW.VOLCENGINE.COM2022/09字节跳动企业级埋点设计方法论及实践分享火山引擎数据分析师：华雷关于火山引擎增长分析DataFinder支持多场景业务决策的数据分析平台跨端跨触点，聚合多种数据源多种埋点形式、采集APP、网站，小程序等各平台数据，并通过API，聚合跨端、跨触点、用户全生命周期的数据，实现对用户的全面洞察搭建指标体系，业务效果可衡量以统一的数据指标系体系链接不同业务，对关键节点的数据进行深度下钻分析，更好地用数据衡量业务效果，洞察业务问题从数据中挖掘增长点聚合多种高级分

2、析模型，灵活组合各项指标，实时数据灵活洞察用户全生命周期的行为表现，从而发现指标背后的增长可能为业务增长进行归因什么渠道的投放效果最好？哪个资源位为运营指标的上升带来了最大贡献？用归因模型找到增长的真正原因，并固化为行之有效业务范式细化分群并精确运营根据各种特征数据，精确洞察与运营，通过透弹窗，短信，邮件等渠道推进个性化运营活动，实现分层运营一站式用户分析和运营平台点击进入火山引擎增长分析DataFinder官网目录1.企业埋点过程中的痛点以及解决方案2.埋点设计整体的规划思路3.埋点的团队协作流程4.行业埋点实践增长分析是什么？支持多场景业务决策的数据分析平台数 据 驱 动数据采集数据分析应

3、用场景采集并整合全域数据：采集并整合包括用户行为、经营数据、平台数据等多方数据来源；覆盖客户业务场景分析需求：在产品、运营、用增等业务场景提供所需要的业务数据；智能决策并驱动业务：引导实际的业务动作一站式用户分析与运营平台，为企业提供数字化消费者行为分析洞见，优化数字化触点、用户体验，支撑精细化用户运营，发现业务的关键增长点，提升企业效益。01埋点的痛点以及解决方案企业数据治理的整体目标是持续运营数据价值，推动企业数字化转型。企业在转型过程中会面 临来自业务、组织架构、技术等等方面的问题.企业在转型过程中会面 临来自业务、组织架构、技术等等方面的问题.日常数据应用过程中常见埋点问题01作为一个

4、新入职员工，面对环境中的几百个事件，或者afsdfgfhtr无任何标注的属性名，茫然不知所措，而前任留下的文档也是似有若无，询问身边的老员工则众口不一埋点重要信息缺失数据采集方案设计作为数据建设的重要组成的部分，直接影响到后续的数据应用质量和数据回溯，而我们在日常中是不是经常会碰到如下问题：02作为一个运营人员，活动策划写好了，活动页面做好了，哈哈，到了大展身手的时候啦，想详细分析不同人群的数据反馈。突然发现很多属性信息没有，不足以细分，好的，什么也不用干了埋点用时方知少03作为一个产品人员，新版本上线后，想详细分析新版本上线后的数据变化。内心os：还好之前提了埋点的需求，不像上面那个运营没有

5、数据可以查。几分钟后等等，为什么这个数据和后台业务数据很不一样埋点口径不统一04过了一段时间后，会有些历史埋点无人查询，导致环境中事件人越来越多。埋点浪费大数据时代，企业流量数据的建设困境设计不规范设计不规范导致埋点离散混乱，不利于使用生产链路长埋点采集生链路长角色多，管理难度高埋点质量差错埋漏埋，质量参差不齐，使用数据有风险业务利用率低埋点使用情况无处追踪，存在大量无用埋点数据管理难各类数据缺少统一管理，难以发挥数据价值消耗成本高机器和运维人员消耗成本高各角色在流量数据实践中的痛点数据使用者埋点无统一管理，逻辑含义、属性内容、负责人等信息靠打听。找不到现有可用埋点、不敢用无负责人埋点，只能重

6、新埋。埋点开发者埋点新增、变更、废弃、下线无处记录，过去的埋点代码不敢动，越埋越多，原来越混乱，开发维护成本高。埋点需求方埋点需求无处维护，无法进行灵活的有管控的版本管理。PM/运营都来找我问埋点，无查询工具辅助我进行管理。数据管理者流量数据资产现状如何，埋点个数、数据量、成本消耗、有效埋点个数是多少。是否有高效的治理管理工具。火山引擎埋点治理解决方案：产品+方法论0102组织建设产品建设规范建设提高对数据的重视数据需求和业务需求一样重要。埋点需要经过评审、测试等环节才能上线。只有质量可保证的数据才能真正地指导业务。推荐由专门的数据分析师/数据产品来收口埋点。建立一套规范规范埋点工作流程，明确

7、埋点流程中各角色的责任和权利。确定埋点注册机制，将埋点资产线上化管理，方便查询语义、负责人和版本记录等。规范埋点设计，需要具有可操作性和可验证性。用工具来管理，提高效率通过一站式埋点治理平台解决埋点方案线上化、按照方案快速验证埋点数据，管理集团全部埋点资产等，提升整体数据质量和可维护性，让规范扎实落地。Copyright 2022 北京火山引擎科技有限公司 All rights reserved.02组织建设提高组织对数据的重视。数据需求和业务需求一样重要！火山引擎埋点治理解决方案：组织建设在埋点开始之前要思考的问题？start整体性思考12定位项目管理 清晰的项目目标 规范的业务流程 明确的

8、优先级顺序 清晰的角色负责人 系统在企业内部整体数据体系中的承担边界 数据源的导入和导出流向 埋点业务的范围组织建设-定位行为数据的采集和分析最本质的行为数据采集上报和各种应用模型的分析。为其他系统提供数据为消费画像、AB、GMP、ABI等系统提供基础行为数据，作为重要数据来源，与其他信息整合。简易BI行为数据与业务关联作为行为数据源将行为数据和业务数据进行关联，可进行导入或者导出。1234工具冲突数据体系中众多数据产品，没有想清楚具体每个系统所承担的作用分别是什么，如何避免各司其职而定位明确，不造成重复浪费资源和人力。-矛盾1埋点业务范围-矛盾2基础数据可视化展现。承接的业务线和埋点的范围，

9、例如业务数据到底是导入还是把行为数据导出？多业务线数据分还是合？组织建设-全生命周期埋点工作流程埋点整体流程PM/需求申请人DA/埋点收口人RD/开发负责人QA/测试负责人DataFinder提出埋点需求尽量和产品需求一起提发起联合评审拆解需求产出埋点DRD发起埋点上线流程埋点开发埋点测试报告埋点元信息查询埋点验收需求验收联合评审（PM、DE、RD、QA）03规范建设需建立一套规范，规范埋点设计流程火山引擎埋点治理解决方案：规范建设事件Event用户UserWho：谁When：时间Where：地点how：怎么做What：做的事什么样的用户Item业务对象事件模型用户User事件Event业务对

10、象Item理解底层逻辑0105核对覆盖需求02判断实现方式03定义采集方案04明确事件方案数据采集方案设计-业务对象什么是业务对象？业务对象，又称item。item是对事件+用户模型的补充，用户在我们的App中发生行为记录的时候，都会有一个业务对象，不同种类的App业务对象不同。例如电商中业务对象为商品，在线教育中业务对象为课程，银行中业务对象为理财产品、贷款产品等，短视频中业务对象为短视频等。以内容类app举例：事件名称属性名称浏览内容详情页预置属性内容ID内容名称内容类型Item表内容ID内容名称内容类型内容关键词是否付费发布时间观看方式搜索标识内容提供商标识媒资分类年份产地演员（电竞为主

11、播/解说）导演语言描述版权方审批号授权时间数据采集方案设计-业务对象01040203例如：内容热度词变化属性例如：内容id、内容提供商标识，年份、产地、演员、导演、语言描述、版权方审批号、授权时间等。延展属性猜你喜欢，内容平台的Feed流推荐推荐算法模型调用新增属性例如：媒资分类，前面已有一二级分类，需新增三级分类属性规范建设-数据采集方案设计123渠道导入埋点理解底层逻辑0105核对覆盖需求02判断实现方式03定义采集方案04明确事件方案规范建设-各种埋点优劣势代码埋点（后端）代码埋点（前端）全埋点定义优势劣势 通过标准SDK采集的页面浏览和按钮点击数据，可选开启or 不开启。开发成本低 采

12、集范围广 用于可视化埋点，操作门槛低。依赖于代码规范程度，会有一定程度脏数据。采集数据量大。只满足基础的PV,UV分析。在appwebh5小程序等需要前端研发代码埋点。可满足深入场景定制化分析需求。取值规范，上报数据准确度可控。需要一定程度开发投入。前端会有一定程度上的数据丢失。依赖发版。在服务器端进行代码埋点。数据准确度高。不依赖前端发版。取值规范。需要一定程度开发投入。预置埋点 通过标准SDK采集的预置事件，例如App启动和App退出，详细见说明文档，默认开启。采集基础数据，满足基本分析需求。减少开发成本，对基础实践默认采集。无规范建设-数据采集方案设计01用户标识业务唯一ID确定了解用户

13、识别逻辑，查看复杂场景下用户是否能够关联。02文档维护规范03设计规范04数据格式修改的changelog记录。记录修改人、修改时间、修改内容、确切表达、保证可溯期、可迭代。需包含序号、事件名称、事件属性名称、属性类型、属性值含义或示例、事件的触发时机、埋点形式、备注等Int、string、float、datetime、list理解底层逻辑0105核对覆盖需求02判断实现方式03定义采集方案04明确事件方案数据采集方案设计-用户标识火山引擎增长分析使用 device_id、user_unique_id、ssid 三种 id 标识设备和用户。ssiduser_unique_iddevice_id

14、/web_id火山引擎增长分析为用户/设备自动分配的唯一标识，并与device_id/web_id、user_unique_id 相关联，以实现对匿名和实名状态用户的统一标识。用户唯一标识，一般情况直接使用产品业务中使用的用户标识，比如登录账号。当user_unique_id 未设定时，在SaaS版本中，系统会自动使用device_id/web_id 替代，在私有化版本中，会显示为空设备的唯一标识，我们通过设备注册服务根据获取到的设备信息为每个设备生成唯一的标识，该标识会通过客户端sdk在设备本地进行存储。另，网页端、小程序使用web_id，作用与device_id 基本相同数据采集方案设计-

15、设计规范数据采集方案设计-数据格式int=、=、=、=、为空、不为空list包含、不包含、为空、不为空datetime固定范围、在当前时间、在今天和、在事件发生、为空、不为空数据采集方案设计确立观察指标抽象过程行为补充事件属性设计事件要素补充用户属性想要观察支付转化率？应用启动（启动App）进入商品列表页浏览商品详情页提交订单支付成功事件触发时机属性值类型埋点端英文命名1234例如：浏览商品详情页商品名称商品价格商品一级分类商品二级分类商品折扣价卖家ID卖家名称5补充用户属性例如：注册时间性别理解底层逻辑0105核对覆盖需求02判断实现方式03定义采集方案04明确事件方案数据采集方案设计回溯需

16、求是否满足排开发的优先级规划后续开发计划理解底层逻辑0105核对覆盖需求02判断实现方式03定义采集方案04明确事件方案04产品建设可通过DataFinder来管理埋点数据，提高效率火山引擎埋点治理解决方案：埋点治理扫码进群领取免费埋点采集方案模板火山引擎埋点治理解决方案：埋点需求基于需求的埋点方案，在需求内列举了你想要追踪的埋点和属性、对应的业务场景，开发同学就可以根据此需求进行开发、QA同学可以据此进行测试、最后进行上线使用。火山引擎埋点治理解决方案：需求上线DataFinderDA埋点设计RD埋点开发QA/DA/PM埋点验收DA埋点设计DA（同事）埋点设计审核DA埋点设计上线方式3：直接

17、上线上线方式2：同事审核上线上线方式1：关联Rocket需求上线关联Rocket需求上线与ET埋点需求Rocket需求进行中（无需在ET上二次操作状态）Rocket完成，埋点上线同时审核通过，埋点上线自行确认后埋点直接上线ET埋点元数据基于需求的埋点上线，提供直接上线和同事审核上线流程。火山引擎埋点治理解决方案：埋点设计基于场景的埋点设计，支持分场景来填写埋点的属性内容。标签管理，支持给埋点填写多个标签将埋点按照功能模块分类。火山引擎埋点治理解决方案：埋点验证基于需求的埋点验证，针对指定的埋点需求，QA同学可以在强大的系统支持下（系统会根据需求中的验证规则自动校验），进行快速的验证。不仅能实时

18、的了解验证的进展，还可以一键生成对应的验证报告。火山引擎埋点治理解决方案：属性管理属性管理规范，一个业务的属性是规范的，标准的。同名属性不允许有不同的类型和描述。火山引擎埋点治理解决方案：埋点资产埋点资产有多少，有用的有多少，禁用的有多少。火山引擎埋点治理解决方案：埋点下线04埋点行业实践x常见行业埋点方案实践相似场景是合并一个事件还是分不同的事件常见行业埋点方案实践曝光事件的处理和其他事件一样，只是曝光事件的触发时机需要注意，例如某平台内容曝光事件触发时机为：1、内容露出全部，且feed流静止状态超过2s算曝光2、限制单一内容一次请求只会出现一次曝光。（比如上下滑动屏幕，只要不刷新发生新请求

19、，算一次曝光）当然具体的规则可根据需求和研发的实现成本灵活变动，以上仅为示例，可做调整。另外，需要注意的是，曝光触发事件量巨大，一般分析CTR，或者有推荐算法数据需求时需要曝光事件，其他场景请根据需求慎重埋点虚拟事件虚拟事件是对元事件的合并和拆分，是一个特殊功能。所以在事件埋点设计时，如果虚拟事件可满足，不必增加新埋点。合并事件：例如社交平台的互动行为包括：点赞、评论、喜欢、发送私信等很多行为，这时需求想分析当天发生互动行为的用户数去重。可对事件合并。拆分事件：例如618电商活动期间，频繁看带满200减20标签的商品的加入购物车数量。不想重复性的配置指标，可设置虚拟事件。领取福利：常见行业埋点方案&指标体系模版电商社交汽车填写问卷免费领取模板银行教育证券Copyright 2022 北京火山引擎科技有限公司 All rights reserved.WWW.VOLCENGINE.COMCopyright 2022 北京火山引擎科技有限公司 All rights reserved.THANKS FOR YOU感谢观看Design by DataFinder2022/09