背景

最近有个诉求，产品需要根据用户使用频次，使用时长，重新调整菜单的等级和顺序，因此需要对前端的一些事件进行埋点。

一、整体方案

整体方案采用后端提供接口，前端相关操作调用后端接口，服务端将埋点数据放在进程内队列，然后根据数据保存策略（定时+定量）产生任务。异步任务循环从队列取数据，达到一定额度，批量写入DB。最后通过Sqoop每天凌晨从mysql抽取数据放入到Hive中，在数据集市中，对Hive中的数据归纳分类展示。

二、注意点

1.接口并发能力

由于前端页面埋点的数据量大，客户操作繁多，所以这个接口并发能力尽量高，能够避免的操作就尽量避免。所以方案中，将埋点数据直接放入到进程的队列中。

2.数据库连接数

埋点接口调用多，若是每次调用，都将数据插入db，对db的连接数是一个大的挑战，所以后端需要采用批量保存的方式。目前批量保存支持两种策略：定时、定量。

3.数据定时清除

这个数据表里面的数据是亿基本，每天产生的数据也至少是500万，所以每天定时清除历史数据，并且需要使用小事务：根据删除日期阈值查询最小id，最大id，每次删除10万条数据，直到全部删完。

总结

方案的考虑，需要多考虑非功能需求，例如此方案中并发，数据库连接，数据大小，每天清除数据大小。考虑的越多，方案才能更加完美。

数据埋点方案及注意事项相关推荐

python 埋点_数据埋点方案简述
数据是机器学习的前提,前面使用Python爬虫抓取数据篇介绍了通过爬虫抓取网页的方式采集数据.对于新产品,最重要的事项是获取用户,参看前面互联网产品怎么发掘种子用户和意见领袖这篇. 在产品上线之后, ...
数据埋点方案和规范确定
本文为PMCAFF专栏作者速兔出品用户的行为分析是产品调整迭代,运营推广.精准营销等的基础,此类行为的一切均基于良好的数据采集方案.当下几乎所有互联网公司的数据源都是通过埋点方式获得基础的业务数据. ...
代码埋点、可视化埋点、无埋点几种数据埋点方案的分析报告
目录数据采集的核心问题一.埋点是什么二.为什么要埋点三.埋点有哪些方式四.各埋点方式优劣对比五.其他在这篇文章里面,我们会对数据采集的一些基本概念进行阐述,然后,会针对目前市面上新增的一 ...
数据埋点 ios android,iOS端数据埋点方案实现
1.摘要做产品的同学在产品上线后经常离不开一个词,数据分析.那么要如何进行数据分析呢?不妨先问自己这么几个问题. 你要分析什么问题?是找问题还是验证? 关于这些问题你需要哪些数据? 这些数据从哪里来 ...
大数据系列 -- 数据埋点
俗话说"巧妇难为无米之炊",对数据分析师来说,好的数据源,是数据分析的根基.在整个数据分析流程中,数据采集,是整个数据流的起点,也是最重要的环节之一.采集到的数据质量与准确性直接决 ...
一篇文章搞懂数据埋点与数据同步
目录 (1)到底什么是埋点 (2)企业数据埋点方案 (3)企业数据同步方案 (4)数据漂移场景及处理方案 (1)到底什么是埋点埋点的概念: 埋点是数据采集中的一个统称,通常也叫做事件追踪(Event ...
数据埋点前，你需要搭建指标体系
我们会经常探讨一个问题,部署后如何进行数据埋点?如何制定埋点方案?需要埋多少个点?埋点是在明确自己指标体系后,根据该指标体系来制定的实施方案,所以我们这次聊一下如何针对自己的网站或APP制定指标体系. ...
什么是数据埋点？有何作用？
什么是数据埋点?有何作用? 一.数据埋点的应用场景 1.数据埋点的作用 2.后端数据埋点的分类二.数据埋点的工作流程 1.数据埋点的流程图 2.数据埋点的日常流程三.数据"七字诀&quo ...
数据埋点|六个步骤实现数据埋点方案设计
点击上方蓝字关注我们作为数据分析师的你,是否和我一样经常会被业务方拿着两个不同数据平台的报表数据进行灵魂拷问.下面的场景你应该在熟悉不过了. 情景1 一场拉新促活的活动之后,运营拿着两个不同团队 ...

数据埋点方案及注意事项

文章目录

背景