用户画像系列——数据中台之OneID (ID-Mapping)核心架构设计
一.引言
大家在上网的过程中是不是经常有这样的体验,我在百度(或者京东、淘宝)上搜索一件商品(比如说:我搜索了一台iphone 手机看了看,但是没买),奇怪的是过两天,我竟然在某视频平台或者某网页上又看到了它?
而且更加奇怪的是,我明明是在电脑pc 端搜索的手机,但是我在手机上看电影的时候却能看到它,是不是也太奇怪了。
难道我的电脑、我的手机、我的ipad 等等电子设备都被监控了吗?
二、背景
《阿里巴巴大数据之路》中有讲到关于数据中台OneData 的方法论,其中分别涉及到OneModel、OneService、OneID。OneService 在之前的文章中已经有过分享,参考:(1条消息) 某互联网大厂亿级大数据服务平台的建设和实践_诸葛子房的博客-CSDN博客
引言中所提到的小故事其实就是本文着重要分享的关于OneID 的部分
三、概念介绍
OneID是指同一用户、同一设备的一个唯一ID。
例子一:我用我自己的电脑搜索小米11,我又用这台电脑浏览其他网站,然后这个网站给我弹小米11的广告,对,也许你认为这种都是同一台电脑,非常简单,只需要根据ip等相关信息进行匹配就可以了。
例子二: 我用我自己的电脑搜索小米11,然后用自己的苹果手机,去浏览其他网站,然后其他网站又给我弹了小米11的广告,这怎么识别的呀?
我们认为这台电脑、这部手机、以及其他的电子设备是可以构成一个唯一的ID,即:OneID
但是你一定会问了,那他们是怎么关联上的呢?而不会关联错呢?比如说没有把我在电脑上搜索的小米11,推到我的手机上,而不是推到我女朋友的手机上
这个映射的过程,称之为:ID-Mapping
四、核心架构设计
1.业务逻辑
当使用安卓手机安装app,启动时会上报 IMEI,Mac地址 ,AndroidID,手机型号等设备信息
同理ios 会上报相关启动信息 idfa,手机设备等信息;pc 浏览器端会上报 cookie、浏览器相关信息。
但是每一次上报的信息不一定完全相同,比如说手机权限问题,浏览器cookie 清空等问题。
LocalID:app 启动会根据AndroidID生成本地id(不需要连网),记录为本地ID
OneID:app 联网上报的设备相关信息,用来打通多个app以及多端应用的唯一ID
OneID的作用:
(1)打通手机上多个app,比如说:淘宝、支付宝、高德等等是同一个用户(未登录时,登录时用账号id)
(2)打通多端应用,比如说你在手机端看剧,然后pc web 端能知道还是同一用户(解决账号共享无法定位同一用户的问题)
2.生成流程解析
(1)HBase数据表结构设计
安卓端表映射表结构(android_id_mapping),其他端类似:
OneID imei mac_adress android_id oaid
本地id 和 OneId映射表结构(local_id_mapping):
LocalID OneID
(2)为了应对高并发场景,将HBase 提前预热至Redis 缓存,redis 表设计
imei_value oneid1,oneid2...
mac_address_value oneid1,oneid2...
(3)ID-Mapping 映射流程
票选服务:
根据客户端上报的参数信息去redis 里面匹配OneID,核心权重设置
五、总结
最后来回答下开头提出的两个问题
问题一:我在百度(或者京东、淘宝)上搜索一件商品(比如说:我搜索了一台iphone 手机看了看,但是没买),奇怪的是过两天,我竟然在某视频平台或者某网页上又看到了它?
在视频平台看视频的时候,获取到浏览器的cookie等相关信息,通过调用百度的服务去匹配同一个设备的最新的搜索数据,然后进行广告投放,做到千人千面
问题二:而且更加奇怪的是,我明明是在电脑pc 端搜索的手机,但是我在手机上看电影的时候却能看到它,是不是也太奇怪了。
手机端装了看电影的app,同时我在pc web 端之前也看在该网站有观影信息,结合账号信息+设备信息+观影信息,生成一个OneID,打通该视频网站,所有端的数据。
后续我在pc web 看电影取获取当前唯一id的所有端的信息,然后调用京东或者淘宝的广告服务,进行投放。
用户画像系列——数据中台之OneID (ID-Mapping)核心架构设计相关推荐
- 用户画像系列——什么是用户画像?金融行业大数据用户画像实践
进入移动互联网时代之后,金融业务地域限制被打破.金融企业没有固定业务区域,金融服务面对所有用户是平的. 金融消费者逐渐年轻化,80.90后成为客户主力,他们的消费意识和金融意识正在增强.金融服务正在从 ...
- 基于Flink的个人装扮商城群体用户画像与数据实时统计系统(六)-需求集C实现
文章目录 一.需求集C有什么? 二.模拟生成用户购买商品的信息 三.需求集C实现 一.需求集C有什么? 所有需求link:基于Flink的个人装扮商城群体用户画像与数据实时统计系统(二)-项目介绍与需 ...
- 用户画像大数据解决方案-脑图(电商行业)
如何想直接下载原文件编辑5分 数据基础平台: 1.用户唯一+ 用户行为ID + 用户画像 + 用户兴趣 2.数据接入系统计算任务调度系统+ 元数 完善产品运营,提升用户体验: 1.业务运营监控 异动智 ...
- 用户画像标签数据存储之Elasticsearch存储
目录 0. 相关文章链接 1. Elasticsearch简介 2. 应用场景 3. 工程化案例 4. 用户画像标签数据存储总结 注:此博文为根据 赵宏田 老师的 用户画像·方法论与工程化解决方案 一 ...
- 数据中台之OneID (ID-Mapping)架构设计细节全解
编 辑:诸葛子房 来 源:大数据架构师(ID:bigdata_arch) 彭友们好,我是老彭.之前抽空写了一篇<One ID中的核心技术ID-Mapping究竟是怎么实现的?>结果一大堆人 ...
- 基于用户画像大数据的电商防刷架构
http://blog.csdn.net/tengxy_cloud/article/details/52576675 一.背景介绍 最近1~2年电商行业飞速发展,各种创业公司犹如雨后春笋大量涌现,商家 ...
- 用户画像系列——推荐相关核心标签(偏好类)
一.背景 我们经常在逛购物网站或者刷抖音.听网易云音乐的时候,会有猜你喜欢或者为你推荐这样一个功能,而这依赖的就是用户画像的偏好类标签:比如说明星偏好(喜欢某个明星或者歌手的作品).类型偏好(比如说: ...
- 用户画像标签数据存储之Hive存储
目录 0. 相关文章链接 1. Hive数据仓库 2. 分区存储 3. 标签汇聚 4. ID-Mapping 注:此博文为根据 赵宏田 老师的 用户画像·方法论与工程化解决方案 一书读后笔记而来,仅供 ...
- 用户画像 | 标签数据存储之MySQL真实应用
本文已收录github:https://github.com/BigDataScholar/TheKingOfBigData,里面有大数据高频考点,Java一线大厂面试题资源,上百本免费电子书籍,作者 ...
最新文章
- 曾获Jolt大奖,“Python之父”龟叔推荐的书,又双叒叕更新了
- 如何理解矩阵的特征向量和特征值?
- mysql集群经常无法truncate_失败的mysql cluster配置-无法顺利转换已有数据
- C#图解教程 第二十一章 命名空间和程序集
- linux 查看进程
- SpringSecurity 整合 JWT
- comptia a+_我如何通过CompTIA Linux +考试
- NHibernate与EF(Entity Framework)的区别
- hibernate将本地SQL查询结果封装成对象
- 【深度学习】Batch Normalization详解
- python unique函数_《Python编程从入门到实践》json数据可视化练习详解
- [leetcode]14. 最长公共前缀
- python实现给定一个列表计数指定数字出现的所有次数
- 分情况分析消防应急照明灯具是否可以两者兼备
- WordPress直接调用头像地址
- 【题解】「NOIP2016」蚯蚓
- 全民斩仙2怎么在电脑上玩 全民斩仙2电脑版玩法教程
- 全球与中国电动车PTC辅助加热器市场深度研究分析报告
- python 基因测序_使用机器学习和Python揭开DNA测序神秘面纱
- [Maven]讲讲它的构建生命周期和拉取 jar 包流程
热门文章
- 北京北京移动校园卡/联通校园卡/电信校园卡/对比评测及如何避免被坑
- ajax轮询是什么?怎么实现?
- 解决使用TortoiseGit后文件夹出现蓝色问号
- 【BootStrap】--折叠插件
- jquery validation engine ajax验证,jquery.validationEngine 验证 AJAX 不起作用解决方法
- 微信小程序--获取通过data-* 穿的值
- Django+scrapy,scrapy爬取的数据通过Django的模型保存到数据库
- 三子棋(五子棋)可拓展棋盘版
- Android闪屏代码怎么写,安卓闪屏页SplashActivity的实现方法
- FULA探索太阳系外行星 欧洲空间局太空望远镜发射升空