编 辑:诸葛子房

来 源:大数据架构师(ID:bigdata_arch)

彭友们好,我是老彭。之前抽空写了一篇《One ID中的核心技术ID-Mapping究竟是怎么实现的?》结果一大堆人追着我问有没有具体的实施细节。

这个需求,老彭必须满足!来,上干货!

One ID 简介

《阿里巴巴大数据之路》中有讲到关于数据中台OneData 的方法论,其中分别涉及到OneModel、OneService、OneID。

OneID是指同一用户、同一设备的一个唯一ID。

例子一:我用我自己的电脑搜索小米11,我又用这台电脑浏览其他网站,然后这个网站给我弹小米11的广告,对,也许你认为这种都是同一台电脑,非常简单,只需要根据ip等相关信息进行匹配就可以了。

例子二: 我用我自己的电脑搜索小米11,然后用自己的苹果手机,去浏览其他网站,然后其他网站又给我弹了小米11的广告,这怎么识别的呀?

我们认为这台电脑、这部手机、以及其他的电子设备是可以构成一个唯一的ID,即:OneID。

但是你一定会问了,那他们是怎么关联上的呢?而不会关联错呢?比如说没有把我在电脑上搜索的小米11,推到我的手机上,而不是推到我女朋友的手机上

这个映射的过程,称之为:ID-Mapping

业务逻辑梳理

当使用安卓手机安装app,启动时会上报 IMEI,Mac地址 ,AndroidID,手机型号等设备信息。

同理ios 会上报相关启动信息 idfa,手机设备等信息;pc 浏览器端会上报 cookie、浏览器相关信息。

但是每一次上报的信息不一定完全相同,比如说手机权限问题,浏览器cookie 清空等问题。

LocalID:app 启动会根据AndroidID生成本地id(不需要连网),记录为本地ID

OneID:app 联网上报的设备相关信息,用来打通多个app以及多端应用的唯一ID

OneID的作用:

(1)打通手机上多个app,比如说:淘宝、支付宝、高德等等是同一个用户(未登录时,登录时用账号id)

(2)打通多端应用,比如说你在手机端看剧,然后pc web 端能知道还是同一用户(解决账号共享无法定位同一用户的问题)

Mapping流程及架构设计

(1)HBase数据表结构设计

安卓端表映射表结构(android_id_mapping),其他端类似:

OneID   imei  mac_adress    android_id      oaid

本地id 和 OneId映射表结构(local_id_mapping):

LocalID   OneID

(2)为了应对高并发场景,将HBase 提前预热至Redis 缓存,redis 表设计

imei_value                 oneid1,oneid2...

mac_address_value  oneid1,oneid2...

(3)ID-Mapping 映射流程

票选服务:

根据客户端上报的参数信息去redis 里面匹配OneID,核心权重设置

如上,就实现了同一个对象在不同端的ID-Mapping,将多端数据串起来,可以做更多的分析了。

总结

嘿嘿,这个技术就是你反复看到类似广告的罪魁祸首之一。比如之前总有人问老彭几个问题,都可以用上面的技术知识解答了:

问题一:你在百度(或者京东、淘宝)上搜索一件商品(比如说:我搜索了一台iphone 手机看了看,但是没买),奇怪的是过两天,你竟然在某视频平台或者某网页上又看到了它?

回答:在视频平台看视频的时候,获取到浏览器的cookie等相关信息,通过调用百度的服务去匹配同一个设备的最新的搜索数据,然后进行广告投放,做到千人千面

问题二:而且更加奇怪的是,你明明是在电脑pc 端搜索的手机,但是你在手机上看电影的时候却能看到它,是不是也太奇怪了。

回答:手机端装了看电影的app,同时你在pc web 端之前也看在该网站有观影信息,结合账号信息+设备信息+观影信息,生成一个OneID,打通该视频网站,所有端的数据。

后续你在pc web 看电影取获取当前唯一id的所有端的信息,然后调用京东或者淘宝的广告服务,进行投放。

排版 | 老彭

审校 | 老彭  主编 | 老彭

数据中台之OneID (ID-Mapping)架构设计细节全解相关推荐

  1. 用户画像系列——数据中台之OneID (ID-Mapping)核心架构设计

    一.引言 大家在上网的过程中是不是经常有这样的体验,我在百度(或者京东.淘宝)上搜索一件商品(比如说:我搜索了一台iphone 手机看了看,但是没买),奇怪的是过两天,我竟然在某视频平台或者某网页上又 ...

  2. 数据中台当前与未来-数字化架构设计(1)

    数字化架构设计,是经过多年的认知,高质量的输出. 题外话:今天看到了资本市场火爆的RISC-V架构,希望国内在芯片开源路上越走越好,不受A国制裁. 早上2015年,因为工作原因,开始对中台设计有了比较 ...

  3. Atitit. 数据约束 校验 原理理论与 架构设计 理念模式java php c#.net js javascript mysql oracle...

    Atitit. 数据约束 校验 原理理论与 架构设计 理念模式java php c#.net js javascript mysql oracle 1. 主键1 2. uniq  index2 3.  ...

  4. 缓存架构设计细节二三事

    缓存架构设计细节二三事 原创 2016-03-08 58沈剑 架构师之路 本文主要讨论这么几个问题: (1)"缓存与数据库"需求缘起 (2)"淘汰缓存"还是&q ...

  5. 数据中台到底包括什么内容?一文详解架构设计与组成

    01 数据中台功能架构 数据中台建设是一个宏大的工程,涉及整体规划.组织搭建.中台落地与运营等方方面面的工作,本节重点从物理形态上讲述企业的数据中台应该如何搭建.一般来讲,企业的数据中台在物理形态上分 ...

  6. 大数据、分布式、中台、云原生数据库架构设计与实践 | DAMS 2020

    5年前,大数据浪潮的来袭唤起了国内企业对数据作为核心资产的新认知,为了推动国内数据管理加速发展,DAMS中国数据智能管理峰会携手产学研各界权威力量开启了对企业数字化转型的探索与助力. 5年后,我们看到 ...

  7. 中台之上:商业银行业务架构设计

    从实际操作的角度讲,企业级业务架构设计及其建模过程是一个充满可能性和争议的过程,并没有一个直观的量化标准能够用于判断一个架构方案的好坏,下面通过一个虚拟的例子体会一下这种"难标准" ...

  8. 企业级数据中台的建设方法、架构和技术栈

    多数企业都意识到数据的重要性,都希望利用数据来驱动业务发展.但经常会听到这样一句话:"我们企业现在业务都还没做起来,连数据都没有,还不到考虑数据利用的时候." 这句话在某种程度上代 ...

  9. 清晰!我们从来都反对“大中台,小前台”的架构设计!

    点击上方"朱小厮的博客",选择"设为星标" 后台回复"书",获取 后台回复"k8s",可领取k8s资料 在2020全球敏 ...

最新文章

  1. 前端开发工程师——网易云课堂
  2. 关于wifi的HW hdr error:len/check错误解决方法
  3. linux 远程管理
  4. 本人正式入驻博客园~
  5. 网页布局:左边为导航,右边正文,左边和右边的高度总是相等,或者导航最低高度为屏幕高度...
  6. date在java的那个包_Java—包装类、Date和SimpleDateFormat、Calendar类
  7. 【演化(进化)算法】遗传算法原理及python实现
  8. Linux下查看SSD硬盘型号、大小等信息
  9. switch语言的应用
  10. 计算机学院宣传橱窗,校园橱窗、报栏、展板、宣传标语管理办法
  11. php撤回一步,PS怎么撤回很多步
  12. 位段(域)机制——结构体的特殊实现
  13. Office.Interop.Excel引用失败
  14. 在一座办公楼内 各是计算机连成网络 属于,在一座办公楼内各室计算机连成网络属于...
  15. [转贴]eclipse和netbeans的区别
  16. 华清远见C语言笔试题,华清远见C语言学习笔记五
  17. 计算机二级office高级应用试题,2014计算机二级office高级应用模拟题
  18. 未来几年中,软件测试的几大趋势是什么?
  19. Windows无法连接到System Event Notification Service服务问题解决
  20. flash特效原理:粒子爆

热门文章

  1. python爬虫面试问题及答案_关于Python爬虫面试50道题
  2. LightGBM 参数及调优
  3. 计算机操作员高级图形图像处理photoshopcs2试题解答,图形图像处理(Photoshop平台)Photoshop CS2试题汇编(图像制作员...
  4. Android实例开发中登录注册界面的框架实现(android studio)
  5. 弥散峰度成像DKI简介
  6. pycharm如何增加运行时内存
  7. 基于蓝牙协议的无线网络化传感器设计
  8. 基于FPGA的混沌信号发生器设计与实现
  9. 遗传算法求解TSP旅行商问题
  10. word停止工作 怎么解决