“Club Factory上线至今,整体业务已经扩张了几十倍,运维人员却只有三人,没有专职的DBA。得益于AWS全球骨干网、Amazon VPC网络和CDN服务等,Club Factory将平均用户停留时间增加了20%。 ”

——嘉云数据Club Factory技术部负责人  马金金

创新型跨境电商平台Club Factory

Club Factory由中国公司嘉云数据于2016年创建,是一家时尚、美容和生活方式的电子商务商店,总部位于浙江杭州。其产品有三个特点:非品牌、时尚和低价。为此,Club Factory整合了上百万供应商,无需提前备货。在Club Factory诞生前,嘉云数据的主打产品为爆款易,这是一个SaaS数据智能平台,帮助供应商根据工厂和库存数据做出决策。

Club Factory定位于创新型出口电商、轻自营跨境电商平台,上游已整合数千万个SKU,下游则覆盖27个国家和地区,其中超过10个国家APP购物榜单排名前5,14个国家排名前10。Club Factory平台目前积累了1亿多全球用户群,其中8000多万来自印度,跻身印度跨境电商平台前列。在电商领域,Club Factory是少数可以用轻自营模式运营上千万SKU的平台。

用大数据连接供应端和消费端

嘉云数据于2014年12月创立的爆款易(应用于供应链管理)很快成为了面向制造商的最大的数据分析平台之一。拥有20多万家工厂的库存数据,借助大数据找出爆款货源,帮助供应商快速增加收益。2016年,嘉云数据消费端产品Club Factory海外上线,用大数据AI服务平台重构出海电商供应链。

现在,Club Factory已经完善了以零售业务为主的供应链管理系统,专注于个人和配对,基于人工智能算法向用户推荐产品。其应用程序采用人工智能技术,实时比较各个制造商的价格,为客户提供最低的产品价格。这有助于减少不必要的中间环节,降低成本。此外,Club Factory的SaaS产品可以为供应商提供生产相关建议,比如爆款商品的详细信息以及用户喜欢的设计方案等,降低滞留库存和成本。

目前,Club Factory月活近亿,包括订单、交易、支付、大数据分析等在内的所有电商平台服务均运行在AWS云上。平台日均实时流入15亿级行为日志,支撑80位工程师数据分析和算法需求。每天支撑约180个活跃数据分析调度任务,每天同步4000+业务数据表到数据仓库,后者支撑的数据总量达到约600TB,每月新增约30TB数据。

图1和图2分别是Club Factory基于AWS的数据架构示意图和基于AWS的全站架构示意图。Club Factory所使用的AWS服务包括Amazon Elastic Compute Cloud (Amazon EC2)、Amazon Simple Storage Service (Amazon S3)、 Amazon Virtual Private Cloud (Amazon VPC)、AWS Lambda、Amazon Elastic Container Registry (Amazon ECR)、Amazon Redshift、Amazon DynamoDB、Amazon Elasticsearch Service (Amazon ES)、Amazon ElastiCache、Amazon Relational Database Service (Amazon RDS)、Elastic Load Balancer (ELB)、Amazon Kinesis、Amazon CloudFront、Amazon CloudWatch、AWS Identity and Access Management (IAM)等。

图1:Club Factory基于AWS的数据架构示意图

图2:Club Factory基于AWS的全站架构示意图

完美适配跨境电商:AWS的“杀手锏”

谈到跨境电商平台对云平台IT基础设施的关键要求,在Club Factory看来,网络、存储和大数据分析非常重要。其他云服务商无法满足跨境电商的业务需求,而AWS则能够提供一整套成熟、完善的解决方案。

迁移至AWS之前,Club Factory在海外使用的是其他云服务商,其在海外的CDN布局有所欠缺。起先,Club Factory使用Amazon CloudFront做CDN解析,发现和业务配合得很不错,后来就将数据库等服务迁移至AWS。在此基础上,配合大数据分析业务,越来越多地使用AWS服务。图3是Club Factory基于AWS的网络架构示意图,主要使用Amazon VPC网络,大分区放在美国,前端基本在印度。通过AWS全球骨干网络,实现分区间类似本地内网的数据传输效率。由于AWS在印度区域接入了当地90%以上的运营商,所以本地用户体验非常好。

图3:Club Factory基于AWS的网络架构示意图

谈到存储,马金金指出,Amazon S3跨区域的同步功能令人印象深刻,可实现图片的自动同步。目前,Club Factory的SKU已达两三千万,图片存储量近五千万。Amazon S3的存储空间是近乎无限量且用户透明的,同时具备强大的写入性能,并且完成写入后,可在全球不同区域自动完成数据同步。在所有图片发布到Amazon S3时,Club Factory通过AWS Lambda实现图片的实时自动裁剪,适应约8-9种不同终端的访问规则,每周裁剪近一百万张图片。Club Factory团队只需提供代码,完全无需考虑后台基础设施,大幅减少运维和管理工作。

大数据分析方面,Club Factory主要基于AWS云开展三方面工作:第一,个性化推荐。基于用户在平台上的所有行为做实时自主推荐;第二,BI报表,包括转化率、DAU、用户购买单价等信息按天计算呈现,高效辅助运营决策;第三,一些按不同时间间隔划分的异步任务,比如以小时计的单量转化率变化情况、流量变化等,监控整体线上业务运行。

目前,Club Factory借助AWS数据湖理念与解决方案,解耦数据计算与存储, 实现业务进行任意规模的扩展。Club Factory目前主要使用包括实时流数据服务Amazon Kinesis、数据同步工具DMS、ETL工具AWS Glue、Data Pipeline、数据仓库Amazon Redshift、Amazon EMR集群等在内的整体AWS大数据产品体系,用到的服务覆盖整个数据分析端到端处理流程,包括数据收集、存储、分析以及使用。

所有原始数据都在Amazon S3中,一个单一的事实来源,不同的团队可以用不同的分析服务或者技术,对同一份数据进行处理,比如BI用到数据仓库Amazon Redshift Spectrum大规模并行对存在Amazon S3结构化和半结构化数据有效地查询和检索,而不必将数据加载到 Amazon Redshift表中,而批处理以及流处理场景会用到Amazon EMR,通过EMRFS直接对Amazon S3上的数据进行分析。

通过Amazon Kinesis,可以获取业务日志以及用户点击流等实时数据,即刻对收到的数据进行处理和分析并做出响应,无需等到收集完全部数据后才开始进行处理。

借助AWS Glue的无服务器架构,降低ETL和操作层面的复杂度以及额外的工作量,同时也为新的分析技术提供前瞻性的扩展能力,比如AI。

马金金认为,AWS的优势是可以通过不同类型的产品服务排列组合充分满足业务需求,这是其独特的优势。据了解,Club Factory数据分析团队有十几人,算法团队20-30人,包括推荐算法、商品算法和供应链算法。此外,还有算法引擎这块重要内容,将数据离线同步到Amazon Redshift后做数据分析,同时还将离线数据做索引后放在Amazon ES上,都会整体使用到AWS大数据服务。

零库存、轻自营:“人工智能+”技术创新

通过大数据AI服务平台连接消费侧与供应侧,Club Factory现已实现了“人工智能+商品”、“人工智能+消费者”、“人工智能+供应链”的全方位技术创新:基于商品知识图谱的商品管理系统,有效实现机器管理千万量级的前端商品,克服传统电商平台卖家需手动上下架商品和更改商品价格的困难,实现实时的商品智能上下架和价格动态展示。海量丰富的商品数据,为用户带来了多样的购物选择的同时,提供了更多的感官体验;基于海量用户行为数据,搭建多维度立体清晰用户画像。用户浏览和购买的商品越多,系统对用户偏好就越了解。基于商品与用户画像建模,人工智能使得用户非常便捷地在平台上找到喜欢、适合自己的商品;人工智能系统有效地集成商品管理模块、仓储管理模块、供应商管理模块、用户管理模块、订单管理模块,通过匹配海外消费者需求,指导出口厂家的生产,大幅优化行业效率,降低行业市场成本30%以上。

智能推荐是Club Factory的核心特色。当用户下单时,后台会自动匹配一个“最优供应商”,综合退货率、入仓时效、商品质量等信息。对于用户而言,一方面收货时间更短,同时也能享受到相对实惠的价格。

使用AWS云以后,马金金总结了以下几方面印象深刻的体验和收益:

第一,支持自动化扩展,运维成熟度高。Club Factory现已实现将自己创建的自动化运维平台与AWS API打通,AWS所有服务的操作都提供规范清晰的API,可以帮助我们进行自动化脚本控制,大大减轻运维压力。尤其在电商大促、闪购等活动期间,平台可以无缝地应对激增的QPS。

第二,本地化的支持服务。虽然Club Factory一直使用的是AWS海外的资源,AWS本地团队则自始至终为Club Factory提供包含销售、业务架构师、方案架构等在内的全方位支持服务,保证用户的平台使用体验,第一时间满足业务发展需求,避免走弯路。

第三,基于AWS云的强大资源能力和丰富产品功能,Club Factory实现了与大量业务应用相结合,有针对性的优化。比如,印度区域和俄勒冈区域通过Amazon VPC的对等连接,中间网络通过AWS骨干网连接;以及Amazon VPC网络和技术架构升级,Club Factory将整个导购链路的页面加载时间优化到一秒左右,大幅提升前端用户体验,平均用户停留时间增加了20%。

第四,充分支持业务的全球化快速扩张。Club Factory上线至今,整体业务已经扩张了几十倍,运维人员却只有3人,没有专职的DBA。如果没有AWS提供的稳定支撑,这一切无法想象。应用层面,Club Factory认为“数据服务离消费者越近越好”。AWS全球化的资源和产品能力可以提供充分保障。比如商品图片信息的浏览,一方面通过Amazon S3自动同步到本地,同时也可通过CDN自动同步到离用户最近的边缘站点。

未来,Club Factory将尝试通过AWS CloudFormation,实现在全球多区域、多站点复制部署,对流量进行更精细化的评估,充分适配自身全球化的业务发展战略。同时,深化大数据服务应用,进一步提高效率,优化成本。

“AWS云服务是值得信赖的,能够提供可靠、高可用的全球化部署,包括AWS数据库与跨境电商全球库存的业务特性无缝结合等。同时,AWS整体的配套服务非常完善,用户体验令人满意。”马金金总结道。

业务扩张几十倍,运维却只有三人,这家企业是怎么做到的?相关推荐

  1. 中国海上风电行业十四五运维策略及供需形势分析报告2021-2027年

    中国海上风电行业十四五运维策略及供需形势分析报告2021-2027年 HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS-- [修订日期]:2021年11月 ...

  2. 腾讯十年运维专家谈运维的自我修养

    公众号关注 「奇妙的 Linux 世界」 设为「星标」,每天带你玩转 Linux ! 作者:huashionxu,腾讯 TEG 业务运维专家 技术运维作为站在研发团队背后的男人们,一直在担任着举重若轻 ...

  3. 赠书 | 十年运维经验总结出的智能运维系统落地方案,不得不赞

    对于互联网公司来说,系统复杂化导致的人工运维成本激增已经是普遍现象,采用智能运维是行之有效的应对策略.智能运维的核心思想是利用算法来处理海量运维数据,积累运维经验,从而代替人工思考判断,以自动化的过程 ...

  4. 运维自我提升:怎样做好企业 IT 运维工作

    运维的工作层次来分,又分为硬件运维.桌面运维.系统运维.数据库运维和应用运维.他们运维的设备,小的从个人电脑,大的到数以亿计的高精尖计算设备(比如大型机). 根据公司IT系统规模的不同,运维团队小至1 ...

  5. 关于运维,新华三的经验谈

    过去,企业运维人员总是头疼. 头疼什么? 勤勤恳恳的运维攻城狮,不断面对系统故障,恢复业务常常需要花费数小时,故障原因分析则动辄数天甚至数周--人脑经验判断不及时,决策缺乏事实依据,业务恢复执行手忙脚 ...

  6. 墨天轮社区专属福利:与作者互动问答,民工哥全新力作《Linux系统运维指南:从入门到企业实战》送上!...

    墨墨导读:最近人民邮电出版社出版了新书<Linux系统运维指南:从入门到企业实战>,本书是同名经典畅销书的升级版,基于MySQL 5.7版本进行了内容改写,同时穿插介绍了MySQL 8.0 ...

  7. [渝粤教育] 宁波城市职业技术学院 Web服务器运维(从零搭建一个企业网站) 参考 资料

    教育 -Web服务器运维(从零搭建一个企业网站)-章节资料考试资料-宁波城市职业技术学院[] 作业:购买阿里云ECS 作业:在万网注册域名 作业:ICP备案 微测验:准备主机 1.[单选题]ECS是阿 ...

  8. 智能运维应用之道,告别企业数字化转型危机

    面临的问题及挑战 数据中心发展历程 2000 年中国数据中心始建,至今已经历以下 3 大阶段.早期:离散型数据中心 IT 因以项目建设为导向,故缺乏规划且无专门运维管理体系,此外,开发建设完的项目均是 ...

  9. 云计算Python自动化运维开发实战 三、python文件类型

    为什么80%的码农都做不了架构师?>>>    云计算Python自动化运维开发实战 三.python文件类型 导语: python常用的有3种文件类型 1. 源代码     py ...

最新文章

  1. 2015年各银行无抵押信用贷款利率及额度是多少?
  2. 【MPI高性能计算】用集合通信改进梯形求和积分
  3. vnc安装mysql_centos 6.7安装与配置vncserver
  4. android viewpager动态加载图片,Android使用ViewPager加载图片和轮播视频
  5. matlab运行支持向量机不出f,求助各位大神关于libsvm,svmpredict总是出不来结果,调试了好久还是不行...
  6. source insight 常用设置及快捷键
  7. python组合和继承_Python基础系列讲解——继承派生和组合的概念剖析
  8. html入门的常见问题
  9. js统计页面访问次数
  10. 《电子DIY》之《单片机实践项目》之proteus中电源配置问题,keil常见错误总结一(九十)
  11. 西数服务器硬盘300G,特立独行 西数300G万转猛禽硬盘欣赏
  12. 维吉尼亚密码(Vigenere)
  13. [201011][Maven 实战][许晓斌][著]
  14. 石河子大学计算机专业录取分数线,石河子大学2020年录取分数线(附2017-2020年分数线)...
  15. windows远程命令执行
  16. assert在c语言中有什么作用,C语言中assert的作用是什么?
  17. 获取最新职位通过在线作业分类
  18. 新员工培训需要经过哪些步骤和流程
  19. 搜狗浏览器屏蔽广告插件_“云法庭”里“云勘验”法院开审搜狗浏览器插件屏蔽优酷视频广告案...
  20. 再见!Minagawa先生

热门文章

  1. 35个精选网站(转贴)
  2. Vivado关于dds IP核实现任意频率的正余弦波输出
  3. 好的医药代表管理软件助力医药代表成功
  4. 人工智能数学要求有多高,别走弯路了
  5. 农场游戏开发记录十三
  6. 农场游戏开发记录十四
  7. 全球与中国精密空调市场现状及未来发展趋势
  8. 激活函数还是有一点意思的!
  9. vue修改浏览器标签名的办法
  10. 打造无证服务化:这个政务服务平台有点不一样