如何使用数据工厂分析业务数据

数据工厂 1

背景需求 3

解决方案 3

产品介绍 3

方案验证 3

前期准备 3

数据工厂部署流程 4

收益 11

常见问题 11

背景需求

某个房企业务公司收集云中的业务客户所生成的万兆字节的业务客户日志。
该公司的目的是通过分析这些日志，了解客户偏好、人口统计信息和使用行为。
该公司的另一个目的是确定向上销售和交叉销售机会、开发极具吸引力的新功能、促进企业发展，并为其客户提供更好的体验。

为了分析这些日志，该公司需要使用参考数据，例如位于本地数据存储中的客户信息、业务客户信息和市场营销活动信息。
公司想要利用本地数据存储中的这些数据，将其与云数据存储中具有的其他日志数据结合在一起。

解决方案

Azure 数据工厂是解决此类数据方案的平台。它是基于云的 ETL
和数据集成服务，可让创建数据驱动型工作流用于大规模协调数据移动和转换数据。
可以使用 Azure
数据工厂创建和计划数据驱动型工作流（称为管道），以便从不同的数据存储引入数据。

产品介绍

Azure 数据工厂是 Azure 的云 ETL 服务，用于横向扩展无服务器数据集成和数据转换。
它提供了无代码的 UI，以用于直观创作和集中式监视与管理。还可以将现有 SSIS
包直接迁移到 Azure，并在 ADF 中运行它们（二者完全兼容）。 SSIS Integration
Runtime 提供完全托管的服务，因此无需担心基础结构管理。

方案验证

前期准备

创建SSISDB数据库（可以使用SQL数据库，托管实例，Blob存储等）用于存储数据

关于SQL数据库，托管实例在SSIS IR的区别可以访问链接：

https://docs.microsoft.com/zh-cn/azure/data-factory/create-azure-ssis-integration-runtime#comparison-of-sql-database-and-sql-managed-instance
确认你的数据库服务器还没有 SSISDB 实例。预配 Azure-SSIS IR
时不支持使用现有的 SSISDB 实例。
创建数据工厂

数据工厂部署流程

进入Azure数据工厂管理门户：adf.azure.cn
创建链接服务，将本地数据库链接到数据工厂。
创建Azure-SSIS IR
配置集成运行时

对于“节点大小”，请选择集成运行时群集中的节点大小。仅显示支持的节点大小。
如果需要运行多个计算密集型或内存密集型包，请选择较大的节点大小（纵向扩展）。

对于“节点编号”，请选择集成运行时群集中的节点数。仅显示支持的节点数。
如果需要并行运行多个包，请选择包含许多节点的大型群集（横向扩展）

···选择SSISDB存储SSIS包文件

创建管道

拖拽“执行SSIS包”

选择刚创建好的SSIS IR 及 SSISDB信息

创建触发器

根据需求，设置计划执行时间
监测SSIS IR

可以点击SSIS IR名称，查看详细信息

收益

通过使用数据工厂优化其用户配置文件分析并将其与业务目标匹配，房企公司可快速部署上线收集使用模式并分析其营销活动的效果。

常见问题

问题描述
无法启动集成运行时，错误消息：因为出现自定义安装程序故障

解决方案
Azure-SSIS IR 需要配置MySQL ODBC，安装驱动需要与集成运行时包同一版本，如32位、64位。
问题描述
Azure-SSIS IR加入虚拟网络后无法启动

解决方案
如果Azure SQL数据库使用专用终结点，需要对专用终结点配置DNS解析
问题描述
执行SSIS包失败，无法连接本地数据源

解决方案：
排查本地防火墙设置，如本地数据库有防火墙，需要对Azure SQL所在虚拟网络配置白名单。
问题描述：
执行集成运行时包报错，错误代码：Failed to acquire connection(用户有权限)
解决方案：
创建运行包时，不支持EncryptAllWithUserKey保护级别，请选择EncryptSensitiveWithUserKey保护级别。