一、注册：

在tensorflow/compiler/jit/jit_compilation_pass_registration.cc对jit相关的优化器进行统一的注册。举例：

  REGISTER_OPTIMIZATION(OptimizationPassRegistry::POST_REWRITE_FOR_EXEC, 10, MarkForCompilationPass);其中POST_REWRITE_FOR_EXEC指阶段。10指该阶段中该OPTIMIZATION第几个被调用。MarkForCompilationPass是需要注册的图优化Pass。

REGISTER_OPTIMIZATION 宏函数展开：

  class OptimizationPassRegistration {public:OptimizationPassRegistration(OptimizationPassRegistry::Grouping grouping,int phase,std::unique_ptr<GraphOptimizationPass> pass,string optimization_pass_name) {pass->set_name(optimization_pass_name);OptimizationPassRegistry::Global()->Register(grouping, phase,std::move(pass));}};}  // namespace optimization_registration#define REGISTER_OPTIMIZATION(grouping, phase, optimization) \REGISTER_OPTIMIZATION_UNIQ_HELPER(__COUNTER__, grouping, phase, optimization)#define REGISTER_OPTIMIZATION_UNIQ_HELPER(ctr, grouping, phase, optimization) \REGISTER_OPTIMIZATION_UNIQ(ctr, grouping, phase, optimization)#define REGISTER_OPTIMIZATION_UNIQ(ctr, grouping, phase, optimization)         \static ::tensorflow::optimization_registration::OptimizationPassRegistration \register_optimization_##ctr(                                             \grouping, phase,                                                     \::std::unique_ptr<::tensorflow::GraphOptimizationPass>(              \new optimization()),                                             \#optimization)}  // namespace tensorflow

其实对每个调用REGISTER_OPTIMIZATION的优化器都构造了一个 static的该类的optimization。
然后将上述的optimization都放在std::map<Grouping, GraphOptimizationPasses> groups_;
其中Grouping就是多个阶段，GraphOptimizationPasses就是该阶段调用的哪些优化器。
跟Op的注册机制相似。

二、调用：

core/common_runtime/direct_session.cc
1652:  TF_RETURN_IF_ERROR(OptimizationPassRegistry::Global()->RunGrouping(core/distributed_runtime/graph_mgr.cc
197:  TF_RETURN_IF_ERROR(OptimizationPassRegistry::Global()->RunGrouping(core/common_runtime/graph_execution_state.cc
609:  TF_RETURN_IF_ERROR(OptimizationPassRegistry::Global()->RunGrouping(
621:  TF_RETURN_IF_ERROR(OptimizationPassRegistry::Global()->RunGrouping(
829:  TF_RETURN_IF_ERROR(OptimizationPassRegistry::Global()->RunGrouping(

在图的不同阶段会运行不同的优化器。

四个阶段：

    enum Grouping {PRE_PLACEMENT,          // after cost model assignment, before placement.POST_PLACEMENT,         // after placement.POST_REWRITE_FOR_EXEC,  // after re-write using feed/fetch endpoints.POST_PARTITIONING,      // after partitioning};

【XLA】一、【构图阶段】图优化器的注册和执行相关推荐

优化器是怎么得到执行计划的？
https://dev.mysql.com/doc/internals/en/optimizer-tracing.html 首先我们要启用优化器的追踪(默认是关闭的): SHOW VARIABLES ...
mysql+优化器+软解析_MySQL执行计划 - osc_93u9qofu的个人空间 - OSCHINA - 中文开源技术交流社区...
执行计划,SQL语句过来,会先解析,词法解析,语法解析,之后生成执行计划,计划上会算出使用全盘扫秒还是依靠索引, mysql不缓冲执行计划,oracle有体系结构 1.优化器--->执行计划 ...
如何编写快速高效的SQL查询（一）——MySQL8.0优化器查询优化处理与样例
当希望MySQL能够以更高的性能运行查询时,最好的办法就是弄清楚MySQL是如何优化和执行查询的.一旦理解了这一点,很多查询优化工作实际上就是遵循一些原则让优化器能够按照预想的合理的方式运行. MyS ...
[参考文档] [翻译]Oracle 12c R2优化器白皮书
[参考文档] [翻译]Oracle 12c R2优化器白皮书原文链接: http://www.oracle.com/technetwor ... edb-12c-1963236.pdf 第一版翻译链 ...
DeepSpeed零冗余优化器Zero Redundancy Optimizer
零冗余优化器内容零概述培训环境启用零优化训练 1.5B 参数 GPT-2 模型训练 10B 参数 GPT-2 模型使用 ZeRO-Infinity 训练万亿级模型使用 ZeRO-Inf ...
Oracle优化04-Optimizer优化器
思维导图 Optimizer概述 RBORule Based Optimizer RBO概述案例说明 CBOCost Based Optimizer CBO概述案例说明全表扫描索引扫描思维导 ...
大规模神经网络最新文献综述：训练高效DNN、节省内存使用、优化器设计
©作者 | Julia Gusak等编辑 | 杜伟.泽南来源 | 机器之心在本综述论文中,研究者解释了不同技术的工作原理.评估和比较,还分析了一些实现这些技术的框架. 现代深度学习和人工智能技术 ...
MySQL优化器选错索引情况
MySQL优化器选错索引情况 1. 优化器选错索引 2. 优化器的逻辑 3. 索引选择异常和处理 1. 优化器选错索引之前MySQL架构以及执行sql查询语句介绍过MySQL优化器可以帮助我们优化s ...
Oracle 12c数据库优化器统计信息收集的最佳实践
Oracle 12c数据库优化器统计信息收集的最佳实践转载自沃趣科技(ID:woqutech) 作者刘金龙(译) 原文链接 http://www.oracle.com ...

【XLA】一、【构图阶段】图优化器的注册和执行

一、注册：

二、调用：

【XLA】一、【构图阶段】图优化器的注册和执行相关推荐

最新文章

热门文章