背景介绍

基于ERNIE-Gram训练Pair-wise模型。Pair-wise 匹配模型适合将文本对相似度作为特征之一输入到上层排序模块进行排序的应用场景。

ERNIE-Gram

1. 技术方案和评估指标

技术方案

双塔模型，使用ERNIE-Gram预训练模型，使用margin_ranking_loss训练模型。

评估指标

（1）采用 AUC 指标来评估排序模型的排序效果。

效果评估

模型	AUC
ERNIE-Gram	0.801

2. 环境依赖和安装说明

环境依赖

python >= 3.x
paddlepaddle >= 2.1.3
paddlenlp >= 2.2
pandas >= 0.25.1
scipy >= 1.3.1

3. 代码结构

以下是本项目主要代码结构及说明：

ernie_matching/
├── deply # 部署└── python├── deploy.sh # 预测部署bash脚本└── predict.py # python 预测部署示例
|—— scripts├── export_model.sh # 动态图参数导出静态图参数的bash文件├── train_pairwise.sh # Pair-wise 单塔匹配模型训练的bash文件├── evaluate.sh # 评估验证文件bash脚本├── predict_pairwise.sh # Pair-wise 单塔匹配模型预测脚本的bash文件
├── export_model.py # 动态图参数导出静态图参数脚本
├── model.py #  Pair-wise 匹配模型组网
├── data.py #  Pair-wise 训练样本的转换逻辑 、Pair-wise 生成随机负例的逻辑
├── train_pairwise.py # Pair-wise 单塔匹配模型训练脚本
├── evaluate.py # 评估验证文件
├── predict_pairwise.py # Pair-wise 单塔匹配模型预测脚本，输出文本对是相似度

4. 数据准备

数据集说明

样例数据如下:

个人所得税税务筹划      基于新个税视角下的个人所得税纳税筹划分析新个税;个人所得税;纳税筹划      个人所得税工资薪金税务筹划研究个人所得税,工资薪金,税务筹划
液压支架底座受力分析    ZY4000/09/19D型液压支架的有限元分析液压支架,有限元分析,两端加载,偏载,扭转       基于ANSYS的液压支架多工况受力分析液压支架,四种工况,仿真分析,ANSYS,应力集中,优化
迟发性血管痉挛  西洛他唑治疗动脉瘤性蛛网膜下腔出血后脑血管痉挛的Meta分析西洛他唑,蛛网膜下腔出血,脑血管痉挛,Meta分析     西洛他唑治疗动脉瘤性蛛网膜下腔出血后脑血管痉挛的Meta分析西洛他唑,蛛网膜下腔出血,脑血管痉挛,Meta分析
氧化亚硅        复合溶胶-凝胶一锅法制备锂离子电池氧化亚硅/碳复合负极材料氧化亚硅,溶胶-凝胶法,纳米颗粒,负极,锂离子电池   负载型聚酰亚胺-二氧化硅-银杂化膜的制备和表征聚酰亚胺,二氧化硅,银,杂化膜,促进传输

数据集下载

literature_search_data

├── milvus # milvus建库数据集├── milvus_data.csv.  # 构建召回库的数据
├── recall  # 召回（语义索引）数据集├── corpus.csv # 用于测试的召回库├── dev.csv  # 召回验证集├── test.csv # 召回测试集├── train.csv  # 召回训练集├── train_unsupervised.csv # 无监督训练集
├── sort # 排序数据集├── test_pairwise.csv   # 排序测试集├── dev_pairwise.csv    # 排序验证集└── train_pairwise.csv  # 排序训练集

双塔模型：ERNIE-Gram预训练精排Matching相关推荐

迁移学习——使用Tensorflow和VGG16预训模型进行预测
使用Tensorflow和VGG16预训模型进行预测 from:https://zhuanlan.zhihu.com/p/28997549 fast.ai的入门教程中使用了kaggle: dogs v ...
SENet双塔模型：在推荐领域召回粗排的应用及其它
前言目前,双塔结构在推荐领域里已经是个常规方法了,在召回和粗排环节的模型选型中,被广泛采用.其实,不仅仅是在推荐领域,在其它领域,双塔结构也已经被越来越多得用起来了.比如,在当代搜索引擎的召回环节, ...
一文看懂推荐系统：排序06：粗排三塔模型，性能介于双塔模型和精排模型之间
一文看懂推荐系统:排序06:粗排三塔模型,性能介于双塔模型和精排模型之间提示:最近系统性地学习推荐系统的课程.我们以小红书的场景为例,讲工业界的推荐系统. 我只讲工业界实际有用的技术.说实话,工业界 ...
一文看懂推荐系统：召回07：双塔模型——正负样本的选择，召回的目的是区分感兴趣和不感兴趣的，精排是区分感兴趣和非常感兴趣的
一文看懂推荐系统:召回07:双塔模型--正负样本的选择,召回的目的是区分感兴趣和不感兴趣的,精排是区分感兴趣和非常感兴趣的提示:最近系统性地学习推荐系统的课程.我们以小红书的场景为例,讲工业界的推荐 ...
推荐系统中的双塔模型
文章目录 1. 为什么要学习DSSM双塔模型 2. DSSM模型理论知识 2.1 DSSM模型的原理 2.2 DSSM深度语义匹配模型整体结构 2.2.1 输入层 2.2.2 表示层 2.2.3 匹配 ...
双塔模型DSSM及各种变体塔
本文是由参考1和参考2整合而来. 本文主要介绍项目中用于商业兴趣建模的DSSM双塔模型.作为推荐领域中大火的双塔模型,因为效果不错并且对工业界十分友好,所以被各大厂广泛应用于推荐系统中召回阶段. 通过 ...
涨点利器：推荐系统中对双塔模型的各种改造升级（上）
双塔各种改造方法概览: 大型推荐系统通常会将整个推荐链路拆分成召回.粗排.精排和重排等多个模块,以达到推荐效果和计算性能之间的平衡. 由于召回模型的候选item通常是海量的全库物品.粗排模型的候选it ...
深度剖析知识增强语义表示模型——ERNIE
文章目录什么是语义表示静态词向量动态词向量(上下文词向量) 位置编码 ERNIE的原理介绍神经网络上的改造辅助任务学习过程 ERNIE的应用案例性能不敏感的场景:直接使用 ERNIE 的 ...
Facebook向量召回双塔模型
不知道多少人还记得 <做向量召回 All You Need is 双塔>那篇,那篇介绍了国内外各个大厂做召回的用的双塔模型,其中提到一篇<Embeding-based Retriev ...

双塔模型：ERNIE-Gram预训练精排Matching

背景介绍

ERNIE-Gram

1. 技术方案和评估指标

技术方案

评估指标

2. 环境依赖和安装说明

3. 代码结构

4. 数据准备

数据集说明

数据集下载

双塔模型：ERNIE-Gram预训练精排Matching相关推荐

最新文章

热门文章