OpenAI Codex、DeepMind AlphaCode论文精读阅读笔记

Codex：
基于GPT的语言模型，用Github上的代码进行微调（有意思的是GPT的卖点就是不用微调）。
模型没怎么改动，主要精力在于准备预训练数据和微调数据集（微调数据集应尽可能和你要进行评估的任务相近）上
目标函数的分数不采用常见的BLUE分数因为相同的子序列多并不意味着写出的代码就有效，因此作者团队自己设计了一个pass@K，即每个词采样softmax分数总和0.95的输出，在这些词里面每次随机采样，最后看生成的答案能否通过测试，若以100次采样中有1次能通过测试则算成功，准确度能达到接近80%。

AlphaCode：
流程与Codex接近，用预训练和微调训练一个transformer模型（带完整的编码器和解码器，编码器适合长序列时双向理解文章），最后结果比Codex要好一点，在编程竞赛上能打败54%的人。
预训练数据也是在github上爬的，比Codex大了5倍，微调数据集采用的是CodeContest
编码器和解码器非对称设计，由目标任务进行归纳偏置。
中间有很多trick

准确度线性增加，数据集和模型参数指数级增长

OpenAI Codex、DeepMind AlphaCode论文精读阅读笔记相关推荐

A Survey of Deep Learning-based Object Detection论文翻译 + 阅读笔记
A Survey of Deep Learning-based Object Detection论文翻译 + 阅读笔记 //2022.1.7 日下午16:00开始阅读双阶段检测器示意图单阶段检测器 ...
关于动物识别论文的阅读笔记——青鳉鱼的个体识别和“面部反转效应”
论文简介论文中文翻译:<青鳉鱼的个体识别和"面部反转效应"> 论文名称:<Individual recognition and the 'face invers ...
【LOAM系列】四：LIO-SAM论文代码阅读笔记
LIO-SAM IROS 2020 MIT Tixiao Shan 1.论文 1.1 概述 IMU预积分的运动估计对点云进行去畸变并产生激光里程计优化的初始估计. 激光雷达里程计用于估计IMU的零偏. ...
论文阅读笔记——A deep tree-based model for software defect prediction
本论文相关内容论文下载地址--Web Of Science 论文中文翻译--A deep tree-based model for software defect prediction 论文阅读笔记 ...
论文阅读笔记——基于CNN-GAP可解释性模型的软件源码漏洞检测方法
本论文相关内容论文下载地址--Engineering Village 论文阅读笔记--基于CNN-GAP可解释性模型的软件源码漏洞检测方法文章目录本论文相关内容前言基于CNN-GAP可解释性 ...
强化学习相关论文阅读笔记之稀疏奖励解决方法
注:该系列文章为强化学习相关论文的阅读笔记,欢迎指正! 论文题目:<深度强化学习中稀疏奖励问题研究综述> 文章目录 1. 论文介绍 2. 论文结构 3. 研究背景 3.1 解决稀疏奖励的必 ...
SaliencyReview：显著性检测综述阅读笔记
typora-root-url: images SaliencyReviews 显著性检测论文综述阅读笔记 Author: wbzhang 2020/3/19 E-mail: wbzhang233@1 ...
【计算机视觉】Mip-nerf 论文精读记录
[计算机视觉]Mip-nerf 论文精读记录本人是刚入门的计算机视觉小白,此系列为nerf论文精读系列笔记记录,感兴趣的朋友可以关注一下,共同成长! Mip-NeRF: A Multiscale R ...
论文阅读笔记——VulDeePecker: A Deep Learning-Based System for Vulnerability Detection
本论文相关内容论文下载地址--Engineering Village 论文中文翻译--VulDeePecker: A Deep Learning-Based System for Vulnerabi ...

OpenAI Codex、DeepMind AlphaCode论文精读阅读笔记

OpenAI Codex、DeepMind AlphaCode论文精读阅读笔记相关推荐

最新文章

热门文章