每日学术速递4.29
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.LG
1.A Cookbook of Self-Supervised Learning
标题:自监督学习食谱
作者:Randall Balestriero, Mark Ibrahim, Vlad Sobal, Ari Morcos, Shashank Shekhar, Tom Goldstein, Florian Bordes, Adrien Bardes
文章链接:https://arxiv.org/abs/2304.12210
摘要:
自我监督学习,被称为智能的暗物质,是推进机器学习的一条有前途的途径。然而,就像烹饪一样,训练 SSL 方法是一门精致的艺术,入门门槛很高。虽然许多组件都很熟悉,但成功训练 SSL 方法涉及从借口任务到训练超参数的一系列令人眼花缭乱的选择。我们的目标是通过以食谱的形式奠定基础和最新的 SSL 食谱来降低进入 SSL 研究的门槛。我们希望让好奇的研究人员能够在方法领域中导航,了解各种旋钮的作用,并获得探索 SSL 的美妙之处所需的专业知识。
2.Scaling Transformer to 1M tokens and beyond with RMT
标题:使用 RMT 将 Transformer 扩展到 1M 代币甚至更多
作者:Aydar Bulatov, Yuri Kuratov, Mikhail S. Burtsev
文章链接:https://arxiv.org/abs/2304.11062
摘要:
这份技术报告介绍了循环记忆在扩展 BERT 的上下文长度方面的应用,BERT 是自然语言处理中最有效的基于 Transformer 的模型之一。通过利用 Recurrent Memory Transformer 架构,我们成功地将模型的有效上下文长度增加到前所未有的 200 万个标记,同时保持了较高的记忆检索准确性。我们的方法允许存储和处理局部和全局信息,并通过使用递归使信息在输入序列的片段之间流动。我们的实验证明了我们方法的有效性,它在增强自然语言理解和生成任务中的长期依赖处理以及为内存密集型应用程序实现大规模上下文处理方面具有巨大潜力。
Subjects: cs.CV
3.Pointersect: Neural Rendering with Cloud-Ray Intersection(CVPR 2023)
标题:Pointersect:使用云射线相交的神经渲染
作者:Jen-Hao Rick Chang, Wei-Yu Chen, Anurag Ranjan, Kwang Moo Yi, Oncel Tuzel
文章链接:https://arxiv.org/abs/2304.12390
项目代码:https://machinelearning.apple.com/research/pointersect
摘要:
我们提出了一种将点云渲染为表面的新方法。所提出的方法是可区分的,不需要特定场景的优化。这种独特的功能支持开箱即用的表面法线估计、渲染房间尺度点云、逆向渲染和全局照明光线追踪。与专注于将点云转换为其他表示(例如曲面或隐式函数)的现有工作不同,我们的关键思想是直接推断光线与给定点云表示的底层表面的交点。具体来说,我们训练一组变换器,给定沿光线的少量局部相邻点,提供交点、表面法线和材料混合权重,用于渲染该光线的结果。将问题定位到小社区使我们能够训练一个只有 48 个网格的模型并将其应用于看不见的点云。我们的模型在三个测试集上实现了比最先进的表面重建和点云渲染方法更高的估计精度。当应用于房间规模的点云时,无需任何特定于场景的优化,该模型通过最先进的新颖视图渲染方法实现了具有竞争力的质量。此外,我们展示了渲染和操纵激光雷达扫描点云的能力,例如照明控制和对象插入。
更多Ai资讯:公主号AiCharm
每日学术速递4.29相关推荐
- 每日学术速递1.29
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 更多Ai资讯: Subjects:cs.CV 1. Compact Transformer Trac ...
- 每日学术速递5.29
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV 1.Custom-Edit: Text-Guided Image E ...
- 每日学术速递1.26
CV - 计算机视觉 今天带来的是北航IRIP实验室被国际人工智能联合会议IJCAI-ECAI 2022接收的3篇论文. IJCAI 是人工智能领域中最主要的学术会议之一,原为单数年召开,自2015年 ...
- 每日学术速递1.27
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 前沿推介: ICLR 2023 ICLR 全称为国际学习表征会议(International Conference on L ...
- 每日学术速递2.16
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV 1.Efficient Teacher: Semi-Supervis ...
- 每日学术速递5.30
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV 1.Accelerated Coordinate Encoding: ...
- 每日学术速递5.26
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV 1.Text2NeRF: Text-Driven 3D Scene ...
- 每日学术速递5.15
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CL 1.Not All Languages Are Created Eq ...
- 每日学术速递4.12
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.HC 随着新的"生成代理"论文的发布,LLM刚刚达到了 ...
最新文章
- 河南城建学院linux期末试题,河南城建学院09-10(上)期末试题.ppt
- 麦肯锡AI应用报告:深度学习是蓝海还是深坑?
- 2 模版_你还只会套PPT模版吗? | 大学生PPT进阶指南(附免费资源amp;教程)
- Linux系统卡慢之调优方法
- jQuery Validate 提交表单验证失败扩展方法
- java中定时器的使用
- Refactoring Connection To Sql
- PDH光端机常见故障及解决方法介绍
- Postman发送请求时带上登录信息
- mysql xp cmdshell_LOAD语句:利用MSSQL中的xp_cmdshell功能,将指定文件夹下的指定文件,生成mysql的LOAD语句...
- Java多线程同步屏障计算_Java多线程之CountDownLatch和CyclicBarrier同步屏障的使用
- NHibernate初探(一)简单且完整的示例
- 选择爱人的数学方法(经典秘书问题)
- 计算机组成原理——数据通路
- DirectoryEntry使用-实现域登录
- Android端实现下载抖音直播视频功能
- 【我的OpenGL学习进阶之旅】学习OpenGL ES 3.0 的实战 Awsome Demo (下)之 图片转场和轮播特效专场
- Nginx 企业级优化
- Win10创建文件不显示,Windows任务栏idea图标变白
- Python统计学:独立样本t检验~均值差的检验