MiduCMR跨模态信息检索与数字媒体的智能碰撞
近日,数据智能应用服务商蜜度midu.com发布了人工智能前沿应用成果——跨模态检索引擎MiduCMR,实现从数据融合到实际应用的重大突破。
MiduCMR利用跨模态对比学习、语义融合、语义表征、语义检索等技术,实现了跨模态视频打标签、相似视频检索、场景识别等一系列解决方案,为政企与媒体数字化转型提供场景化的数据智能服务。跨模态信息检索与数字媒体如何产生“化学反应”?
01跨模态信息检索——多模态信息交互的桥梁
何为“跨模态信息检索”?“跨模态信息检索”通常指从互联网的全媒体多模态信息中,提取视频、音频、图片、文本内容并对其进行单模态理解和多模态融合。
例如以文本搜图片、音视频,以图片搜文本、视频,以音频搜文本、视频等,其难点在于自动理解、关联不同模态数据之间的关键要素,并实现相对准确的交叉匹配。
02善用跨模态信息检索——全媒体助跑工具
智能媒体时代,媒体形态较从前有了颠覆性转变,信息传播系统亦不断更新迭代。在复杂多变的环境下,媒体工作者如何应对网络中海量的碎片化信息,如何兼顾媒体内容生产者与媒体信息传播者的二重身份,成为一大挑战。
MiduCMR跨模态信息检索,以“一己之力”让媒体工作者实现高效信息交互,助力媒体资源整合。
< 信息精准溯源 事件真伪辨别 >
如何快速、准确地聚焦热点话题及背景信息,是媒体从业者跑赢信息发布速度的一大关键。然而,碍于信息传播误差、事件地点距离过远等多种因素,如何追溯真实准确的信息源,是业内普遍存在的难题。
而利用MiduCMR能够通过对事件画面的文字描述,即刻获取网络上流传的相关图片及视频信息。例如,此前引发公众关注的“旅游景点众多游客”事件,快速获取事件相关素材只需一键检索:
从图中可见,不过8秒钟,MiduCMR即检索到全网几百条相关数据,涵盖相关文本、图片、视频等模态,同时呈现出各模态内容数据量,并对各平台的发布信息作出发布渠道、发布时间、发布地点等标记。
这也意味着,媒体工作者不仅能够通过MiduCMR获取素材,还能了解到信息短时波及范围、信息发布主要集中地,甚至追溯信息来源,为了解事件的来龙去脉、验证事件的准确性及真实性提供重要依据。
< 海量素材搜索 激发创作灵感 >
在媒体内容创作过程中,与文字适配的图像对于内容塑造、提高读者视觉感受均有重要作用,而在网络中捕捉“脑海中的幻想画面”,也是一次与搜索引擎间的情感对话。
但是,基于对情感语义的处理区别,一些常用的搜索引擎难以完全命中搜索场景的关键元素。例如,“女孩在青青草原中看夕阳西下”这个场景,包括女孩、草原、夕阳三个要素。部分常用搜索引擎往往只命中其中1-2个要素,加大了图片搜寻的难度,产生更多时间成本。
而MiduCMR基于强大的跨模态信息检索能力,准确解析文本、图片、视频中的字幕、背景、封面等特征元素,以三大搜索特征打破与搜索引擎之间的“交流障碍”。
一是搜索结果精度更高。在同样的搜索词下,MiduCMR展现的图片与视频消息同时命中“女孩、草原、夕阳”三个画面要素。
二是搜索方式更加广泛。上传画面图片,即可检索出更多近似场景的图片与视频,突破以往仅能通过文字传达画面的局限,以视觉对话视觉,帮助缩小素材搜寻范围,明确视图需求,提升搜索效率。
三是情感识别度更准确。MiduCMR能够通过对文字语义的情绪分析与识别作出相应的信息匹配,例如,“飞流直下三千尺”的搜索结果展现出瀑布景致的宏伟壮观,“月落乌啼霜满天”的搜索结果则传递了诗句背后夜晚的孤寂与忧愁。
< 传播效果评估 作品侵权洞察 >
面对众多热点选题及媒体内容,如何制定有效的内容及广告投放策略,如何作出正确的媒介采购选择,种种“传播组合打法”是媒体从业者普遍面临的选择题,分析与评估发布内容在各平台的传播效果尤为重要。
通过MiduCMR上传原创图片或视频,检索全网发布过相似内容的平台及账号,根据搜索结果标记的信息发布平台及互动情况,爆款内容及引爆平台一目了然。
更重要的是,MiduCMR还能成为发现作品侵权、创意抄袭等问题的“重要利器”。在MiduCMR中上传原创文本、图片、视频或音频,得到作品全网应用场景及近似场景,无论是原创图片被加塞进视频中,还是视频原音被加工成音频,亦或是视频文案被复制粘贴成文章……MiduCMR都能第一时间检索到这些“抄袭动作”,维护版权利益。
当前,基于MiduCMR的蜜度索骥已支持约300个特殊场景的识别分析,可以有效提高媒体对文本、图片、视频、音频等多模态内容发现、评估、分析的效率,帮助媒体收集素材、辨别新闻事件真伪、评估传播效果等。
同时,基于MiduCMR的蜜度版权通已经支持全网多场景中的版权保护,能够帮助媒体与自媒体进行文本版权、图片版权、视频版权的监测、预警、追踪与智能取证。
未来,蜜度将基于MiduCMR推出更多的数据智能产品和解决方案,为数字媒体的使用场景助力赋能。
MiduCMR跨模态信息检索与数字媒体的智能碰撞相关推荐
- NLP数字媒体内容中人工智能审核的应用说明|图普科技
前面的科普中我们曾提到,人工智能技术的迅猛发展使自然语言处理.语音转写.图像识别等技术能成熟地应用于大部分数字媒体,尤其是数字媒体生产平台关于内容审核工作区域.本文将从专业的角度继续为各位解析其中的主 ...
- 学计算机的能跨数媒吗,北京邮电大学2020年考研829数字媒体基础综合考试大纲...
考研大纲是考研学生复习的重要参考资料,它指出了所考科目的大致考试范围,也是考研命题的重要参考依据.2020考研大纲已经陆续公布,包括公共课考试大纲和专业课统考科目考试大纲,而自命题科目考试大纲则一般由 ...
- “玩转标签,发现层次的力量!”:跨模态哈希方法研究
「论文访谈间」是由 PaperWeekly 和中国中文信息学会社会媒体处理专委会(SMP)联合发起的论文报道栏目,旨在让国内优质论文得到更多关注和认可. 论文动机 近年来,随着智能终端等多媒体设备的普 ...
- ACM MM18 | 用于跨模态检索的综合距离保持自编码器
作者丨黄澄楷 研究方向丨多媒体信息检索/内容理解 本文是发表在 MM18 上的一篇跨模态检索文章,作者提出了一种采用综合保持距离的自编码器(CDPAE)的新颖方法,用以解决无监督的跨模态检索任务. 之 ...
- 论文笔记--跨模态检索研究综述-2018
论文信息: 期刊论文-跨媒体检索研究综述-2018-欧卫华 文末部分参考文献附有论文下载链接,并提供了本论文下载地址 转载本文请添加以下引用: 作者:lingpy 本文链接:https://blog. ...
- 百度“知识增强的跨模态语义理解技术”获国家技术发明奖
11月3日,2020年度国家科学技术奖励大会在京举行,百度"知识增强的跨模态语义理解关键技术及应用"获国家技术发明二等奖. 该技术旨在通过构建大规模知识图谱,关联跨模态信息,通过知 ...
- 你说我画,你画我说:全球最大中文跨模态生成模型文心ERNIE-ViLG来了!
来源:机器之心 本文约2300字,建议阅读9分钟该模型参数规模达到100亿,是全球最大的中文跨模态生成模型. 在文字生成图像上,文心 ERNIE-ViLG 可以根据用户输入的文本,自动创作图像,生成的 ...
- 百度AI技术盛宴来了!大咖齐聚解读CV/NLP/跨模态大模型技术!
随着人工智能步入工业大生产阶段,AI大模型正在加速走出实验室,在全球范围内逐步实现产业落地应用的突破.自2020年至今,越来越多的科技巨头和科研机构参与其中.去年12月,百度发布了全球首个知识增强千亿 ...
- CVPR 2021 | 跨模态点云补全新框架ViPC:用单一视图推断完整信息
OPPO 随着CVPR 2021的落幕,越来越多专业论文进入大众视野.OPPO研究院团队与清华大学等多个机构学者群策群力, 基于点云数据不完整的问题联合提出了一种名为ViPC(view-guided ...
最新文章
- MySQL的log_bin和sql_log_bin 到底有什么区别?
- emwin读取sd图片_262.3MB/S读取速率,雷克沙1667X这回谁还敢吐槽
- 程序员必须知道的10大基础实用算法及其讲解
- sqlite数据库android使用教程,Android开发教程之 SQLite数据库的使用
- BCE loss和 CE理解
- 物联网为电信运营商带来众多商业机会
- linux真实地址是什么意思,linux – 如何为发件人地址配置真实域名
- double-talk检测算法分类
- 【批处理DOS-CMD命令-汇总和小结】-输出/显示命令——echo
- 估值模型不适用_揭开市盈率估值法的真正面纱 | 实战案例系列
- EKS使用AWS EFS CSI
- 查看网页最后修改时间方法以及原理简介
- 微带线贴片天线尺寸的计算,利用Matlab计算+常见的RF计算在线公式
- 三星矫情,重温Galaxy S5发布会收买人心
- switch c语言格式,switch语句格式是什么
- 看了后非常震撼---骗局
- mocha 测试 mysql_GitHub - nodejs-xx/lei: 整合Express mysql ioredis ejs 的一开发框架,使用mocha对api进行测试...
- WPF绑定XML数据源
- Python灰帽子环境配置
- 广州市数字经济行业市场“十四五”发展趋势及经营模式分析报告2022-2027年