即构发布 | 移动端实时超分辨率技术，迭代视觉新体验
超分辨率（Super Resolution，简称 SR），是计算机视觉的一个经典应用。SR 是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像，简单来说就是通过 AI 算法来放大原有图像的分辨率以达到提升画质的效果。在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。
近年来，随着深度学习技术的快速发展和设备运算能力的不断提升，基于 AI 的超分技术在图像恢复与增强领域也已经呈现出广阔的应用前景，并且在实时通信领域也掀起了革新应用之风。
条件限制，引发清晰度困扰
在前期的市场调研中，我们针对即构用户进行了深入访谈沟通，了解到了目前业务上的一些瓶颈。现在，就跟随小编来一起看一下这些用户究竟遇到了怎样的问题？
国内用户场景：
场景一：小张用手机看PC端主播的直播，发现画质不好。因为手机是竖屏分辨率，需要从横屏分辨率的画面裁剪下来才能将画面填满手机屏幕，但是裁剪导致分辨率下降，画质降低。
场景二：小学生小张使用智能手表与妈妈手机视频通话的时候，发现手表容易发热，流量也用得快。因为受限于芯片性能，发送高分辨率的视频时比较消耗性能。
海外用户场景：
场景一：小张在印度生活，平常看直播只能看标清视频，因为当地网络不好，再提高分辨就会容易卡顿，体验很差，因此只能接受标清的画质。
场景二：小张在美国留学，有天和在印度的朋友视频通话时发现画质有点差，因为印度网络质量不好，只能推送标清视频。
由此可以看出，用户在一些特殊场景下，画质清晰度十分不理想。那么，以上用户的问题我们可不可解？
即构推出自研超分，清晰度 up！
目前，即构科技推出了基于深度学习的自研超分、自研去编码效应，通过 AI 算法来放大原有图像的分辨率以达到提升画质的效果。 通过使用超分，可以在本地将实时视频的分辨率放大两倍（x2），比如将 360P 超分成 720P 画质更清晰、纹理细节更细腻、文字更清楚，并且在播放端本地超分，不会增量带宽、流量，解放网络压力，同时在播放端本地超分，也不依赖推流端，解放主播/推流用户性能。使用超分后的优势总结如下：
1、提升画质 —— 由于分辨率的提升，像素点更多，画质整体会比原画面更加清晰；
2、去编码脏块 —— 去除由于码率不足引起的编码脏块，画面更加平滑整洁；
3、不会增加流量以及带宽成本 —— 超分功能是端上的能力，只依赖设备性能；
4、不会增加推流端的性能消耗 —— 超分在拉流端（播放端）运行。
我们一起来看一下使用即构超分后带来的效果变化：
（详细效果可点击查看：mp.weixin.qq.com/s/PRhXGpRUI…）
那么我们上述提到的三个客户场景在使用 ZEGO SDK 超分后，又是怎样的效果变化？
国内用户场景一：使用即构技术后：画质达到超清（720P/960P），无视恶劣的网络条件；
国内用户场景二：使用即构技术后：画质达到超清，不用担心跨端导致画质降低的问题了；
海外用户场景一：使用即构技术后：画质达到超清，不再受限于网络条件；
海外用户场景二：使用即构技术后：画质达到超清，沟通和以前一样流畅；
由此可见，当使用超分黑科技加成后，画质飞跃。
那么何种场景适合使用超分？可以简单理解为用于想提升画质，却又受到某些限制的环境。 具体分为以下几类：
1、网络环境受到限制。对于网络环境压力大的地区，选择超分提升画质档次，避开网络的限制；
2、硬件条件受到限制。摄像头无法提供高分辨率、推流端的性能不够编更高分辨率的视频；
3、购买成本受到限制。期望提升画质，但是对应的分辨率/带宽/流量档位价格太高。
一览即构超分优势
1、在资源受限的移动端，基于深度学习的自研超分、自研去编码效应，对比业界 SOTA 及友商，模型大小相当时，即构自研 SR 主客观数据更好，覆盖机型更广；
2、在性能不变的情况下可以累加编码去脏去块效应和累加智能锐化，也就是说，一个模型，可以完成超分+去编码效应+智能锐化，性能不变
3、极小超低轻量级模型，仅0.69G FLOPs，我们在Set5中的PSNR/SSIM可以达到
36.898/0.9554，在此运算量下，几无对手
4、机型覆盖更广，支持 2500+ 种机型，国内 Android 设备覆盖率为 50%，iOS 设备覆盖率为90%；
目前即构科技已可以在1v1视频通话，秀场直播、电商直播等单主播场景，低分辨率场景，智能硬件，跨端通信等场景接入超分。
未来展望
高分辨率的视频能提供更清晰的画面和更高阶的感官体验，对于提升视频质量和用户视觉感受有很大的帮助。即构自研超分，帮助客户获得畅爽的视频体验，致力于打造更高水平的图像恢复和图像增强。
未来，即构超分将继续进行算法性能优化，在效果不下降的情况下，覆盖更多机型，包括网络模型的性能优化、前馈推理库的性能优化，支持PC端，并且会结合去编码块效应（更低性能消耗），进一步提升视频效果！
即构发布 | 移动端实时超分辨率技术，迭代视觉新体验相关推荐
- Twitter在超分辨率技术上取得新进展，能还原打码图片
雷锋网AI科技评论按:ICLR 2017 于4月24-26日在法国土伦举行,雷锋网AI科技评论的编辑们也将从法国带来一线报道.近期,雷锋网也围绕会议议程及论文介绍展开一系列的覆盖和专题报道,敬请期待. ...
- 技术解析 | ZEGO 移动端超分辨率技术
即构超分追求:速度更快.效果更好.码率更低.机型更广. 超分辨率(Super Resolution, SR)是从给定的低分辨率(Low Resolution, LR)图像中恢复高分辨率(High Re ...
- 业界首家720p/1080p移动端实时超分，打造抖音极致画质体验
前言 2021年5月,字节跳动智能创作团队精心打磨的移动端实时视频超分技术上线,并在抖音.头条.西瓜等多个业务场景大规模落地.该超分技术在性能和功耗维度取得了巨大突破,通过极致的高性能优化和算法改良设 ...
- 超分辨率技术在实时音视频领域的研究与实践
前言 近日,计算机视觉和模式识别领域顶级会议 CVPR 在美国新奥尔良市举办,同时计算机图像恢复领域最具影响力的全球性顶级赛事 NTIRE 在会上颁奖,网易云信音视频实验室取得 NTIRE 高效率超分 ...
- 关于UnityPC端打包参数设置及发布PC端时固定分辨率
UnityPC端打包参数设置 主要设置都在PlayerSettings里面 Company Name:设置公司名称 Product Name:设置项目名称,这个获取窗体句柄的时候用的到 Default ...
- 微信团队分享：视频图像的超分辨率技术原理和应用场景
为什么80%的码农都做不了架构师?>>> 本文来自微信多媒体团队高欣玮的技术分享. 1.前言 图像和视频通常包含着大量的视觉信息,且视觉信息本身具有直观高效的描述能力,所以随着 ...
- 图像几何变换时为何要用到插值算法?_图像超分辨率技术-简介
这篇是我之前的课程报告,格式传上来乱了,有时间我会调整,我先把pdf版本放在最前面,建议直接看pdf. 一. 定义与分类 超分辨率复原技术的基本思想是釆用信号处理的方法,在改善图像质量的同时,重建成像 ...
- 一键提升多媒体内容质量：漫谈图像超分辨率技术
编者按:作为将模糊的图像变清晰的神奇技术,图像超分辨率技术在游戏.电影.相机.医疗影像等多个领域都有广泛的应用.在这篇文章中,微软亚洲研究院的研究员们为你总结了图像超分辨率问题中的主流方法.现存问题与 ...
- 漫谈图像超分辨率技术
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 作为将模糊的图像变清晰的神奇技术,图像超分辨率技术在游戏.电影.相 ...
最新文章
- 双系统如何删除Linux
- sdut2772 KMP的简单应用
- 用IIS配置反向代理
- java算法概述,Java数据结构与算法基础（一）概述与线性结构
- 34 MM配置-采购-采购订单-定义凭证类型
- 网络游戏简易分区服务器架构详解
- php nowdoc用来做什么,PHP中nowdoc和heredoc使用需要注意的一点
- cjson 对象是json数组型结构体_C语言cJSON库的使用，解析json数据格式
- mysql之解决查询表时区分大小写的问题
- plot、plot,semilogx(x,y),semilogy(x,y),loglog(x,y), bar(x):hist(x): fplot
- html页面嵌入百度地图
- OSChina 周四乱弹 ——Iphone7出了开始做牛做马了
- Django实现微信小程序九宫格切图后端（第九周学习记录）
- MATLAB2014b画极坐标散点图
- 感人小说 - 再见了,可鲁
- 重力场和稳态海洋环流探测器（GOCE）
- WM_PIANT消息与窗口重画
- com.google.zxing图片叠加,二维码生成,图片加文字
- 使用hardhat 开发以太坊智能合约-验证合约
- SRS开始支持SRT