AI作画升级！一键帮你用Stable Diffusion 生成无限缩放效果视频

在这一篇文章中，我们介绍了利用OpenVINO™优化和加速Stable Diffusion模型的推理，在英特尔®独立显卡上能够根据我们输入的指令（prompt），快速生成我们喜爱的AI画作。今天，我们对这一应用场景再次升级，除了能够作画，利用OpenVINO对Stable Diffusion v2模型的支持及优化，我们还能够在在英特尔®独立显卡上快速生成带有无限缩放效果的视频，使得AI作画的效果更具动感，其效果也更加震撼。话不多说，接下来还是让我们来划划重点，看看具体是怎么实现的吧。

本次无限缩放Stable Diffusion v2视频生成的全部代码请戳这里openvino_notebooks/236-stable-diffusion-v2-infinite-zoom.ipynb at main · openvinotoolkit/openvino_notebooks · GitHub OpenVINO Notebooks运行环境的安装请您参考我们的上一篇AI作画博客

此次我们应用的深度学习模型是Stable Diffusion v2模型，相比它的上一代v1模型，它具有一系列新特性，包括配备了一个新的鲁棒编码器OpenCLIP，由LAION创建，并得到了Stability AI的帮助，与V1版本相比，此版本显著增强了生成的照片。另外，v2模型在之前的模型基础上增加了一个更新的修复模块（inpainting）。这种文本引导的修复使切换图像中的部分比以前更容易。也正是基于这一新特性，我们可以利用stabilityai/stable-diffusion-2-inpainting模型，生成带有无限缩放效果的视频。

在图像编辑中，Inpainting是一个恢复图片缺失部分的过程。最常用于重建旧的退化图像，从照片中去除裂纹、划痕、灰尘斑点或红眼。但凭借AI和Stable Diffusion模型的力量，Inpainting可以实现更多的功能。例如，它可以用来在现有图片的任何部分渲染全新的东西，而不仅仅是恢复图像中缺失的部分。只要发挥你的想象力，你可以做出更多炫酷效果的作品来。

下面的工作流程图解释了用于Inpainting的Stable Diffusion inpainting流水线是如何工作的：

在此次的代码示例中，我们将完成以下几个步骤：

将PyTorch 模型转换为ONNX格式。

利用Model Optimizer 工具，将ONNX 模型转换为OpenVINO IR 格式。

运行Stable Diffusion v2 inpainting 流水线，生成无限缩放效果视频。

现在，让我们来重点来看看如何配置推理流水线的代码。

这里主要分以下三个步骤：

在推理的硬件设备上加载模型Load models on device

配置分词器和调度器Configure tokenizer and scheduler

创建OvStableDiffusionInpaintingPipeline 类的示例

我们在配备英特尔锐炫™独立显卡的机器上加载模型并运行推理，因此推理设备我们选择“GPU”。默认情况下，它使用“ AUTO”，并会自动切换至检测到的 GPU。代码如下：

from openvino.runtime import Core core = Core() tokenizer = CLIPTokenizer.from_pretrained('openai/clip-vit-large-patch14') text_enc_inpaint = core.compile_model(TEXT_ENCODER_OV_PATH_INPAINT, "GPU") unet_model_inpaint = core.compile_model(UNET_OV_PATH_INPAINT, " GPU ") vae_decoder_inpaint = core.compile_model(VAE_DECODER_OV_PATH_INPAINT, "GPU") vae_encoder_inpaint = core.compile_model(VAE_ENCODER_OV_PATH_INPAINT, "GPU") ov_pipe_inpaint = OVStableDiffusionInpaintingPipeline( tokenizer=tokenizer, text_encoder=text_enc_inpaint, unet=unet_model_inpaint, vae_encoder=vae_encoder_inpaint, vae_decoder=vae_decoder_inpaint, scheduler=scheduler_inpaint, )

接下来，我们输入文本提示，运行视频生成的代码吧。

import ipywidgets as widgets zoom_prompt = widgets.Textarea(value="valley in the Alps at sunset, epic vista, beautiful landscape, 4k, 8k", description='positive prompt', layout=widgets.Layout(width="auto")) zoom_negative_prompt = widgets.Textarea(value="lurry, bad art, blurred, text, watermark", description='negative prompt', layout=widgets.Layout(width="auto")) zoom_num_steps = widgets.IntSlider(min=1, max=50, value=20, description='steps:') zoom_num_frames = widgets.IntSlider(min=1, max=50, value=3, description='frames:') mask_width = widgets.IntSlider(min=32, max=256, value=128, description='edge size:') zoom_seed = widgets.IntSlider(min=0, max=10000000, description='seed: ', value=9999) zoom_in = widgets.Checkbox( value=False, description='zoom in', disabled=False ) widgets.VBox([zoom_prompt, zoom_negative_prompt, zoom_seed, zoom_num_steps, zoom_num_frames, mask_width, zoom_in])

在这一步中，我把步骤设置为 20。理想情况下，我将使用 50，以提供最好看的结果。另外，这里还可以自行设置生成的图画数量，所有生成的图画将组合起来构成最后的无限缩放效果视频。当然，我们同样还生成了 GIF 文件，以便大家多种形式可视化展示生成结果。

最终结果。

stable_diffusion_video

总结

当下，如果您想了解“Stable Diffusion”的工作原理，以及英特尔硬件的加速方式，OpenVINO Notebooks 无疑是首选。如果您有任何疑问或想要展示您的一些最佳成果，请在下方评论或通过我们的 GitHub 讨论板发表评论! 祝大家编码快乐啦。

AI作画升级！一键帮你用Stable Diffusion 生成无限缩放效果视频相关推荐

AI作画升级，OpenVINO™ 和英特尔独立显卡助你快速生成视频
在<AI作画,OpenVINO™助你在英特尔GPU上随心创作>中,我们介绍了OpenVINO Notebook运行环境搭建,并利用OpenVINO™优化和加速Stable Diffusio ...
超详细AI二维码制作教程：手把手教你如何用Stable Diffusion 生成一个创意二维码？
AI已来,未来已来! 来势汹汹的人工智能,如同创世纪的洪水,正在全世界的范围内引发一场史无前例的科技革命.AI正在改变世界!而我们正是这场巨变的见证者. 今天我们要介绍的内容就是:如何利用AI工具St ...
创建好的提示词来让 Stable Diffusion 生成 AI 艺术作品图像
如何创建好的提示词来让 Stable Diffusion 生成 AI 艺术作品图像? 文章目录 Stable Diffusion 如何使用? 优秀的提示词如何制作? 主题描述 Subject 图片类型 ...
2022年32篇最佳AI论文：DALL·E 2、Stable Diffusion、ChatGPT等入选
Mila在读博士Louis Bouchard总结的论文列表,总体比较靠谱.GitHub上还有很多论文的短视频和文字解读.代码链接等. 下面的列表我们添加了论文的主要贡献机构(有些机构虽然有贡献但排名较 ...
Stable Diffusion 生成高清图片
Stable Diffusion 生成 8K 高清图片 0. 简介 1. 安装 ultimate-upscale-for-automatic1111 插件 2. 安装 4x-UltraSharp 模型 ...
AI 作画《Concept Art概念艺术》| 用stable diffusion生成
前言 "Concept Art"是一个艺术门类,即所谓"概念艺术"."概念设计",也称为"初步设计".一般常见于影视或游 ...
AI生成二维码Stable diffusion生成可识别二维码【附完整教程】【附完整案例】
前言最近的炫酷QR比较火,所以今天给大家分享一下如何实现.首先我们知道QR二维码已经改变了信息的共享和获取方式.但是,QR码的视觉外观可能并不总是符合设计或艺术品的美学要求.为了解决这个问题,Con ...
AI绘画指南如何设置与使用 stable diffusion webui （SD webui）
分享最近对AI绘画的理解和实践经验,希望帮助那些对AI绘画有兴趣但不知如何入门的人.分享的内容主要包括对stable-diffusion-webui界面的介绍,解释参数的含义和如何进行调整.此外,还会 ...
使用 Stable Diffusion 生成的仿旧照片和二次元图片
这几天在电脑上运行 Stable Diffusion 玩了玩.这是我机器上的测试页面:https://qizhen.xyz/genimg 这个模型比 Dall.E 的小很多,所以才能在配置不高的个人电 ...

AI作画升级！一键帮你用Stable Diffusion 生成无限缩放效果视频

总结

AI作画升级！一键帮你用Stable Diffusion 生成无限缩放效果视频相关推荐

最新文章

热门文章