如何跟聊天机器人一起绘画？

2024-07-04 11:42:32

出品人：Towhee 技术团队顾梦佳

从AI作画背后的 Diffusion 到智能聊天里的 ChatGPT，生成模型的热潮一浪接着一浪，似乎也预示着超大预训练模型就是人工智能的未来。在万众瞩目的 GPT 4.0 “官宣”之前，微软率先发布融合了大语言模型和大视觉模型的 Visual ChatGPT。智能对话不再局限于文本类的交流，机器人不仅可以“看图说话”，还能沟通作画。不同模态的大模型各有千秋却无一全能，因此它们的结合势在必行。Visual ChatGPT 无疑是一个好的开端，正式开启了以 ChatGPT 为基础的拓展研究。

Architecture of Visual ChatGPT

Visual ChatGPT 没有选择从头训练一个多模态的模型，而是直接让 ChatGPT “汲取”各种大视觉模型的知识。它设计了一系列“提示”（Prompts）将来自 22 个大视觉模型的信息注入 ChatGPT。这些提示会明确告诉 ChatGPT 每个大视觉模型的能力，并指定输入和输出的格式。它们还会将不同的视觉信息转换成语言的形式，以帮助 ChatGPT 更好地理解图像。另外，提示也会帮助处理不同大视觉模型的历史、优先级、冲突。Visual ChatGPT 选择利用这些提示不断迭代来自大视觉模型的反馈，直到满足用户的要求或达到结束条件。经过在许多案例上进行大量的零样本迁移实验，Visual ChatGPT 成功证明了其理解和生成的能力。

相关资料：

项目地址：https://github.com/microsoft/visual-chatgpt
论文链接：Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
更多资料：https://github.com/microsoft/visual-chatgpt

如何跟聊天机器人一起绘画？相关推荐

聊天机器人简介与体验网址
聊天机器人简介与体验网址本文介绍ChatGPT聊天机器人和Openmao聊天机器人,都能根据聊天的上下文进行互动交流,能按用户要求回答问题.翻译等等.读者朋友,若有兴趣了解,可以试试. ChatGP ...
我开发了一个温柔的智能客服聊天机器人ChatBot，并回答为什么不是ChatGPT（附思路和代码）
前言若问2023年科技领域什么最火,那当然是ChatGPT了,这么智能的对话机器人,给人带来无限的想象,围绕着ChatpGPT的各种热点和创意层出不穷.作为一个多年从事编程开发的程序员,我对于这么大 ...
基于PaddleHub的QQ聊天机器人
基于PaddleHub的QQ聊天机器人一. 项目背景本项目是参加[AI达人特训营]的作品. 当你在和朋友在QQ群里划水摸鱼时,你是否会感到有一丝枯燥,没事别担心.为了增加群友们的划水乐趣,提高群友 ...
机器学习做自动聊天机器人_您不应该使用聊天机器人的3个原因
机器学习做自动聊天机器人现在,基于云的聊天机器人几乎是旧技术. 他们已经有四年了. 和接待肯定是混合的 . 上周,几家合作机构的研究人员公布了正式的书面内容,称为``第二次对话智能挑战赛'',这是聊 ...
Pytorch项目实战聊天机器人（02.项目的准备阶段）
Pytorch项目实战聊天机器人(02.项目的准备阶段) 02.项目的准备阶段二.2-2 NLP涉及知识三.2-3 NLTK库四 ,2-4 语料和词性标注五 ,2-5 分词六 , 2-6 T ...
AIGC：ChatGPT(一个里程碑式的对话聊天机器人)的简介(意义/功能/核心技术等)、使用方法(七类任务)、案例应用(提问基础性/事实性/逻辑性/创造性/开放性的问题以及编程相关)之详细攻略
AIGC:ChatGPT(一个里程碑式的对话聊天机器人)的简介(意义/功能/核心技术等).使用方法(七类任务).案例应用(提问基础性/事实性/逻辑性/创造性/开放性的问题以及编程相关)之详细攻略导读 ...
一周 AIGC 丨国内掀起大模型军备竞赛，第一季度推出超 150 个 AI 聊天机器人
国内互联网圈好久没有这么热闹了,要感谢漂洋过海的 ChatGPT.它让互联网大厂意识到,除了和小区门口卖菜的大妈争夺流量,原来还有更有意义的事情可做,于是一股脑扎进来掀起大模型军备竞赛.它还让隐退的互 ...
html 简单机器人对话页面,简单的js聊天机器人框架BotUI
Botui是一款简单的js聊天机器人框架.Botui基于Vue.js,通过简单配置,就可以制作出一个功能简单的聊天机器人,非常神奇. 使用方法在页面中引入botui.min.css和botui-th ...
聊天机器人革命即将到来开发者入局需谨慎
10月12日消息,据VentureBeat报道,毫无疑问,聊天机器人是"现在的大事(Now Big Thing)",谁都想从中分一杯羹.可是如果你犯了错误,那可能会伤及自己的企业, ...

最新文章

热门文章