近 5 年以来，图片、视频、语音等非结构化数据的数量，出现了爆发式增长。随着深度学习技术的不断升级，深度表征学习、迁移学习、对比学习等技术日益成熟，非结构化数据的搜索也逐渐形成可能。

在此背景下，专注于神经搜索技术的商业开源软件公司 Jina AI，提出了神经搜索 (Neural Search)：借助深度学习技术，实现多模态及跨模态的搜索。

现在，Jina 框架已经上线专注 AI 领域的 GPU 云服务商矩池云 Matpool，学习者和研究者只需在租用机器时选择 Jina 镜像，即可体验高效的、大规模非结构化数据搜索。同时矩池云团队版用户还可实现基于镜像、资料、算力、存储等共享，完成高效协作。

神经搜索=深度学习模型+向量搜索

神经搜索 (Neural Search) 是指用深度学习技术，对非结构化数据进行搜索。

与传统搜索不同的点在于，传统搜索主要基于文本标签，而神经搜索则可以处理文本、图像、视频、音频甚至 3D Mesh 之间的多模态和跨模态搜索问题。

**神经搜索系统的应用，包括以图搜图、以文字搜图、问答机器人、照片去重、海量标签分类等**

借助深度学习模型，神经搜索将非结构化数据表示为向量。向量空间中，相似数据会聚合在一起，不同数据则会分散在空间的不同位置。根据用户查询的数据，在向量空间中寻找最近邻，就可以实现非结构化数据的搜索。

虽然多模态和跨模态搜索是神经搜索的重要应用场景，但是搭建神经搜索解决方案却非常复杂，往往涉及到工程化、AI 建模和以及 DevOps。简化这种复杂性，正是 Jina AI 在做的事情。

Jina AI 神经搜索生态：端到端的开源技术栈

Jina AI 提供了一个涵盖整个开发过程的端到端开源技术栈，即神经搜索生态。

DocArray: The data structure for unstructured data

在神经搜索生态中的第一个产品是 DocArray，这也是创建神经搜索项目的第一步。

DocArray 将非结构化数据，统一成同一种数据结构。利用 Python API，研发人员可以高效地处理、向量化、搜索、推荐、存储及传输数据。

它适用于大型项目的构建，并且针对数据科学家和 AI 工程师进行了大量优化。

Jina: Cloud-native neural search framework for any kind of data

Jina 是生态中最早的产品，诞生于 2020 年。Jina 是一个云原生神经搜索框架，简单来讲，它可以把本地 DocArray 程序升级为一个高度可扩展的云服务。

开发者如果自己设计神经搜索系统，往往需要自行维护一套工具链，包括构建模型预测服务、维护向量索引等，Jina 通过将整个流程封装成一个完整系统，提供统一的接口，极大降低了神经搜索系统的开发成本。

Finetuner: Fintune any DNN for better embedding on neural search tasks

优秀的神经搜索解决方案，往往需要一个绝佳的向量模型，公开的预训练模型一般就能解决这个问题，Finetuner 可以借助特定领域的数据，进一步微调模型，以获得更高的准确率，更好地应用于搜索任务。

为此，Finetuner 可以被视作神经搜索的最后一步。

CLIP-as-service: Embed images and sentences into fixed-length vectors with CLIP

CLIP-as-service 利用 CLIP 模型，可以将图像和句子嵌入固定长度的向量中，开发者可以在构建新的搜索解决方案时，将其作为向量化服务，或者在用 Jina 在生产中构建服务时，简单地将其作为最佳实践。

Hub: Share and discover building blocks for neural search applications

实际应用中，一个搜索解决方案通常包括许多组件，其中一些组件可以在不同任务中重复使用，利用通用组件，可以极大简化开发过程。为此 Hub 应运而生。

通过 Hub，开发者可以分享和发现来自官方和社区的组件，只需几分钟就可以从零开始，快速搭建全新的搜索解决方案。

JCloud: Simplify deploying and managing Jina project on Jina Cloud

将 Jina 项目部署到云端，你可以使用 JCloud。它是一个命令行界面，用于管理 Jina Cloud 上 Jina 项目的生命周期。

Jina Cloud 是一个云主机平台，它承载着 Jina 项目，并提供免费的计算和存储资源。

NOW: One line to host them all. Bootstrap your image search case in minutes

Jina NOW 通过一行代码解决文本到图像的搜索问题。对于首次使用 Jina 的用户，它提供了更精简的用户体验。

使用 Jina 全家桶的方法众多，通常研发人员会从 DocArray 开始设计原型，然后用 Jina 把它变成服务，再通过参考 Hub 上的组件加速开发进度，最后通过 JCloud 进行部署。

部署后，如果对准确率 (Accuracy)、精确率 (Precision) 和召回率 (Recall) 不满意，这时候就可以使用 Finetuner 进行调优。

如果此刻任务处理的是文本和图像，我们也可以直接用 CLIP-as-service 作为向量服务。

代码实例：搭建图片搜索引擎

矩池云现已支持 Jina 镜像，开发者进入 matpool.com，通过「主机市场-租用-输入Jina」即可直接运行。

在这个实例中，我们使用 mini ImageNet 数据进行展示。

矩池云的公共数据集已经为大家提供了相应的数据，我们将数据复制到当前文件夹下

!cp /public/data/image/mini-imagenet/train.tar .!tar -xf train.tar

使用 DocArray 库提供的 Document 对图片进行封装。多个 Document 构成一个 DocumentArray。

from docarray import Document, DocumentArray

DocumentArray 提供的 from_files 函数可以帮助我们快速加载文件夹下的所有图片。图片文件的位置信息保存在 uri 属性中。 plot_image_sprites 函数可以预览图片。

data_path = 'train/*/*.jpg'docs = DocumentArray.from_files(data_path)print(f"{len(docs)} Documents in DocumentArray")docs[:16].plot_image_sprites() # Preview the images

38400 Documents in DocumentArray

定义 preproc 函数对图片进行预处理，使用 apply 函数对 DocumentArray 中的每个 Document 运行 preproc 函数。

def preproc(d: Document):return (d.load_uri_to_image_tensor()  # load.set_image_tensor_shape((80, 60))  # ensure all images right size (dataset image size _should_ be (80, 60)).set_image_tensor_normalization()  # normalize color .set_image_tensor_channel_axis(-1, 0))  # switch color axis for the PyTorch model laterdocs.apply(preproc)

通过 Document 的 uri 信息，我们加载图片内容并以 ndarray 的格式保存在 tensor 属性中。

╭─────────────────────── Documents Summary ───────────────────────╮│                                                                 ││   Length                 38400                                  ││   Homogenous Documents   True                                   ││   Common Attributes      ('id', 'tensor', 'mime_type', 'uri')   ││                                                                 │╰─────────────────────────────────────────────────────────────────╯╭────────────────────── Attributes Summary ───────────────────────╮│                                                                 ││   Attribute   Data type      #Unique values   Has empty value   ││  ─────────────────────────────────────────────────────────────  ││   id          ('str',)       38400            False             ││   mime_type   ('str',)       1                False             ││   tensor      ('ndarray',)   38400            False             ││   uri         ('str',)       38400            False             ││                                                                 │╰─────────────────────────────────────────────────────────────────╯

加载 ResNet50 模型，调用 embed 函数计算 DocumentArray 中的每个 Document 的向量表示。

这里我们使用矩池云的预训练模型仓库中的 ResNet50 模型。

# Load ResNet50 from pytorch
import torch
if torch.cuda.is_available():device = "cuda"
else:device = "cpu"from torchvision.models.resnet import resnet50model_path = '/public/pytorch_models/resnet/resnet50-19c8e357.pth'model = resnet50()
state_dict = torch.load(model_path)
model.load_state_dict(state_dict)# Embed images
docs.embed(model, device=device)

每张图片的向量表示以 Tensor 格式保存在 embedding 属性中。

╭───────────────────────────── Documents Summary ──────────────────────────────╮│                                                                              ││   Length                 38400                                               ││   Homogenous Documents   True                                                ││   Common Attributes      ('id', 'tensor', 'mime_type', 'uri', 'embedding')   ││                                                                              │╰──────────────────────────────────────────────────────────────────────────────╯╭────────────────────── Attributes Summary ───────────────────────╮│                                                                 ││   Attribute   Data type      #Unique values   Has empty value   ││  ─────────────────────────────────────────────────────────────  ││   embedding   ('Tensor',)    38400            False             ││   id          ('str',)       38400            False             ││   mime_type   ('str',)       1                False             ││   tensor      ('ndarray',)   38400            False             ││   uri         ('str',)       38400            False             ││                                                                 │╰─────────────────────────────────────────────────────────────────╯

构建查询用的 DocumentArray，调用 match 函数在先前步骤中创建的 DocumentArray 中搜索最相似的图片。搜索结果保存在 matches 变量中，使用 plot_matches_sprites 函数进行可视化。

# Match nearest neighbours
query_docs = (DocumentArray.from_files(index_data_path, size=10).apply(preproc).embed(model, device=device))query_docs.match(docs,limit=10)# Visualize the matches
query_docs[6].plot_matches_sprites(channel_axis=0, inv_normalize=True)

Jina AI x 矩池云 | 神经搜索引擎，一键构建相关推荐

Jina AI x 矩池云｜神经搜索引擎，一键构建
图片.视频.语音等非结构化数据在快速增长,随着深度学习技术的不断升级,非结构化数据的搜索也逐渐形成可能.在这样的背景下,专注于神经搜索技术的商业开源软件公司--Jina AI,提出了神经搜索 (Neu ...
如何在矩池云上安装语音识别模型 Whisper
如何在矩池云上安装语音识别模型 Whisper Whisper 是 OpenAI 近期开源的一个语音识别的模型,研究人员基于 680,000 小时的标记音频数据进行训练,它同时也是一个多任务模型,可以 ...
矩池云安装PyQt5，并在VNC中测试使用
如果你需要在矩池云的VNC中安装使用pyqt5,可以看下这个教程. 关于矩池云如何连接VNC,可以查看这两篇文章: 如果租用机器的时候开启了VNC 矩池云使用VNC Viewer远程连接GPU主机,图 ...
矩池云通过rsync指令上传文件到服务器网盘
本文给大家介绍一个将本地文件传输到远程服务器的方法. 如果只是为了文件上传,大家可以先尝试矩池云页面中的网盘上传功能,如果不行,可以尝试这个方法,通过rsync指令将本地文件上传到服务器. 矩池云后面 ...
矩池云conda创建指定cuda cudnn tf版本的虚拟环境
本文将介绍如何在矩池云通过conda创建虚拟环境,并安装指定版本的cuda cudnn tf. 需求:在矩池云中安装一个虚拟环境,python3.6,tensorflow-gpu1.4,cuda8,c ...
矩池云通过本地端口转发方式登陆VNC
如果你在租用机器的时候忘记开启了VNC功能,你可以试试用下面的方法连接VNC. 如果你租用服务器时,已经开启了VNC功能,可以参考这个教程矩池云使用VNC Viewer远程连接GPU主机,图形用户界面 ...
矩池云上CUDA、nvcc、cuDNN相关操作汇总
本文汇总整理如何在矩池云上安装.使用CUDA .nvcc.cudnn的教程,后续还将不断补充,也欢迎大家在评论区提相关问题. 优质提问和反馈,将有机会获得矩池云算力豆激励- CUDA相关文章 CUDA ...
矩池云上安装CUDA头文件教程
简介 CUDA头文件(cuda header files)在进行CUDA编程的时候会经常遇到.下面我介绍了一些常用的CUDA头文件及其安装. 英伟达官方源矩池云cuda10及以上 https://d ...
矩池云上使用nvidia-smi命令教程
简介 nvidia-smi全称是NVIDIA System Management Interface ,它是一个基于NVIDIA Management Library(NVML)构建的命令行实用工具, ...

Jina AI x 矩池云 | 神经搜索引擎，一键构建

神经搜索=深度学习模型+向量搜索

Jina AI 神经搜索生态：端到端的开源技术栈

代码实例：搭建图片搜索引擎

Jina AI x 矩池云 | 神经搜索引擎，一键构建相关推荐

最新文章

热门文章