查看原文
其他

OH回顾 | Jina 全家桶产品最近动态

Jina AI Jina AI 2023-03-21

7 月 14 日 Jina AI 举办了首次面向中文社区用户的 Office Hours 活动,CTO 王楠带领工程师们分享了 Jina 全家桶的最新产品动态,本文为分享回顾。


没来得及参与本次 Office Hours 的小伙伴,可点击下方视频号,查看回放:

【Show Notes】

00:04    DocArray 更新

01:15    CLIP as service 

03:10    Finetuner

03:20    JCloud

04:40    Jina NOW

06:00    DocsQA

07:07    Jina Hub

07:51    Discoart“一行代码的艺术”

关注 Jina AI 公众号,后台回复【OH】,获取完整 PPT,了解 Jina 生态。


DocArray

  • 支持向量搜索 + 过滤器
  • 支持 MangoDB 的过滤语法
  • 从 API 层面去支持了不同的向量索引,如 Elasticsearch,Qdrant 等
详见:https://docarray.jina.ai/advanced/document-store/

CLIP as service

  • 用 Jina 重构了原 BERT as service 的底层代码
  • 基于 Helm Chart 便于 kubernetes 的部署,并提供 Grafana 监控
  • 提供 SaaS 服务,只需提供数据,由云端完成模型微调
  • 基于 Zero-shot learning 的图像推理,可以快速搭建一套自动分类系统

Finetuner 

  • 提供 Finetuner SaaS 服务客户端

JCloud

  • 生产环境下可用的免费托管服务
  • 支持 Grafana 监控

Jina NOW 

  • 支持 JCloud 部署
  • 提供更多任务模版,如用音乐搜索音乐


DocsQA 

  • 快速为文档构建问答机器人
  • 整理、汇总社区问题,积累社区知识
  • 目前已部署在 Jina 全家桶文档网站,与 FastAPI、Kornia 等多个开源项目。
  • 现在开放对外公测,打开链接试试看!https://jina.ai/docsQA-console/

Jina Hub

  • 优化 Sandbox 使用体验
  • 自动生成 Executor 的使用代码

DiscoArt

  • 一行代码的艺术
  • repo:https://github.com/jina-ai/discoart

Q&A 

  1. CLIP 模型的 Finetuner 方法,以及效果如何
    答:优化效果如图所示。
    方法详见:https://finetuner.jina.ai/tasks/text-to-image/



2. 怎么样去对模型进行推断加速,尤其是大模型和生成模型
    答:一方面是基于框架,Jina 生态靠 Jina 所提供的分布式框架,支持每个 executor 的服务是异步,非堵塞的,尽可能地从框架的工程角度来增加系统的推送量。
    另一方面是基于模型,目前业界采用较多的是使用更高算力。出于成本考虑,也可以做模型的转换,如把 PyTorch 的模型转到 ONNX 格式。模型转化的步骤,原是需要用户自己来完成的。对于目前热门的 CLIP 模型,Jina 已经提前转码好了,就在 CLIP as service 里,用户可以直接使用。并且,我们还采用了 TensorRT 后端用于快速推理。
    repo:https://github.com/jina-ai/clip-as-service


3.  Jina 和 Elasticsearch 如何配合使用?
    答:在底层数据方面,现在 Jina 支持有不同的存储后端,如 ES,Qdrant,Weaviate 等。可以通过 DocArray 将原生数据直接存入 ES 里,并且支持 ES 的向量搜索。也可以把数据从 ES 导出到 DocArray 里来
    在上层应用:考虑到用户的迁移成本,所以也将支持在 ES 上搭建整套 Jina 全家桶服务,敬请期待。社区用户们希望想要更便捷地使用 ES 里面哪些功能,可以在社区里提建议。在评估建议的可行性后,我们将尽可能地争取把这些功能集成到产品里去。
    加入 Jina 全球社区:slack.jina.ai


神经搜索、深度学习、推荐系统


教程、Demo、干货分享


扫码备注加入讨论组

更多精彩内容(点击图片阅读)


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存