Google Vids 让人人都成为视频创作达人，Katie 为智慧医疗护理赋能——谷歌 Cloud Next '24 两大亮点
4 月 9 日，谷歌在其年度开发者大会 Google Cloud Next '24 上发布了一系列重磅消息。谷歌展示了其在生成式 AI 领域的最新进展和创新。
https://cloud.withgoogle.com/next
https://www.youtube.com/watch?v=V6DJYGn2SFk&list=WL&index=3谷歌云 CEO Thomas Kurian 介绍了 Google 用于构建生成式 AI 代理的平台和产品：
AI 基础设施
AI Hypercomputer：一个集成了硬件和软件的系统，用于训练和部署 AI 模型，效率高达标准解决方案的 2 倍。 张量加速芯片：包括 Google 设计的 TPU 和 NVIDIA GPU，今年还将推出支持 NVIDIA Grace Blackwell GPU。 Google Axion 处理器：Google 首款定制的 ARM 数据中心 CPU，将提供高达 60% 的能效优势。
模型和平台
Gemini 模型：Google 最强大的多模态基础模型，拥有高级推理能力。最新的 Gemini 1.5 Pro 支持 100 万令牌的上下文窗口。 Vertex AI：一个集成的企业 AI 平台，提供模型选择、优化、部署和管理功能。 Gemini for Workspace：内置在 Gmail、Google 文档等工具中的 AI 代理。 Gemini Code Assist：支持企业级代码开发的 AI 辅助工具。
会上，谷歌还介绍了多个生成式 AI 代理的应用场景，以下两点最吸引我。
1️⃣ Vids：工作场景视频创作新利器
谷歌推出了 Workspace 家族的新成员——AI 驱动的视频创作应用 Vids。有了 Vids，用户可以在工作中轻松创建和分享视频内容。
谷歌计划在今年夏天推出 Vids 的公开测试版。一些 Workspace 客户已经在测试它。
Vids 的定位和优势
定位职场使用场景，如工作汇报、培训视频、庆祝成就等，大多数视频在3分钟以内 并非美观的电影短片，而是便于在工作中快速制作分享信息的工具 借助谷歌的优势，与其他 Workspace 应用紧密集成 谷歌试图将 Vids 打造成继文档、表格、幻灯片之后的第四生产力应用
Vids 充分利用了谷歌在生成式 AI 领域的技术积累：
AI 辅助脚本创作：用户只需输入简短的视频主题描述，Vids 就能自动生成故事梗概和脚本大纲，提供一个高质量的创作起点。
AI 生成视觉内容：根据脚本，Vids 可自动生成相应的视频配图、动画等视觉内容。用户可选择不同视觉风格，Vids 会相应地调整画面元素的生成。
AI 配音和虚拟角色：用户可选择由 Vids 生成不同风格的画外音，或自行录制配音。Vids 还能根据脚本中的角色描述自动生成相应的虚拟人物形象及其动作。
集成 Google 生态：作为 Workspace 家族成员，Vids 与 Google Drive、Photos 等服务无缝连接。用户可直接访问自己的素材库。Vids 还支持多人实时协作。
素材库和个性化创作：除了 AI 生成内容，用户还可以充分利用 Vids 提供的素材库，或添加自己独特的内容元素，赋予视频个人风格。
谷歌将 Vids 定位为继文档、表格、幻灯片之后的第四生产力应用。Vids 大幅降低了视频创作门槛，让员工可以更高效地在日常工作中运用视频这一表现力丰富的媒体形式。Vids 有望在企业内部掀起一股“人人都是视频创作者”的新浪潮。
HCA Healthcare Katie 的应用令我印象深刻。
通常情况下，医疗行业在采用 AI 技术方面相对保守，但谷歌在 Next '24 大会上展示的这一案例向我们展示了 AI 如何显著提高医院的运营效率。
2️⃣ HCA Healthcare Katie：AI 赋能智慧医疗新实践
Katie 是一个“Nurse Handoff Digital Assistant“（护士交接数字助理），它是基于Google的生成式AI技术打造的智能代理。
Katie的主要作用如下：
提供患者信息总结
在护士交班时，Katie 能够总结患者的病史、当前状况、检查结果等关键信息，以简明扼要的自然语言呈现，确保新上班的护士能快速高效地了解患者情况，确保护理工作的连续性。
Katie 是如何做到这一点的呢？
它能够分析患者的电子病历、检查报告和医嘱等非结构化数据，并利用Gemini等大型语言模型生成信息总结。这些总结避免了手工整理的繁琐流程。
提供后续护理建议
除了总结当前状况，Katie还能为新上班的护理人员提供后续的护理建议，比如术后康复锻炼方案、出院后注意事项等。
这些建议是基于Katie 对患者病史的全面分析，并结合医疗最佳实践生成的。
Katie 提供的建议通过自然语言呈现，易于理解，同时也链接到相关的医学文献资料，护士可以进一步查看细节。
这些个性化的、基于数据的建议，有助于确保患者在医院和出院后获得持续、高质量的护理。
简化出院流程
Katie 还可以协助护士为患者准备出院所需的各项手续和后续资源，像是处理出院单、安排后续门诊、联系中介护理机构等，从而简化出院的流程，提高效率。
与其他系统集成
Katie 与医院的电子病历系统、医嘱系统等紧密集成，可以自动获取所需的患者数据，而无需护士手动操作。这进一步降低了工作人员的工作负担。
其他值得关注的消息
1️⃣ Gemini 1.5 Pro：更强大的多模态基础模型
https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html
https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html谷歌宣布，其最新的多模态基础模型 Gemini 1.5 Pro 现已在 Vertex AI 平台上提供公共预览版。Gemini 1.5 Pro 拥有业界最大的上下文窗口（达 100 万个 token），支持更长、更复杂的对话和任务。
之前我介绍过Gemini 1.5 Pro 探索，它的长上下文能力比 GPT4 好用在哪？
此次，Gemini 1.5 Pro 引入了多项创新：
原生音频（语音）理解：Gemini 1.5 Pro 首创了直接理解和处理语音的能力，无需将语音转录为文本，大大提高了语音应用的效率。开发者可以通过 Gemini API 的音频理解快速入门轻松调用该功能。
新的文件 API：文件 API 简化了模型处理非结构化数据如 PDF、Word 文档的流程。开发者可参考媒体提示教程上手该功能。
https://ai.google.dev/tutorials/prompting_with_media?utm_source=gfd&utm_medium=referral&utm_campaign=blog-gemini-15-pro-preview&utm_content系统指令：系统指令允许开发者通过定义角色、格式、目标等方式引导模型的行为，针对特定场景优化模型输出。
JSON 模式：JSON 模式指示模型输出结构化的 JSON 对象，便于从文本、图像中提取结构化数据。
此外，Gemini 1.5 Pro 还对函数调用能力进行了增强，引入了输出模式选择，以提高可靠性。谷歌还发布性能优于同类产品的下一代文本 embedding 模型text-embedding-004（Vertex AI 中的 text-embedding-preview-0409）。
Gemini 1.5 Pro 现已在全球 180 多个国家和地区推出。
此外，谷歌还更新了github cookbook中的多个例子，值得一看。
https://github.com/google-gemini/cookbook2️⃣ Imagen 2.0：文本生成图像和视频新高度
在 Vertex AI 平台上，谷歌正式发布了其新一代图像生成模型 Imagen 2.0。Imagen 2.0 最引人注目的特性是支持根据文本提示生成简短实时图像（动画）。用户可以输入一段文字描述，Imagen 2.0 即可生成相应的 4 秒 GIF 动画，分辨率为 360x640，帧率 24fps。谷歌计划持续提升 Imagen 2.0 的动画生成能力。
Imagen 2.0 在静态图像生成方面也有重大改进。它新增了内画（Inpaint
ing）、外画（Outpainting）等高级图像编辑功能：
内画：移除图像中不需要的元素 外画：在图像外扩展出额外的背景
Imagen 2.0 强大的视觉生成能力将为营销、创意等领域带来革命性的应用场景。
3️⃣ CodeGemma：轻量级代码生成新成员https://developers.googleblog.com/2024/04/gemma-family-expands.html
https://developers.googleblog.com/2024/04/gemma-family-expands.html谷歌将新的轻量级代码生成模型 CodeGemma 加入 Vertex AI 平台。CodeGemma 是谷歌 Gemma 轻量级模型系列的最新成员。它在代码补全、代码生成等任务上表现优异，但推理成本和资源占用大幅低于 Gemini 等大模型。
CodeGemma 让更多开发者、尤其是个人开发者和中小企业用户能以更低成本使用先进的生成式 AI 辅助编程。它有望成为 Vertex AI 的明星产品之一。
结语
谷歌Cloud Next '24 还在进行中，大家可持续关注。可以预见，随着谷歌这些新技术和产品走向成熟，将会有越来越多的企业和开发者开始拥抱生成式 AI，用智能的方式重塑工作方式，提升生产力，创造新的价值形态。
精选历史文章，请看这里：
Copilot Pro 现在可以免费试用一个月 | 使用分享