参加 2025 年柏林 Google I/O Connect 🇩🇪 后,真正引起我注意的话题之一是谷歌推出了新的开源 AI 模型,称为 Gemma,这是一系列轻量级模型,旨在为更广泛的开发者社区带来先进的 AI 功能。

其中,MedGemma 作为针对医学文本和图像分析优化的变体脱颖而出。因此,我决定进行一个快速的概念验证,并整理了这篇简短的文章,向您概述模型、如何使用它们,并向您展示一个您可以自己尝试的真实示例。

如果您想查看我的帖子以及所有最相关的新闻,您可以在以下 [Google I/O Connect 2025 回顾:Gemini、开放模型和 AI 在行动]( )

罗米娜·门德斯 - 中号

阅读罗米娜·门德斯 (Romina Mendez) 在 Medium 上的文章。数据架构师 + 数据工程师 🔬 大学教授 在@eanttech和...

medium.com

💎 什么是杰玛?

Gemma 是由 Google DeepMind 和其他 Google 团队开发的一系列开放语言模型。Gemma 模型基于与 Gemini 模型相同的底层技术构建,💎可免费访问其重量。虽然被归类为“开放模型”,但它们的使用条款、再分发权和所有权因版本而异,并且可能不符合标准开源许可证。

按 Enter 键或单击以查看大图

Gemma 系列包括针对不同用例量身定制的变体,例如代码生成、多模态处理(文本图像)、结构化数据推理和内容分类。MedGemma 是一种针对医疗应用进行优化的专用变体,能够解释临床文本和医学图像,例如乳房 X 光检查。其他模型,如 ShieldGemma 2,专注于检测有害内容,而 DataGemma 则通过检索技术整合真实世界的统计数据,以提高事实准确性并减少模型输出中的幻觉。

❤️ MedGemma:MedGemma 简介

其中,MedGemma 作为 Gemma 家族中医学优化的模型脱颖而出。它由 Google DeepMind 于 2025 年 5 月 20 日至 22 日在 Google I/O 期间正式发布。

MedGemma 有两种不同的配置,可针对不同的需求量身定制:

  • 🩺 MedGemma 4B(多模态):
    该版本设计用于处理临床文本和医学图像,集成了 SigLIP 图像编码器,非常适合分类、解释和合成数据生成等任务。
  • 📖 MedGemma 27B(纯文本):
    这个更大的模型(具有 270 亿个参数)专门专注于医学文本处理,针对深度临床理解推理时间推理进行了优化。

在以下部分中,我们将演示通过 Hugging Face 使用 MedGemma 的简单实现。但是,此模型也可以在 Google Cloud 上访问,具体取决于您首选的开发堆栈。

❤️ MedGemma:用例

由于其多模式功能,MedGemma 为医疗保健领域的广泛潜在应用打开了大门。

以下是我确定的几个实施场景,展示了 MedGemma 如何应用于现实世界的临床或研究环境:

按 Enter 键或单击以查看大图

  1. 医学成像中的人工智能辅助检测:通过视觉模式分析,支持早期识别乳房 X 光检查、X 射线、CT 扫描或超声波中的临床发现。

2. 附图医疗报告摘要:能够从包含图像参考的临床报告中自动生成摘要,提高医疗文档的效率。

3. 诊断解释虚拟助手:实时支持医疗保健专业人员解释医学图像的结果并将其与患者病史或报告的症状联系起来。

4. 用于医学培训的合成数据生成:从图像输入生成模拟临床文本,可用于医学教育或测试诊断工具。

5. 图文一致性验证:自动验证书面报告是否准确反映相关医学图像的视觉内容。

⚒ 先决条件

Hugging Face 访问令牌:

要通过 Hugging Face 使用 MedGemma,您需要一个链接到您的 Hugging Face 帐户的读取访问令牌

您可以在此处生成它:https://huggingface.co/settings/tokens,然后按照下图所示的分步说明正确设置它。

按 Enter 键或单击以查看大图

⚒ 教程

如果您想找到完整的代码,包括探索性数据分析和数据集文件,可以查看我的 GitHub 存储库

GitHub - r0mymendez/MedGemma:MedGemma:谷歌的医疗保健开源人工智能模型

MedGemma:谷歌的医疗保健开源人工智能模型 - r0mymendez/MedGemma

github.com

如果您觉得本教程有帮助,请随时给我加星并⭐️关注我以获取有关新文章的通知。您的支持帮助我在技术社区中成长并创造更多有价值的内容!🚀

🩻 MedGemma 的输出示例

下面可以看到运行此模型可以生成的输出类型的示例。

本教程基于 Google Health 提供的官方笔记本,您可以在这里找到它:🔗[Colab — MedGemma 快速入门与 Hugging Face]

下图取自 Kaggle 上的公共数据集:

骨折检测:计算机视觉项目:🔗[查看数据集]

🩻 使用的图像:fracture-of-the-humeral-capitellum-milch-type-1–1–1-_jpg.rf.8b022b79c884d0b37d923a3c961591c6.jpg

[ MedGemma 输入 ]

  • 📄 提示:“描述这张射线照相照片”
  • 👤 角色*:您是一名经过委员会认证的专业放射科医生。使用适当的临床术语做出回应

按 Enter 键或单击以查看大图

[ MedGemma 输出 ]

根据提供的射线照片,可以进行以下观察:

  • 解剖学:该图像描绘了左肱骨的侧视图。肱骨的骨结构,包括肱骨头、大小结节以及肱骨干,都是可见的。关节间隙也很明显。
  • 结果:肱骨干内有不透射线的病变,可能代表骨病变。需要进一步评估以确定病变的性质。
  • 印象:X 光片显示肱骨干内有病变。建议进行进一步的影像学检查,例如 MRI 或 CT,以表征病变并确定其病因。
  • 免责声明:此解释仅基于提供的 X 光片,并非明确的诊断。完整的评估需要临床病史、体格检查和可能的其他影像学检查。
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐