５月２０日，智慧眼发布了全球首款支持医疗领域文本、图像、视频和音频输入的多模态大模型“砭石”。

智慧眼创始人、董事长邱建华介绍：“砭石，是古代的医疗工具，「医源于砭」这句话出自《山海经》，也是智慧眼「砭石」大模型的取名由来，承载了今天我们对大模型快速迭代、走向医疗人工智能的期待。”

在发布会现场，邱建华实测了砭石的智能问诊、辅助阅片、面诊舌诊、生理指标预测、睡眠监测五大技能，展现了砭石在中西医相结合，多模态相融合的全新交互体验。

智慧眼成立于２００９年，自成立以来，一直从事计算机视觉、自然语言处理、智能大模型、隐私计算等核心技术研究，积极推动人工智能技术和行业应用落地，致力于ＡＩ计算驱动生命健康。

三大创新，创造核心价值

相较于通用大模型，垂直领域的专业化大模型需要更多的行业沉淀、更强的专业性、更丰富的知识积累。如何将大模型技术与具体的应用场景相结合，对行业和应用场景的理解，以及行业经验、行业数据治理和结构化处理能力提出了较高的要求。

据悉，“砭石”医疗大模型采用知识图谱与大模型相结合的技术路线，克服了仅仅通过大模型技术在医疗领域的信息准确度低的核心痛点，突破了隐私计算条件下的大模型联邦训练、基于知识图谱的大模型知识增强等核心技术，同时能够实现对问诊的文本数据、医疗影像数据、用户的面部体征视频数据和用户睡眠音频数据的多模态处理，实现医疗辅助诊断、智能认知、健康管理等多样化的任务，革新医疗健康行业传统单一任务的辅助诊断模式，形成核心价值。

智慧眼介绍，在构建砭石大模型的过程，实现了以下三方面创新：

一、采用知识图谱与大模型相结合的技术路线，提升医疗诊断准确性。知识工程和大模型是当前实现认知智能的两个主要的途径，两者各有优劣，医学领域非常尊重循证，在医疗决策中将临床证据、个人经验与患者的实际状况和意愿三者相结合。智慧眼通过在训练过程中加入知识图谱对训练过程进行知识增强，结合ＲＬＨＦ技术，在５００亿参数条件下比单纯使用大模型技术，医学问题回答准确度提升近１０％。

二、隐私计算条件下的大模型联邦训练，充分释放高质量数据要素价值。高价值医疗数据都是在医院等高价值行业用户手中，如何实现这些高价值用户的敏感隐私数据的脱敏，真正做到数据的“可用不可见”、“数据不出域”安全应用是极具挑战性的问题。通过解决保护隐私的分布式知识迁移和联邦图谱推理的问题，可以实现分布式数据孤岛的知识汇聚，以及基于分布式数据的联邦大模型训练，支撑了用户数据价值的释放。

三、医疗领域多模态视觉处理技术，实现多样化任务。砭石医疗大模型是医疗领域多模态生成式预训练大模型，能够支持医疗领域多模态的输入，包括医疗领域文本、图像、视频和音频形式的输入，具体形式覆盖智能问诊，辅助阅片，面诊舌诊，生理指标预测，睡眠监测几个方面，它的输出是结构化的文本，包括健康状态的简要描述、诊断描述和治疗建议等，可以方便医疗机构更好地理解分析，提高了医疗信息处理的效率和准确性。

具体来说，在文本方面，辅助医生和药师与患者对话；在视频方面，通过捕捉人脸表面周期变化由于心脏跳动所带来的面部变化来实现对心率、呼吸率、心率变异性、血压、血氧等生理指标测量；在图片方面，统一范式能够进行高准确度的医学影像阅片和面诊舌诊；在音频方面，实现基于对睡眠音频数据的分析来检测用户的睡眠情况。

Ｍｏｄｅｌ　ａｓ　ａ　Ｓｅｒｖｉｃｅ，赋能每一个场景

关于”砭石”的定位，智慧眼称砭石大模型将是医疗健康垂直领域场景落地的重要底座。在未来应用应用方面，智慧眼研究院负责人表示，砭石将坚持模型即服务（Ｍｏｄｅｌ　ａｓ　ａ　Ｓｅｒｖｉｃｅ）的理念，以大模型为基础，在场景化应用中快速迭代，将医学人工智能“润物细无声”般衔接医疗健康的每一个场景，包含决策支持、医保控费、医药服务、健康管理、保险支付等患者服务全过程。

微信图片＿２０２３０５２４１００１４０．ｐｎｇ

赋能基层医疗，ＡＩ为基层医务人员提供病历质控、辅助诊断、合理用药、医学知识检索等技术支持，缓解医疗压力，提升基层医生的医技能力，推动优质医疗资源下沉延伸。

赋能医保监管，砭石大模型搭建风险控制模型，能够以更为常态化、高效精准的方式挖掘数据之下的欺诈骗保行为，通过对购药、门诊、健康理疗等行为进行自动化的分析、监管和预警，有效打击欺诈骗保问题，提高医保基金使用效率。

赋能慢病管理，基于砭石大模型开发的云慢病患者服务管理系统，联通诊前、诊中、诊后实现慢病管理的闭环。

赋能医药链条，将“人工智能＋互联网”技术赋能给实体医药机构，打通医疗服务的需求方、服务方、支付方和药品提供方，提供诊疗一站式服务，并且基于循证医学，将医生的经验转化为ＡＩａａＳ（ＡＩ　即服务），贯穿预防、诊断、治疗和康复的核心环节，赋能大健康产业高质量发展。

注：文章来源于网络，如有侵权，请联系删除