作为国内首家成功部署全量版ＤｅｅｐＳｅｅｋ－Ｒ１－６７１Ｂ的医疗机构，深圳大学附属华南医院通过创新的量化技术和动态算力分配策略，实现了千亿参数模型在医疗场景的落地应用。

面对大模型部署的算力挑战，华南医院通过采用ＩＮＴ４量化技术，将６７１Ｂ模型的显存需求从１．３４ＴＢ降至３３６ＧＢ，仅需３２张Ｈ１００显卡即可流畅运行。更巧妙的是，医院同时部署了３２Ｂ、７０Ｂ和６７１Ｂ三个版本，让用户可以根据任务复杂度灵活切换，既提升了复杂临床问题的处理能力，又优化了算力资源的使用效率。　　　　　　　　　

在技术落地的过程中，安全性和可靠性是医疗ＡＩ不可逾越的红线。华南医院人工智能团队发现，使用Ｏｌｌａｍａ工具部署时，存在未授权访问等安全风险。为此，他们通过严格的本地网络隔离和安全加固，并进行了全面的压力测试，确保系统在高并发场景下的稳定性。　　　　　　　　　　　

针对大模型普遍存在的「幻觉」问题，华南医院开创性地将ＲＡＧ技术与专病知识库相结合。以外挂临床指南、专家共识等权威资料的方式，不仅显著提升了回答的准确性，还能标注答案出处，实现了诊疗建议的可追溯性。　　　　　　

３月２７日，深圳大学附属华南医院医学人工智能研究所副所长张永波做客健康界ＡＬＬ　ｉｎ　Ａｌ　Ｈｅａｌｔｈ　创新应用大讲堂，揭秘大模型部署工程细节，分享技术选型、ＡＩ幻觉与安全风险规避经验，展望「ＡＩ医院」从构想逐步变为现实的路径。

本文精选部分内容，供广大同仁交流，欢迎在评论区留言。

大模型本地化部署对于硬件资源要求较高，比如ＣＰＵ、ＧＰＵ、内存、存储以及网络带宽等。其中显卡和ＧＰＵ的选择是重中之重。下表展示了医院部署ＤｅｅｐＳｅｅｋ　Ｒ１不同参数版本的显存需求以及推荐的显卡配置。　　

张永波介绍，华南医院在部署的过程中是选择量化的方式，也就是将模型中的权重和激活从高精度（如　ＦＰ３２或ＦＰ１６）转换为低精度（如ＩＮＴ８或ＩＮＴ４）的过程，从而降低内存占用和计算需求，同时缩小模型体积，加速推理。　　　　　　

医院最终选择了以ＩＮＴ４量化显存来部署。如此，仅需一个３３６ＧＢ的显存，３２×Ｈ１００的显卡配置是能够完全满足６７１Ｂ的本地化部署需求。　　　　　

「尽管医院投入了大量硬件资源，但由于６７１Ｂ模型的参数量庞大，算力需求极高，仍无法满足全院所有人员的并发使用需求。」张永波坦言，所以医院部署了三种参数，希望让用户能够有序地、基于任务的复杂程度去选择不同的模型版本。

比如简单对话，３２Ｂ模型版本就能够很好实现，如果涉及到比如数学问题、代码逻辑推理或者复杂的临床诊疗问题时，就需要切换到６７１Ｂ全量参数的模型，让其去做推理。　　　　　　　　

（院内人员可基于自己的任务需求，切换不同参数版本模型。）

部署大模型

需防Ｏｌｌａｍａ「裸奔」风险

确定了方略之后，如何进行部署？华南医院是基于Ｏｌｌａｍａ工具，进行ＤｅｅｐＳｅｅｋ的本地化部署。

Ｏｌｌａｍａ是一个用于本地运行和管理大语言模型（ＬＬＭ）的命令行工具，它不仅集成了很多包括ＤｅｅｐＳｅｅｋＲ１在内的开源大模型，提供适用于ｍａｃＯＳ、Ｗｉｎｄｏｗｓ　及　Ｌｉｎｕｘ等多种平台的安装包，内置了ＧＰＵ相关驱动，能够让用户在本地环境中轻松部署、运行和监控ＡＩ模型。　　　　　　　　　　　

「但是Ｏｌｌａｍａ有一个问题，就是满足了速率，牺牲了性能。」张永波坦言，当初华南医院人工智能团队为了能够快速实现部署而使用了Ｏｌｌａｍａ工具，但是后面在开发过程中发现，基于Ｏｌｌａｍａ部署的ＤｅｅｐＳｅｅｋ在高并发量情况下是存在缺陷的，比如说同时５０个用户去访问ＤｅｅｐＳｅｅｋ模型，可能会出现系统崩溃问题。　　

另一个非常重要的就是安全问题。３月３日，国家网络安全通报中心发布《关于大模型工具Ｏｌｌａｍａ存在安全风险的情况通报》，提醒用户如使用Ｏｌｌａｍａ私有化部署且未修改默认配置，就会存在数据泄露、算力盗取、服务中断等安全风险。　　

「由于华南医院采用本地部署方案，且未开放Ｏｌｌａｍａ的访问端口，因此有效规避了潜在的安全风险。」他表示。

在完成本地模型部署后，需要评估当前软硬件环境下的模型效能，定位系统瓶颈，也为后期负载均衡提供数据支持。张永波介绍，具体可以通过延迟、吞吐量、资源利用率、阶梯加压、极限测试等几个方面进行性能基准测试和压力测试。

注：文章来源于网络，如有侵权，请联系删除