金融大模型背后：从智算到训推一体的技术实践

某省级城市商业银行作为区域领先的金融机构，积极拥抱人工智能（AI）技术，推动业务创新与服务升级。为了推进大模型项目的进一步研究与实际应用，银行亟需建设一个能够对异构算力统一调度管理的智算体系，盘活已有的异构算力资源，支撑模型训练开发、打造推理一体化平台。主要解决以下问题：

缺乏有效的资源调度策略，单卡 GPU 算力利用率低，资源浪费问题突出。

资源动态分配、多机聚合等灵活调度能力不足，难以匹配业务波动需求。

开源方案稳定性、隔离性欠佳，管理精细度不足，无法支撑大模型项目高标准需求。

打造金融 AI 模型训练推理平台

在青云科技AI 智算平台的支撑下，银行成功打造了一款为金融行业量身定制的 AI 模型训练推理平台。该平台将银行现有算力资源集成，通过构建统一调度的管理资源池化层，实现了 GPU 资源的统一调度、灵活分配、弹性伸缩等云化能力。这一创新解决方案不仅满足了不同时段、不同业务对资源的需求，更为上层全栈云平台提供了稳定、高效的 GPU 算力资源。

从资源提效到技术升级

资源利用率显著提高。青云 AI 智算平台支持虚拟 GPU 和物理 GPU 的调度与共享使用，通过平台的统一调度和灵活分配，银行能够根据不同业务需求，快速调整资源配比，同时在云原生环境下实现了 GPU 的共享能力，多应用并行使用资源，实现了资源的最大化利用。

运维复杂度大幅降低。通过青云 AI 智算平台自动化、智能化的管理方式，银行大幅降低了运维复杂度，提高了运维效率和工作质量，进一步释放了人力。

无缝对接现有应用。青云 AI 智算平台兼容当前 AI 应用代码和使用习惯，银行无需对现有应用大规模改造，即可享受平台带来的便利。

弥补技术短板。青云 AI 智算平台在资源池化能力、国产芯片支持、安全隔离性等方面具有显著优势，为银行的大模型项目提供了强有力的技术支撑。