GPUStack v2.3.0 开源版正式发布自动 PD 分离编排、共享 KV Cache 池、vGPU 切分、智能压测与定时伸缩让模型服务有了更灵活的资源配置方式也让团队能够在同一套流程中完成部署、性能验证与持续优化。这些能力回应的是模型走向生产时的实际挑战Prefill 和 Decode 拆开之后如何组织实例协作服务扩容之后如何复用已有缓存面对业务高峰又该准备多少资源GPUStack v2.3 将资源、实例、缓存与流量的管理连接起来让团队把更多精力投入模型和业务优化减少多节点部署与日常维护中的重复工作。推理引擎之上还有一层系统工程vLLM、SGLang 等推理引擎持续提升模型执行效率也在发展分布式推理、PD 分离和路由等能力。这些进展是 GPUStack 提供模型服务的重要基础。企业在使用这些能力时往往同时面对多个模型、不同的推理后端和异构 GPU。单项优化之外还需要让资源分配、实例部署、请求路由和配置变更协同运行。例如采用 PD 分离需要组织 Prefill / Decode 实例及其配比让请求经过对应的处理流程并在副本变化后维持组件之间的协作。每一项都关系到服务能否持续运行。GPUStack 把这些工程工作纳入模型服务的管理流程用户配置一项服务平台组织背后的多个运行组件。v2.3 进一步打通部署、压测与运行管理让先进推理方案更容易落地也更便于持续调整。自动 PD 分离编排让两个推理阶段分别配置资源大模型处理一次请求主要包含两个阶段Prefill处理输入上下文Decode逐步生成输出 Token。两者的工作特点不同资源需求也会随输入长度、输出长度和请求数量变化。将两个阶段分开部署可以分别调整资源与副本配比适配不同的业务负载。v2.3 新增自动 PD 分离编排部署支持 Prefill / Decode 独立部署、调度和扩缩容。用户配置两类角色的资源与副本GPUStack 负责组织实例部署、请求路由及副本变化后的协作。这让团队能够分别优化输入处理与输出生成减少手工维护多实例配置的工作。部署后还可以结合实际硬件和请求特征通过压测验证并调整 P / D 配比。Prefill 与 Decode 分别配置资源和副本由平台组织为一项模型服务。共享 KV Cache减少重复上下文的计算系统提示词、知识库材料和多轮对话历史常常反复出现在不同请求中。如果每个实例都重新处理相同内容就会产生重复计算。v2.3 引入共享 KV Cache 池支持在兼容的模型与配置下跨副本、跨节点复用缓存让多个实例利用已经计算过的上下文减少重复的 Prefill 工作。GPUStack 将 LMCache、Mooncake、XSKY MeshFusion 等共享缓存方案纳入模型服务管理。团队可以围绕同一项服务配置缓存并结合缓存命中情况和首 Token 延迟评估效果。缓存复用还需要与请求分配、实例负载一起考虑。当服务从单实例扩展到多实例时已有上下文的计算结果也能成为可复用的资源。团队可以在扩容和路由调整时一并评估缓存带来的价值。围绕模型服务配置共享缓存让重复上下文具备跨实例复用的条件。vGPU 切分按工作负载分配资源小模型、开发环境和验证任务未必都需要独占一张完整的物理卡。资源分配得过粗容易让部分算力长期闲置。v2.3 新增vGPU 切分支持通过软切分和硬切分资源部署模型及 GPU 实例让不同任务按需使用资源。具体切分方式和隔离能力取决于硬件及相应方案。九种异构 GPU 的切分支持在 Kubernetes 环境中K8s 的工作负载资源也可以直接声明使用 GPUStack Operator KDP 提供的整卡、共享及切分 GPU 资源。这延续了 v2.2 的资源服务方向同一套算力管理体系既服务模型推理也服务开发与实验。从整卡到切分资源团队可以按任务需要分配算力让小规模工作负载也有合适的资源规格。实例监控则帮助团队观察实际使用情况继续调整配置。模型部署与 GPU 实例均可使用切分资源按工作负载选择合适的分配方式。智能压测与调度让服务容量匹配业务负载模型运行起来之后团队还需要知道当前配置能够承接多少请求又能提供怎样的响应体验单个吞吐数字很难回答这个问题。随着并发增加吞吐和延迟都会变化输入输出长度不同原先的测试结论也可能不再适用。v2.3 新增智能性能压测。一次测试覆盖多个并发负载点提供负载曲线和推荐运行点帮助团队探索模型性能边界再根据业务可接受的延迟判断服务容量。结合多个负载点的吞吐与延迟选择满足业务响应要求的运行点。有了容量依据接下来就可以安排流量分配与资源准备。v2.3 增强网关路由提供会话粘连、最小请求数等负载均衡策略并支持通过决策服务选模。前者管理请求在实例之间的分配后者帮助请求选择合适的模型让团队能够按服务特点配置流量策略。面对可预期的波峰波谷平台还提供潮汐调度定时伸缩按配置的时间窗口调整模型副本数量在固定高峰到来前增加实例在低峰时段减少资源占用。按时间窗口调整副本数量为可预期的业务高峰提前准备资源。例如一项长上下文知识库服务可以通过共享缓存复用重复材料通过压测找到满足响应要求的运行点再配置路由和高峰前的扩容计划。每一步都围绕同一项服务展开前一步的配置与观测结果也成为下一步调整的依据。从“能够承接多少请求”到“如何分配请求、何时准备资源”性能数据开始成为日常调度的依据。OTA 与部署管理跟上技术更新保留变更恢复路径模型和推理后端更新得很快生产服务需要有节奏地吸收这些变化。v2.3 新增模型库 / 推理后端 OTA 更新。无需升级或重启 GPUStack即可在线更新模型库、可选推理后端版本和社区后端市场让团队及时获得新的部署选项。对于具体服务团队可以通过YAML 导入导出保存和复用部署配置将验证过的配置用于后续部署与环境迁移通过部署版本历史与回滚保留配置变更记录在需要恢复时选择此前的配置版本。通过 YAML 复用配置通过版本历史追溯变更并在需要时恢复到指定配置版本。OTA 让新能力及时进入平台配置复用和版本管理则让团队能够按自己的节奏验证与采用。从引入新的部署选项到复用已验证的配置、恢复历史版本服务更新有了更清晰的操作路径。让先进推理能力成为可持续运营的模型服务一项推理优化的价值最终要体现在实际服务中资源分配是否合适部署架构能否维护容量是否经过验证业务请求能否按预期处理。GPUStack v2.3 将 PD 分离、共享缓存、资源切分和弹性调度连接到同一套服务管理流程。团队可以根据业务选择推理方案验证实际承载能力再持续调整资源与流量配置。这就是 GPUStack 所关注的系统化推理工程让先进推理能力成为可以规模化交付、持续运营的模型服务。欢迎体验 GPUStack v2.3从一项真实业务出发探索更适合自己的部署与运营方式也欢迎向社区分享实践经验。开源项目https://github.com/gpustack/gpustack产品文档https://docs.gpustack.ai镜像下载https://docs.gpustack.ai/latest/zh/image-selector/完整更新https://github.com/gpustack/gpustack/releases/tag/v2.3.0加入 GPUStack 社区GPUStack 社区聚焦AI 基础设施与大模型实践。社区中持续分享真实环境下的部署经验、问题排查案例以及推理引擎、算力管理和系统架构相关讨论。欢迎扫码加入 GPUStack 社区与更多关注 AI Infra 与大模型推理实践的伙伴一起交流、学习与分享。若群聊已满或二维码失效请访问最新群二维码。About GPUStackGPUStack 是由 GPUStack.ai 所推出的开源项目。GPUStack.ai 成立于2022年是 AI Infra 解决方案提供商目前已完成两轮融资累计融资 1.03 亿元。创始团队成员均来自业界应用广泛的 Kubernetes 管理平台 Rancher 的核心团队。其中联合创始人及 CTO 梁胜博士是前 SUSE 全球工程及创新总裁加入 SUSE 之前梁胜博士于2014年9月创立全球著名的容器管理平台公司 Rancher Labs 并担任 CEO。我们的愿景是赋能企业可以在任意环境使用人工智能以实现业务的卓越运营。GPUStack 是实现这一目标的重要一步。使用 GPUStack 迅速搭建你的专属 MaaS 平台开始在本地快速构建 GPU 集群运行和使用各种 AI 模型赋能您的 AI 应用。【开源地址】github.com/gpustack/gpustack
GPUStack v2.3.0 开源版正式发布自动 PD 分离编排、共享 KV Cache 池、vGPU 切分、智能压测与定时伸缩让模型服务有了更灵活的资源配置方式也让团队能够在同一套流程中完成部署、性能验证与持续优化。这些能力回应的是模型走向生产时的实际挑战Prefill 和 Decode 拆开之后如何组织实例协作服务扩容之后如何复用已有缓存面对业务高峰又该准备多少资源GPUStack v2.3 将资源、实例、缓存与流量的管理连接起来让团队把更多精力投入模型和业务优化减少多节点部署与日常维护中的重复工作。推理引擎之上还有一层系统工程vLLM、SGLang 等推理引擎持续提升模型执行效率也在发展分布式推理、PD 分离和路由等能力。这些进展是 GPUStack 提供模型服务的重要基础。企业在使用这些能力时往往同时面对多个模型、不同的推理后端和异构 GPU。单项优化之外还需要让资源分配、实例部署、请求路由和配置变更协同运行。例如采用 PD 分离需要组织 Prefill / Decode 实例及其配比让请求经过对应的处理流程并在副本变化后维持组件之间的协作。每一项都关系到服务能否持续运行。GPUStack 把这些工程工作纳入模型服务的管理流程用户配置一项服务平台组织背后的多个运行组件。v2.3 进一步打通部署、压测与运行管理让先进推理方案更容易落地也更便于持续调整。自动 PD 分离编排让两个推理阶段分别配置资源大模型处理一次请求主要包含两个阶段Prefill处理输入上下文Decode逐步生成输出 Token。两者的工作特点不同资源需求也会随输入长度、输出长度和请求数量变化。将两个阶段分开部署可以分别调整资源与副本配比适配不同的业务负载。v2.3 新增自动 PD 分离编排部署支持 Prefill / Decode 独立部署、调度和扩缩容。用户配置两类角色的资源与副本GPUStack 负责组织实例部署、请求路由及副本变化后的协作。这让团队能够分别优化输入处理与输出生成减少手工维护多实例配置的工作。部署后还可以结合实际硬件和请求特征通过压测验证并调整 P / D 配比。Prefill 与 Decode 分别配置资源和副本由平台组织为一项模型服务。共享 KV Cache减少重复上下文的计算系统提示词、知识库材料和多轮对话历史常常反复出现在不同请求中。如果每个实例都重新处理相同内容就会产生重复计算。v2.3 引入共享 KV Cache 池支持在兼容的模型与配置下跨副本、跨节点复用缓存让多个实例利用已经计算过的上下文减少重复的 Prefill 工作。GPUStack 将 LMCache、Mooncake、XSKY MeshFusion 等共享缓存方案纳入模型服务管理。团队可以围绕同一项服务配置缓存并结合缓存命中情况和首 Token 延迟评估效果。缓存复用还需要与请求分配、实例负载一起考虑。当服务从单实例扩展到多实例时已有上下文的计算结果也能成为可复用的资源。团队可以在扩容和路由调整时一并评估缓存带来的价值。围绕模型服务配置共享缓存让重复上下文具备跨实例复用的条件。vGPU 切分按工作负载分配资源小模型、开发环境和验证任务未必都需要独占一张完整的物理卡。资源分配得过粗容易让部分算力长期闲置。v2.3 新增vGPU 切分支持通过软切分和硬切分资源部署模型及 GPU 实例让不同任务按需使用资源。具体切分方式和隔离能力取决于硬件及相应方案。九种异构 GPU 的切分支持在 Kubernetes 环境中K8s 的工作负载资源也可以直接声明使用 GPUStack Operator KDP 提供的整卡、共享及切分 GPU 资源。这延续了 v2.2 的资源服务方向同一套算力管理体系既服务模型推理也服务开发与实验。从整卡到切分资源团队可以按任务需要分配算力让小规模工作负载也有合适的资源规格。实例监控则帮助团队观察实际使用情况继续调整配置。模型部署与 GPU 实例均可使用切分资源按工作负载选择合适的分配方式。智能压测与调度让服务容量匹配业务负载模型运行起来之后团队还需要知道当前配置能够承接多少请求又能提供怎样的响应体验单个吞吐数字很难回答这个问题。随着并发增加吞吐和延迟都会变化输入输出长度不同原先的测试结论也可能不再适用。v2.3 新增智能性能压测。一次测试覆盖多个并发负载点提供负载曲线和推荐运行点帮助团队探索模型性能边界再根据业务可接受的延迟判断服务容量。结合多个负载点的吞吐与延迟选择满足业务响应要求的运行点。有了容量依据接下来就可以安排流量分配与资源准备。v2.3 增强网关路由提供会话粘连、最小请求数等负载均衡策略并支持通过决策服务选模。前者管理请求在实例之间的分配后者帮助请求选择合适的模型让团队能够按服务特点配置流量策略。面对可预期的波峰波谷平台还提供潮汐调度定时伸缩按配置的时间窗口调整模型副本数量在固定高峰到来前增加实例在低峰时段减少资源占用。按时间窗口调整副本数量为可预期的业务高峰提前准备资源。例如一项长上下文知识库服务可以通过共享缓存复用重复材料通过压测找到满足响应要求的运行点再配置路由和高峰前的扩容计划。每一步都围绕同一项服务展开前一步的配置与观测结果也成为下一步调整的依据。从“能够承接多少请求”到“如何分配请求、何时准备资源”性能数据开始成为日常调度的依据。OTA 与部署管理跟上技术更新保留变更恢复路径模型和推理后端更新得很快生产服务需要有节奏地吸收这些变化。v2.3 新增模型库 / 推理后端 OTA 更新。无需升级或重启 GPUStack即可在线更新模型库、可选推理后端版本和社区后端市场让团队及时获得新的部署选项。对于具体服务团队可以通过YAML 导入导出保存和复用部署配置将验证过的配置用于后续部署与环境迁移通过部署版本历史与回滚保留配置变更记录在需要恢复时选择此前的配置版本。通过 YAML 复用配置通过版本历史追溯变更并在需要时恢复到指定配置版本。OTA 让新能力及时进入平台配置复用和版本管理则让团队能够按自己的节奏验证与采用。从引入新的部署选项到复用已验证的配置、恢复历史版本服务更新有了更清晰的操作路径。让先进推理能力成为可持续运营的模型服务一项推理优化的价值最终要体现在实际服务中资源分配是否合适部署架构能否维护容量是否经过验证业务请求能否按预期处理。GPUStack v2.3 将 PD 分离、共享缓存、资源切分和弹性调度连接到同一套服务管理流程。团队可以根据业务选择推理方案验证实际承载能力再持续调整资源与流量配置。这就是 GPUStack 所关注的系统化推理工程让先进推理能力成为可以规模化交付、持续运营的模型服务。欢迎体验 GPUStack v2.3从一项真实业务出发探索更适合自己的部署与运营方式也欢迎向社区分享实践经验。开源项目https://github.com/gpustack/gpustack产品文档https://docs.gpustack.ai镜像下载https://docs.gpustack.ai/latest/zh/image-selector/完整更新https://github.com/gpustack/gpustack/releases/tag/v2.3.0加入 GPUStack 社区GPUStack 社区聚焦AI 基础设施与大模型实践。社区中持续分享真实环境下的部署经验、问题排查案例以及推理引擎、算力管理和系统架构相关讨论。欢迎扫码加入 GPUStack 社区与更多关注 AI Infra 与大模型推理实践的伙伴一起交流、学习与分享。若群聊已满或二维码失效请访问最新群二维码。About GPUStackGPUStack 是由 GPUStack.ai 所推出的开源项目。GPUStack.ai 成立于2022年是 AI Infra 解决方案提供商目前已完成两轮融资累计融资 1.03 亿元。创始团队成员均来自业界应用广泛的 Kubernetes 管理平台 Rancher 的核心团队。其中联合创始人及 CTO 梁胜博士是前 SUSE 全球工程及创新总裁加入 SUSE 之前梁胜博士于2014年9月创立全球著名的容器管理平台公司 Rancher Labs 并担任 CEO。我们的愿景是赋能企业可以在任意环境使用人工智能以实现业务的卓越运营。GPUStack 是实现这一目标的重要一步。使用 GPUStack 迅速搭建你的专属 MaaS 平台开始在本地快速构建 GPU 集群运行和使用各种 AI 模型赋能您的 AI 应用。【开源地址】github.com/gpustack/gpustack
知识建站
内容驱动
阅读友好版式
SEO 精细化
线索转化