完全指南:制品类型、保存格式与 Model 部署)
人工智能大模型MLOpsLLMOps模型推理服务云原生后端【免费下载链接】seldon-coreAn MLOps framework to package, deploy, monitor and manage thousands of production machine learning models项目地址https://gitcode.com/gh_mirrors/se/seldon-core点击查看免费下载本篇技术指南面向使用 Seldon Core 2 部署机器学习模型的工程师系统讲解推理制品Inference Artifacts从训练产物到线上推理的完整链路Seldon Core 2 支持哪些制品类型、各类模型应保存为什么格式、如何通过 Model 资源的requirements标签把制品正确调度到 MLServer 或 Triton 推理服务器上以及何时需要自定义model-settings.json或config.pbtxt。读完本文你将能把自己的 SKLearn、XGBoost、PyTorch、TensorFlow、HuggingFace 等模型制品一键部署到 Seldon Core 2并理解其背后的制品下载—能力匹配—模型加载调度原理。一、推理制品与两大推理引擎在 Seldon Core 2 中要让模型在线上运行必须提供一个可被下载并在推理服务器上执行的推理制品inference artifact。Seldon Core 2 内置的两类推理服务器分别为MLServer以 Python 生态为主支持 SKLearn、XGBoost、LightGBM、MLFlow、HuggingFace、Alibi-Detect / Alibi-Explain 以及自定义 Python 模型Triton Inference Server以高性能推理为主支持 ONNX、PyTorch、TensorFlow、TensorRT、OpenVINO、DALI、FIL 以及自定义 Triton Python 模型。从源码结构看两类服务器在集群内的定义分别对应 MLServer ServerConfig 与 Triton ServerConfig。每个 ServerConfig 都通过环境变量SELDON_SERVER_CAPABILITIES声明了该服务器具备的能力标签capabilities例如 MLServer 声明了mlserver,alibi-detect,alibi-explain,huggingface,lightgbm,mlflow,python,sklearn,spark-mlib,xgboost而 Triton 声明了triton,dali,fil,onnx,openvino,python,pytorch,tensorflow,tensorrt这两个能力列表与下文制品类型总表中的 Tag 一一对应——这正是制品得以被正确加载到兼容服务器的关键。二、支持的推理制品类型总表Seldon Core 2 按字母序支持的推理制品类型如下表所示其中 Tag 一列即制品在Model资源requirements中需要填写的标签Example 指向仓库中可复用的示例类型ServerTag示例Alibi-DetectMLServeralibi-detectexampleAlibi-ExplainMLServeralibi-explainexampleDALITritondali待补充HuggingfaceMLServerhuggingfaceexampleLightGBMMLServerlightgbmexampleMLFlowMLServermlflowexampleONNXTritononnxexampleOpenVinoTritonopenvino待补充Custom PythonMLServerpython, mlserverexampleCustom PythonTritonpython, triton需按 Triton Python Backend 规范自建PyTorchTritonpytorchexampleSKLearnMLServersklearnexampleSpark MlibMLServerspark-mlib待补充TensorflowTritontensorflowexampleTensorRTTritontensorrt待补充Triton FILTritonfil待补充XGBoostMLServerxgboostexample可以看到多数经典训练框架的制品都已被官方支持仓库 samples/models 目录下也存放了大量对应的可直接使用的 Model 资源示例例如 mnist-onnx.yaml、mnist-pytorch.yaml、tfsimple1.yaml、cifar10.yaml、hf-sentiment.yaml、wine-mlflow.yaml 与 income-lgb.yaml。三、requirements 标签制品与服务器的能力匹配机制tag字段代表你需要在Model资源的requirements部分添加的标签用于让制品被加载到兼容的服务器上。以 SKLearn 模型为例# samples/models/sklearn-iris-gs.yaml apiVersion: mlops.seldon.io/v1alpha1 kind: Model metadata: name: iris spec: storageUri: gs://seldon-models/scv2/samples/mlserver_1.6.0/iris-sklearn requirements: - sklearn memory: 100Ki3.1 底层匹配原理从源码看requirements的匹配逻辑位于调度器的 ServerRequirementsFilter调度器会遍历模型声明的每个 requirement并检查候选服务器的 replica 能力集合是否全部包含这些 requirement只有全部满足的服务器才会被选为模型的宿主。而在 CRD 层面ModelSpec 中Requirements []string字段的注释明确写道List of extra requirements for this model to be loaded on a compatible server模型加载到兼容服务器所需的额外需求列表。也就是说requirements本质上是一组能力断言调度器据此把模型制品路由到具备对应 capabilities 的服务器。值得注意的两个补充细节均可从 AsSchedulerModel 转换逻辑确认若在spec中显式填写了modelType字段它会被自动追加到requirements列表尾部若填写了server字段例如server: mlserver-134见 iris-custom-server.yaml则制品会被直接调度到指定名称的服务器而不依赖能力匹配。3.2 一个更完整的实际示例XGBoost 模型部署示例取自 model-zoo 文档apiVersion: mlops.seldon.io/v1alpha1 kind: Model metadata: name: income-xgb spec: storageUri: gs://seldon-models/scv2/samples/mlserver_1.3.5/income-xgb requirements: - xgboost提交并等待就绪kubectl apply -f ./models/income-xgb.yaml -n ${NAMESPACE} kubectl wait --for conditionready --timeout300s model income-xgb -n ${NAMESPACE}随后即可通过 Seldon 推理入口按 KServe v2 协议发起推理curl --location http://${SELDON_INFER_HOST}/v2/models/income-xgb/infer \ --header Content-Type: application/json \ --data { parameters: {content_type: pd}, inputs: [{name: Age, shape: [1, 1], datatype: INT64, data: [47]},{name: Workclass, shape: [1, 1], datatype: INT64, data: [4]},{name: Education, shape: [1, 1], datatype: INT64, data: [1]},{name: Marital Status, shape: [1, 1], datatype: INT64, data: [1]},{name: Occupation, shape: [1, 1], datatype: INT64, data: [1]},{name: Relationship, shape: [1, 1], datatype: INT64, data: [3]},{name: Race, shape: [1, 1], datatype: INT64, data: [4]},{name: Sex, shape: [1, 1], datatype: INT64, data: [1]},{name: Capital Gain, shape: [1, 1], datatype: INT64, data: [0]},{name: Capital Loss, shape: [1, 1], datatype: INT64, data: [0]},{name: Hours per week, shape: [1, 1], datatype: INT64, data: [40]},{name: Country, shape: [1, 1], datatype: INT64, data: [9]}]}四、保存模型制品按类型选择正确的保存格式对大多数机器学习制品而言只需将模型保存到一个文件夹中即可直接加载进 Seldon Core 2。下表汇总了各类型制品的保存要点当默认规则无法满足需求时可以按表格中的 Custom Model Settings 指引创建自定义模型设置文件详见后文两个章节类型保存要点自定义模型设置Alibi-Detect使用 Alibi-Detect 的保存流程保存 detector 模型参照 Alibi-Detect 官方文档Alibi-Explain使用 Alibi-Explain 的保存流程保存解释器模型参照 Alibi 官方文档DALI遵循 Triton 规范创建config.pbtxt与包含制品的模型文件夹参照 Triton DALI backend 文档Huggingface创建包含 HuggingFace 模型要求的 MLServermodel-settings.json参照 MLServer HuggingFace 示例LightGBM将模型保存为扩展名为.bst的文件参照 MLServer LightGBM 示例MLFlow直接使用训练产物中的artifacts/model文件夹参照 MLServer MLflow runtimeONNX将模型保存为名为model.onnx的文件参照 Triton onnxruntime backendOpenVino遵循 Triton 规范创建模型制品参照 Triton openvino backendCustom MLServer Python创建一个继承MLModel类的 Python 文件参照 MLServer Custom runtime 示例Custom Triton Python遵循 Triton 规范创建config.pbtxt及关联 Python 文件参照 Triton python backendPyTorch创建描述输入输出的 Tritonconfig.pbtxt并将 traced torchscript 以model.pt存入文件夹参照 Triton pytorch backendSKLearn用 joblib 保存为.joblib或用 pickle 保存为.pkl/.pickle参照 MLServer sklearn runtimeSpark Mlib遵循 MLServer 文档参照 MLServer mllib runtimeTensorflow以 Saved Model 格式保存为model.savedmodel若使用 graphdef 格式需创建 Tritonconfig.pbtxt并将模型放入编号子文件夹不支持 HDF5参照 Triton tensorflow backendTensorRT遵循 Triton 规范创建模型制品参照 Triton tensorrt backendTriton FIL遵循 Triton 规范创建模型制品参照 Triton fil backendXGBoost将模型保存为扩展名为.bst或.json的文件参照 MLServer XGBoost 示例4.1 制品保存格式在源码中的印证上述扩展名约定并非文档空谈而是直接编码在 MLServer 制品处理逻辑中。在 scheduler/pkg/agent/repository/mlserver/settings.go 里可以看到var ( sklearnExtensions []string{joblib, pkl, pickle} xgboostExtensions []string{json, bst} lightgbmExtensions []string{bst} )agent 会在模型目录中按这些扩展名查找制品文件并据此自动生成对应的model-settings.jsonSKLearn在目录中匹配*.joblib/*.pkl/*.pickle生成Implementation: mlserver_sklearn.SKLearnModelXGBoost匹配*.json/*.bst生成Implementation: mlserver_xgboost.XGBoostModelLightGBM匹配*.bst生成Implementation: mlserver_lightgbm.LightGBMModelAlibi-Detect生成Implementation: mlserver_alibi_detect.AlibiDetectRuntimeAlibi-Explain在目录中寻找保存了解释器模型的子文件夹生成Implementation: mlserver_alibi_explain.AlibiExplainRuntimeMLFlow直接以目录根作为模型 URI生成Implementation: mlserver_mlflow.MLflowRuntime自定义 Python扫描目录下所有.py文件用正则.*class (.*)\(MLModel\):找出继承MLModel的类自动生成对应Implementation与Uri。也就是说对于大多数 MLServer 系模型你只需要按上表格式保存制品agent 在下载制品后会自动补齐加载配置无需手工编写。五、Custom MLServer Model Settings手写 model-settings.json针对 MLServer 系的模型你可以创建model-settings.json文件并放在制品旁边帮助 MLServer 正确加载模型。当制品格式超出上述自动识别规则例如 HuggingFace 需要声明任务类型、自定义 Python 需要指定具体类时这个文件就是必选项。一个典型的model-settings.json结构字段含义可参考 MLServer 的 Model Settings 参考文档{ name: my-model, implementation: mlserver_sklearn.SKLearnModel, parameters: { uri: ./iris.joblib, version: v1 } }核心字段说明name模型名称会作为推理请求中的模型标识implementationMLServer runtime 的完整类路径决定了使用哪种 runtime 加载制品parameters.uri制品在模型目录中的相对路径例如./iris.joblib、./model.onnxparameters.version模型版本标识。以 HuggingFace 为例可参考 huggingface 示例文档需要在model-settings.json中声明 HuggingFace 模型所需的信息再配合 Model 资源中的requirements: [huggingface]使用仓库中的 hf-sentiment.yaml 与 hf-whisper.yaml 都是可直接参考的成品示例。六、Custom Triton Configuration手写 config.pbtxt针对 Triton 推理服务器系的模型你需要在制品旁边创建 config.pbtxt 来描述模型。Triton 的模型仓库采用每个模型一个文件夹 版本号子文件夹的布局典型结构如下models/ └── my_model/ ├── 1/ │ ├── model.pt # 或 model.onnx / model.savedmodel 等 │ └── (其他后端要求的文件) └── config.pbtxtconfig.pbtxt中需要声明name模型名称backend使用的后端类型如pytorch、onnxruntime、tensorflow、pythoninput/output每个输入输出张量的name、data_type、dimsmax_batch_size允许的最大批量大小platform旧版本字段或backend新版本字段后端标识。以 PyTorch 为例你需要创建描述输入输出的 Tritonconfig.pbtxt并将 traced torchscript 以model.pt放入编号子文件夹通常为1/。对于 ONNX将模型保存为model.onnx即可示例见 mnist-onnx.yaml对于 TensorFlow使用 Saved Model 格式保存为model.savedmodel若使用 graphdef 格式则需创建config.pbtxt并将模型放入编号子文件夹注意HDF5 格式不受支持。七、制品存储、版本与下载流程Model 资源通过spec中内联的InferenceArtifactSpec描述制品来源定义见 model_types.go字段说明storageUri模型仓库的存储 URI必填支持 GCSgs://、S3s3://、本地路径/mnt/models/...等由 rclone 负责下载artifactVersion制品版本号用于从存储桶中选择 v2 版本文件夹schemaUriSchema 的 URI可选secretName访问私有存储所需的 Secret 名称可选modelType模型类型可选若填写会被自动追加到requirements存储相关的几种典型写法均可在 samples/models 中找到GCS 公有桶sklearn-iris-gs.yamlstorageUri: gs://seldon-models/scv2/samples/mlserver_1.6.0/iris-sklearn本地路径sklearn-iris-local.yamlstorageUri: /mnt/models/irisS3 Secretsklearn-iris-minio.yamlstorageUri: s3://models/irissecretName: minio-secret。在下载环节从源码看agent 会为每个模型启动一个名为 Model Repository (rclone) 的子服务通过 rclone 把制品从storageUri拉取到本地模型目录见 agent_svc_manager.go 与 agent_svc_manager_test.go 中的 rclone 配置与 Secret 处理测试用例。若secretName被指定其内容会作为 rclone 的存储配置用于认证下载完成后agent 再依据requirements生成加载配置并交给 MLServer / Triton 加载。这也解释了为何本地模型的 sklearn-iris-local.yaml 中只需填写storageUri与requirements两个字段即可完成一次最小化部署。八、从制品到就绪一次完整的部署串联将以上各环节串联起来一次完整的推理制品部署流程为保存制品按第四节表格把训练产物保存为对应格式并上传到storageUri指向的存储位置编写 Model 资源填写storageUri、requirements必要时加memory、secretName、server等字段提交资源kubectl apply -f model.yaml或使用seldon model load -f model.yaml调度匹配调度器依据 ServerRequirementsFilter 将模型路由到 capabilities 覆盖全部 requirements 的服务器制品下载agent 通过 rclone 拉取制品并按需自动生成model-settings.jsonMLServer或利用已有的config.pbtxtTriton加载就绪推理服务器加载模型kubectl wait --for conditionready ... model name等待就绪后即可通过/v2/models/name/infer发起推理。对自定义制品自定义 MLServer Python 类或自定义 Triton Python backend核心差异仅在第一步前者需编写继承MLModel的 Python 文件后者需按 Triton 规范编写config.pbtxt与 backend 脚本。仓库 samples/models 与 docs-gb/examples 下的各示例文档如 income、pandasquery、cifar10、model-zoo提供了从训练脚本到部署推理的端到端可运行参考可直接作为落地模板使用。赞分享人工智能大模型MLOpsLLMOps模型推理服务云原生后端【免费下载链接】seldon-coreAn MLOps framework to package, deploy, monitor and manage thousands of production machine learning models项目地址https://gitcode.com/gh_mirrors/se/seldon-core点击查看免费下载相关推荐Seldon Core 2 Model Zoo 实战七类框架模型工件的部署、推理与源码级解读Seldon Core 2 Model Zoo 实战七类框架模型工件的部署、推理与源码级解读 本文以 Seldon Core 2 仓库中的 Model Zoo人工智能大模型MLOpsLLMOps模型推理服务云原生后端Seldon Core CLI 实战seldon model infer 模型推理调用与压测完全指南Seldon Core CLI 实战 seldon model infer 模型推理调用与压测完全指南 seldon model infer 是 Seldon人工智能大模型MLOpsLLMOps模型推理服务云原生后端Harness Agent定义文件教程必须写全的6大区块Harness Agent定义文件教程必须写全的6大区块 Harness 是 Claude Code 的一个元技能meta skill能根据你描述的业务AI 技能人工智能上一篇STDF-Viewer半导体测试数据可视化的终极解决方案下一篇ComfyUI ControlNet辅助预处理器完整指南如何用AI精准控制图像生成创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考