安装

将 Kueue 安装到 Kubernetes 集群

开始之前

确保满足以下条件:

  • 运行版本为 1.29 或更新的 Kubernetes 集群。了解如何安装 Kubernetes 工具。
  • kubectl 命令行工具已与你的集群通信。

Kueue 发布指标以监控其控制器组件。 你可以使用 Prometheus 采集这些指标。 如果你没有自己的监控系统,请使用 kube-prometheus。

Kueue 中的 Webhook 服务使用内部证书管理来配置证书。如果你想使用第三方证书,例如 cert-manager,请遵循证书管理指南。

安装正式版本

通过 kubectl 安装

要通过 kubectl 在集群中安装已发布的 Kueue 版本,请运行以下命令:

kubectl apply --server-side -f https://github.com/kubernetes-sigs/kueue/releases/download/v0.18.6/manifests.yaml

要等待 Kueue 完全可用,请运行:

kubectl wait deploy/kueue-controller-manager -nkueue-system --for=condition=available --timeout=5m

通过 Helm 安装

要通过 Helm 在集群中安装已发布的 Kueue 版本,请运行以下命令:

helm install kueue oci://registry.k8s.io/kueue/charts/kueue \
  --version=0.18.6 \
  --namespace  kueue-system \
  --create-namespace \
  --wait --timeout 300s

你还可以使用以下命令:

helm install kueue https://github.com/kubernetes-sigs/kueue/releases/download/v0.18.6/kueue-0.18.6.tgz \
  --namespace kueue-system \
  --create-namespace \
  --wait --timeout 300s

为 Prometheus-Operator 添加指标采集

要允许 prometheus-operator 从 Kueue 组件中采集指标,请运行以下命令:

kubectl apply --server-side -f https://github.com/kubernetes-sigs/kueue/releases/download/v0.18.6/prometheus.yaml

为可见性 API 添加 API 优先级和公平性配置

有关更多详细信息,请参阅配置 API 优先级和公平性。

升级策略

升级 Kueue 时,请查看以下发布说明:

  • 次版本发布: 升级过程中跨越的每个新次版本的 .0 发布说明。
  • 补丁发布: 目标次版本线中直到并包括目标版本的补丁发布说明。

注意: 你不需要查看先前次版本的补丁发布说明,因为这些变更已包含在下一个 .0 发布说明中。

例如:

从 v0.16.1 升级到 v0.18.6 时,请查看 v0.17.0、v0.18.0、v0.18.1、v0.18.2、v0.18.3、v0.18.4、v0.18.5 和 v0.18.6 的升级说明。

从 v0.16.1 升级到 v0.17.4 时,请查看 v0.17.0、v0.17.1、v0.17.2、v0.17.3 和 v0.17.4 的升级说明。

卸载

要通过 kubectl 从集群中卸载已发布的 Kueue 版本,请运行以下命令:

kubectl delete -f https://github.com/kubernetes-sigs/kueue/releases/download/v0.18.6/manifests.yaml

要通过 Helm 从集群中卸载已发布的 Kueue 版本,请运行以下命令:

helm uninstall kueue --namespace kueue-system

安装自定义配置的正式版本

要安装自定义配置的已发布版本的 Kueue,请执行以下步骤:

  1. 下载发布的 manifests.yaml 文件:
wget https://github.com/kubernetes-sigs/kueue/releases/download/v0.18.6/manifests.yaml
  1. 使用你喜欢的编辑器打开 manifests.yaml。
  2. 在 kueue-manager-config ConfigMap 清单中,编辑 controller_manager_config.yaml 数据条目。该条目代表默认的 KueueConfiguration。 ConfigMap 的内容类似于以下内容:
apiVersion: v1
kind: ConfigMap
metadata:
  name: kueue-manager-config
  namespace: kueue-system
data:
  controller_manager_config.yaml: |
    apiVersion: config.kueue.x-k8s.io/v1beta2
    kind: Configuration
    namespace: kueue-system
    health:
      healthProbeBindAddress: :8081
    metrics:
      bindAddress: :8443
      # enableClusterQueueResources: true
    webhook:
      port: 9443
    manageJobsWithoutQueueName: true
    internalCertManagement:
      enable: true
      webhookServiceName: kueue-webhook-service
      webhookSecretName: kueue-webhook-server-cert
    waitForPodsReady:
      timeout: 10m
    integrations:
      frameworks:
      - "batch/job"

integrations.externalFrameworks 字段在 Kueue v0.7.0 及更高版本中可用。

  1. 将自定义清单应用于集群:
kubectl apply --server-side -f manifests.yaml

安装最新开发版本

要安装最新开发版本的 Kueue,请运行以下命令:

kubectl apply --server-side -k "github.com/kubernetes-sigs/kueue/config/default?ref=main"

控制器在 kueue-system 命名空间中运行。

卸载

要卸载 Kueue,请运行以下命令:

kubectl delete -k "github.com/kubernetes-sigs/kueue/config/default?ref=main"

从源代码构建和安装

要从源代码构建 Kueue 并将其安装在你的集群中,请运行以下命令:

git clone https://github.com/kubernetes-sigs/kueue.git
cd kueue
IMAGE_REGISTRY=registry.example.com/my-user make image-local-push deploy

为 Prometheus-Operator 添加指标采集

要允许 prometheus-operator 从 Kueue 组件中采集指标,请运行以下命令:

make prometheus

卸载

要卸载 Kueue,请运行以下命令:

make undeploy

通过 Helm 安装

要使用 Helm 安装和配置 Kueue,请遵循说明。

更改特性门控配置

Kueue 使用类似于 Kubernetes 特性门控 中描述的机制来配置功能。

为了更改功能的默认值,你需要编辑 kueue 安装命名空间中的 kueue-controller-manager 部署, 并更改 manager 容器参数以包括

--feature-gates=...,<FeatureName>=<true|false>

例如,要启用 PartialAdmission,你应该按如下方式更改管理器部署:

kind: Deployment
...
spec:
  ...
  template:
    ...
    spec:
      containers:
      - name: manager
        args:
        - --config=/controller_manager_config.yaml
        - --zap-log-level=2
+       - --feature-gates=PartialAdmission=true

Alpha 和 Beta 级别特性的特性门控

Feature Default Stage Since Until
AdmissionFairSharing false Alpha 0.12 0.15
AdmissionFairSharing true Beta 0.15 —
AdmissionGatedBy false Alpha 0.17 —
AssignQueueLabelsForPods true Beta 0.17 —
CleanupProvisioningRequestsOnEviction true Beta 0.18 —
ConcurrentAdmission false Alpha 0.18 —
CustomMetricLabels false Alpha 0.17 —
DeferRayServiceFinalizationForRedisCleanup true Beta 0.18 —
DRAExtendedResources false Alpha 0.17 0.18
DynamicResourceAllocation false Alpha 0.14 0.18
ElasticJobsViaWorkloadSlices false Alpha 0.13 0.18
ElasticJobsViaWorkloadSlices true Beta 0.18 —
ElasticJobsViaWorkloadSlicesWithTAS false Alpha 0.17 —
FailureRecoveryPolicy false Alpha 0.15 —
FairSharingPreemptWithinNominal true Beta 0.17 —
FairSharingPrioritizeNonBorrowing true Beta 0.17 —
FairSharingReevaluatePreemptionCandidates false Alpha 0.18 —
FastQuotaReleaseInPodIntegration false Alpha 0.17 —
FinishOrphanedWorkloads true Beta 0.18 —
FlavorFungibility true Beta 0.5 —
FlavorFungibilityPreserveScanProgress true Beta 0.18 —
HierarchicalCohorts true Beta 0.11 0.17
KueueDRAIntegration true Beta 0.18 —
KueueDRAIntegrationExtendedResource false Alpha 0.18 —
KueueDRAIntegrationPartitionableDevices false Alpha 0.18 —
KueueDRARejectWorkloadsWhenDRADisabled true Beta 0.18 —
LendingLimit false Alpha 0.6 0.9
LendingLimit true Beta 0.9 0.17
LocalQueueDefaulting false Alpha 0.10 0.12
LocalQueueDefaulting true Beta 0.12 0.17
LocalQueueMetrics false Alpha 0.10 0.17
LocalQueueMetrics true Beta 0.17 —
LWSImmutableGroupSize true Beta 0.18 —
ManagedJobsNamespaceSelectorAlwaysRespected false Alpha 0.13 0.15
ManagedJobsNamespaceSelectorAlwaysRespected true Beta 0.15 —
MetricForWorkloadCreationLatency true Beta 0.18 —
MetricsForCohorts true Beta 0.18 —
MultiKueue false Alpha 0.6 0.9
MultiKueue true Beta 0.9 —
MultiKueueAdaptersForCustomJobs false Alpha 0.14 0.15
MultiKueueAdaptersForCustomJobs true Beta 0.15 —
MultiKueueAllowInsecureKubeconfigs false Alpha 0.15 0.17
MultiKueueBatchJobWithManagedBy false Alpha 0.8 0.15
MultiKueueBatchJobWithManagedBy true Beta 0.15 0.17
MultiKueueClusterProfile false Alpha 0.15 —
MultiKueueManagerQuotaAutomation false Alpha 0.18 —
MultiKueueOrchestratedPreemption false Alpha 0.17 —
MultiKueueRedoAdmissionOnEvictionInWorker true Beta 0.16 0.18
MultiKueueRemoteSpecSync true Beta 0.18 —
MultiKueueWaitForWorkloadAdmitted true Beta 0.16 0.18
ObjectRetentionPolicies false Alpha 0.12 0.13
ObjectRetentionPolicies true Beta 0.13 0.17
PartialAdmission false Alpha 0.4 0.5
PartialAdmission true Beta 0.5 —
PodIntegrationValidateGroupOwner true Beta 0.18 —
PrioritizePreemptorWorkloads false Alpha 0.18 —
PriorityBoost false Alpha 0.17 —
PrioritySortingWithinCohort true Beta 0.6 —
PropagateBatchJobLabelsToWorkload true Beta 0.15 0.17
QuotaCheckStrategy false Alpha 0.18 —
ReclaimablePods true Beta 0.15 —
RecomputeAssignmentUponPreemptionTargetsOverlap false Alpha 0.18 —
RejectUpdatesToCQWithInvalidOnFlavors false Alpha 0.18 —
RemoveFinalizersWithStrictPatch true Beta 0.17 —
ReservedResourceNameValidation false Alpha 0.18 —
SanitizePodSets true Beta 0.13 0.17
SchedulerLongRequeueInterval false Alpha 0.17 —
SchedulerTimestampPreemptionBuffer false Alpha 0.17 —
SchedulingEquivalenceHashing false Beta 0.17 0.18
SchedulingEquivalenceHashing true Beta 0.18 —
SchedulingEquivalenceHashingIgnorePodSetName false Alpha 0.18 —
ShortWorkloadNames false Alpha 0.17 —
SkipAncestorCheckForDeletedWorkloads true Beta 0.18 —
SkipFinalizersForPodsSuspendedByParent true Beta 0.16 0.18
SkipReassignmentForPodOwnedWorkloads false Alpha 0.18 —
SparkApplicationIntegration false Alpha 0.17 —
TASBalancedPlacement false Alpha 0.15 —
TASCacheNodeMatchResults true Beta 0.18 —
TASCacheTopologyTree false Alpha 0.18 —
TASCachingRemainingResources true Beta 0.18 —
TASFailedNodeReplacement false Alpha 0.12 0.14
TASFailedNodeReplacement true Beta 0.14 —
TASFailedNodeReplacementFailFast false Alpha 0.13 0.14
TASFailedNodeReplacementFailFast true Beta 0.14 —
TASHandleOverlappingFlavors true Beta 0.18 —
TASMultiLayerTopology false Alpha 0.17 —
TASProfileMixed false Alpha 0.10 0.15
TASProfileMixed true Beta 0.15 —
TASRecomputeAssignmentWithinSchedulingCycle true Beta 0.18 —
TASReplaceNodeDueToNotReadyOverFixedTime true Beta 0.17 —
TASReplaceNodeOnNodeTaints true Beta 0.17 —
TASReplaceNodeOnPodTermination false Alpha 0.13 0.14
TASReplaceNodeOnPodTermination true Beta 0.14 —
TASRespectNodeAffinityPreferred false Alpha 0.18 —
TASValidateWorkloadSliceSize true Beta 0.18 —
TLSOptions true Beta 0.16 —
TopologyAwareScheduling false Alpha 0.9 0.14
TopologyAwareScheduling true Beta 0.14 —
UnadmittedWorkloadsExplicitStatus false Alpha 0.18 —
UnadmittedWorkloadsObservability false Alpha 0.18 —
ValidateRayAndSparkJobUpdates true Beta 0.18 —
VectorizedResourceRequests true Beta 0.18 —
VisibilityOnDemand false Alpha 0.6 0.9
VisibilityOnDemand true Beta 0.9 —
WorkloadIdentifierAnnotations true Beta 0.18 —
WorkloadPriorityClassDefaulting false Alpha 0.18 —
WorkloadRequestUseMergePatch false Alpha 0.14 —
WorkloadValidateResourcesAreNonNegative true Beta 0.18 —
WorkloadValidationForPodSetMetadata true Beta 0.18 —

已毕业或已弃用特性的特性门控

Feature Default Stage Since Until
DRAExtendedResources false Deprecated 0.18 —
DynamicResourceAllocation false Deprecated 0.18 —
HierarchicalCohorts true GA 0.17 —
LendingLimit true GA 0.17 —
LocalQueueDefaulting true GA 0.17 —
MultiKueueAllowInsecureKubeconfigs false Deprecated 0.17 —
MultiKueueBatchJobWithManagedBy true GA 0.17 —
MultiKueueRedoAdmissionOnEvictionInWorker true GA 0.18 —
MultiKueueWaitForWorkloadAdmitted true GA 0.18 —
ObjectRetentionPolicies true GA 0.17 —
PropagateBatchJobLabelsToWorkload true GA 0.17 —
SanitizePodSets true GA 0.17 —
SkipFinalizersForPodsSuspendedByParent true GA 0.18 —

接下来是什么


最后修改 August 19, 2026: Fix API reference links. (#14633) (041070b61)