在 GKE 上运行批处理工作负载的最佳实践

GKE 提供以下操作模式：

• 使用 Autopilot 模式，GKE 会自动管理集群配置（包括节点、扩缩、安全性和其他预配置设置），以便您可以专注于工作负载。 Autopilot 集群默认具备高可用性。
• 使用 Standard 模式，您可定义和管理集群配置，包括节点、扩缩、安全和其他高级设置。

请参阅 Autopilot 模式与 Standard 模式之间的简要比较。

GKE 支持以下 Compute Engine 虚拟机系列：

• 费用优化型，例如 E2
• 平衡型，例如 N2、N2D 或 N1
• 横向扩容优化型，例如 Tau T2D 或 Tau T2A
• 内存优化型，例如 M2 或 M1
• 计算优化型，例如 C2 或 C2D
• 加速器优化型，例如搭载 NVIDIA B200 GPU 的 A4

每个机器系列都与一个或多个 CPU 平台（例如来自 Intel 和 AMD 的 Arm 处理器和 x86 处理器）相关联。

了解目前可用于工作负载的选项。

您还可以在 GKE 中使用硬件加速器，例如图形处理器 (GPU) 和张量处理单元 (TPU)。 请考虑使用 GPU 分时策略，它允许多个容器在同一物理 GPU 上分时。此方法对于请求数量较少的爆发性同构 GPU 工作负载非常有用。多实例 GPU 可用于对 GPU 进行分区，以便在多个容器之间同时共享单个 GPU 资源。

• 了解可用的 GPU 加速器策略，例如分时 GPU 和多实例 GPU。
• 了解 TPU 加速器策略。

GKE 会根据工作负载的需求自动调整给定节点池中的节点数量。您不需要手动添加或移除节点，也不需要过度预配节点池。您只需指定节点池的大小下限和上限。

我们建议您设置采用以下配置的集群自动扩缩器：

• 使用 optimize-utilization 配置文件移除未使用的节点的速度最多可比使用平衡配置文件快三倍。如需了解详情，请参阅自动扩缩配置文件。
• 将位置政策设置为 ANY。GKE 集群自动扩缩器会优先利用未使用的预留，并在区域的任何可用可用区中创建节点。如需了解详情，请参阅位置政策。
• 启用节点自动预配功能以自动管理和自动扩缩基础架构。使用自动预配创建节点池后，集群自动扩缩器可以动态扩缩节点池。如需了解详情，请参阅节点自动预配的工作原理。

借助 Autopilot 集群，您无需担心预配节点或管理节点池，因为节点池会通过节点自动预配功能进行自动预配，并且会自动扩缩以满足工作负载的要求。

GKE 可以自动管理集群版本和升级。根据您的发布采用模型，您可以在 GKE 可用渠道中注册集群。

如需了解详情，请参阅如何为集群选择最合适的发布渠道

定义升级范围排除期后，GKE 遵循长时间运行的批处理工作负载在完成之前不会因维护而中断。

如需了解详情，请参阅要排除的维护范围。

如需了解详情，请参阅考虑 Pod 调度和中断。

如需了解详情，请参阅 Workload Identity Federation for GKE 和存储的访问 Secret。

如需了解详情，请参阅关于自定义网络隔离。

Kueue 是一个 kubernetes 原生 Job 队列系统，用于 Kubernetes 集群中的批处理、高性能计算、机器学习和类似应用。为帮助在租户之间公平共享集群资源，Kueue 会管理配额以及 Job 使用配额的方式。Kueue 会做出以下决策：

• Job 应等待的时间
• 应允许 Job 启动的时间，例如通过创建 Pod
• 应抢占 Job 的时间，例如通过删除 Pod

如需了解如何实现 Job 排队系统，请参阅在 GKE 上通过命名空间之间的配额共享实现 Job 排队系统。

如需详细了解 Kueue，请参阅 Kueue 概念。

我们建议您使用以下 Compute Engine Persistent Disk 配置：

• 使用区域级永久性磁盘以允许一个区域的所有可用区中的工作器节点访问同一底层持久性存储。
• 对于需要高性能存储的工作负载，请使用本地 SSD 存储临时数据，或使用 Extreme Persistent Disk 存储永久性数据。
• 使用 Hyperdisk Throughput Persistent Disk 独立、动态预配针对批处理工作负载优化的吞吐量和容量。

将以下网络附加存储与 Persistent Disk 结合使用，以实现最佳存储性能：

• 使用 Filestore 以允许 Pod 中的所有工作器节点访问同一存储命名空间并扩缩容量。
• 使用 Cloud Storage FUSE 以直接从容器作为本地 POSIX 装载访问 Cloud Storage。

您的批量工作负载可能还会读取和写入数据。例如，您可以使用 Pub/Sub 并将结果写入在其中更新报告和数据中心的数据仓库（例如 BigQuery）。

我们建议您使用以下存储解决方案：

• 对于代管式对象存储，请使用 Cloud Storage。
• 对于代管式网络文件存储，请使用 Filestore。
• 对于需要文件系统语义的工作负载，请使用 Cloud Storage FUSE CSI 驱动程序。此驱动程序可让 Kubernetes 应用将 Cloud Storage 存储桶作为本地文件系统进行装载

我们建议您使用以下配置：

• 为工作负载自定义节点系统配置。例如，设置 TCP 套接字接收缓冲区的最小值、默认值和最大值。使用节点系统配置。
• 使用网络配置文件启用频繁轮询。某些对网络延迟敏感的工作负载可改进。使用网络配置文件。
• 通过启用 Google 虚拟 NIC (gVNIC)（一种专为 Compute Engine 设计的虚拟网络接口，推荐用于高性能应用）来增加 GKE 节点的网络带宽。
• 指定每个核心的线程数，以停用并发多线程。

Spot 虚拟机是一种价格低于标准 Compute Engine 虚拟机但不保证可用性的 Compute Engine 虚拟机 (VM) 实例。

我们建议您使用以下解决方案：

• 同时设置自动扩缩 Spot 虚拟机节点池和 location_policy= "ANY"。使用此政策时，Spot 虚拟机被抢占的风险较低。这种组合特别适用于能够承受个别工作器节点被抢占的工作负载，例如符合要求的并行计算。
• 如果您的工作负载具有可预测的资源配额，则结合使用Google Cloud预留和承诺使用折扣可以显著节省费用。创建一个其大小设置为预留实例数的节点池，并优先让此节点池达到饱和以最大限度使用。

使用映像流式传输拉取容器映像。GKE 会从符合条件的映像中流式传输数据。这样一来，您的工作负载便可以初始化，而无需等待整个映像下载完毕，从而显著缩短初始化时间并提升成本效益。

GKE 与 Google Cloud Observability 集成。自定义您希望 GKE 发送到 Cloud Logging 和 Cloud Monitoring 的指标

默认情况下，GKE 集群会启用 Google Cloud Managed Service for Prometheus。我们建议您使用代管式收集，以消除设置和维护 Prometheus 服务器的复杂性。

如需了解更多信息，请参阅 Managed Service for Prometheus。

使用适用于 GKE 的 Monitoring 信息中心简要了解集群和资源利用率，并深入分析和过滤各种指标和维度。

如需了解更多信息，请参阅观察 GKE 集群。