推广生成式AI：运用Kubernetes处置运营挑战
环节字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Spot Ocean， Scaling Generative Ai， Kubernetes Operational Challenges， Ai Inference Workloads， Gpu Resource Management， Kubernetes Auto-Scaling Strategies]
导读
跟着通用东说念主工智能立异的伸开，各组织必须吩咐在云表推广GPU责任负载的运营挑战。在AI推理（即AI何如分析新数据并得出论断）方面，Kubernetes提供了一个既有眩惑力又具挑战性的处置决策。优化AI推理责任负载需要对Kubernetes和AI模子有深化的交融。为容器修复稳健的资源请乞降收尾，尤其是对AI责任负载而言，是一项毒手的任务。不正确的修复会导致老本超支和/或资源运用恶果低下。在本次会议中，您将了解何如运用Kubernetes与亚马逊云科技和NetApp的力量来克服优化GPU基础设施的挑战。本演讲由亚马逊云科技勾联合伴NetApp为您带来。
演讲精华
以下是小编为您整理的本次演讲的精华。
在快速发展的东说念主工智能规模中，Zach Herbedion强调了对GPU资源日益增长的依赖性，并建议了这么一个问题:“如若你无法取得这些GPU资源来维持这些应用法子，会产生什么影响?这对你的业务会有什么影响?”他通过一个直不雅的可视化展示了GPU资源的环节性，隆起了它们无法取得时对业务的潜在影响。
此外，Herbedion强调了斟酌云表出口用度偏激对决策过程的影响的要紧性，例如是在腹地一经在亚马逊云科技上开动责任负载。他建议了一种情况，即东说念主工智能责任负载和GPU处理器严重依赖于数据转移，从而激励了这么一个问题:“这会何如影响咱们的云存储老本?我是否应该转移一些东西?我是否应该回到腹地?”这种情况突显了组织需要仔细评估云中数据转移和存储的老本影响。
深化探讨东说念主工智能推理，Herbedion讲解说，它发生在模子进修之后，是将新数据引入现存模子的一种格局。他例如讲解了聊天机器东说念主应用法子，用户与已进修模子进行交互，隆起了东说念主工智能推理在面向客户的应用法子中的施行用例。
Herbedion随后探讨了Kubernetes在东说念主工智能推理中的上风，强调了它通过微工作办法的可推广性以及Docker容器跨多个集群和云的可移植性。这种纯真性使组织八成无缝地跨不同环境滚动其东说念主工智能责任负载，从而完毕更大的敏捷性和适合性。
在筹商操作化推广模子时，Herbedion先容了基于CPU运用率或场所运用率等想象界说推广计谋的Horizontal Pod Autoscaler(HPA)。这一功能使组织八成把柄预界说的规定自动推广其东说念主工智能责任负载，确保高效运用资源并反映不停变化的需求。
Vertical Pod Autoscaler(VPA)优化资源请乞降收尾，通过休养过度成就的资源，可能会裁减老本。这一功能匡助组织合理调配其东说念主工智能责任负载，幸免无谓要的过度成就，优化资源运用率，从而量入为出老本。
Cluster Autoscaler把柄待处理的pod添加或删除节点来看守基础设施推广。这一功能确保组织领有处理其东说念主工智能责任负载所需的基础设施容量，动态休养底层资源以得志不停变化的需求。
Herbedion承认Kubernetes在资源看守方面存在挑战，因为它无法原生交融分数GPU分拨。他建议了这么一个问题:“我是否确实使用了一个无缺的GPU，或者施走时用率可能只消一半GPU，仅举个例子?”这一挑战突显了组织需要深化了解其GPU运用模式并八成相应优化资源分拨的必要性。
强调GPU资源的稀缺性，他提到一些公司靠近着获取更多GPU的积压，以及公有云中供需动态，在特定可用区域可能无法取得GPU实例。这种情况突显了制定一个健全的计谋来获取和看守GPU资源的要紧性，以及跨多个可用区域溜达责任负载以完毕弹性的能力。
Herbedion强调GPU实例的不菲老本，他说:“GPU实例是你不错开动的一些最不菲的实例。”他警告不要对突发性推理责任负载给与保留实例或量入为出计划的典型作念法，因为客户可能会奢侈在他们无法充分运用的欢跃上的资金。这一建议突显了组织需要仔细评估其使用模式，并遴荐稳健的订价模子来优化其东说念主工智能责任负载的老本。
在处置存储挑战方面，Herbedion提到需要有用看守巨大的进修数据集，得志在短时老实需要1TB数据的高性能计划需求，同期斟酌出口用度和高性能数据的可用性，并推广底层基础设施。这些挑战突显了领有一个健壮且可推广的存储基础设施来维持东说念主工智能责任负载的巨大数据需求的要紧性。
为了吩咐这些挑战，Herbedion先容了资源请乞降收尾等计谋，强调了它们在潜在老本精辟方面的环节作用。他建议每天或通过自动化处置决策对容器进行稳健休养，使组织八成捏续优化资源运用率并减少无谓要的过度成就。
对于GPU运用率，他建议了解施走时用率(可能只消一半GPU)，并运用为东说念主工智能和机器学习责任负载想象的自界说Kubernetes迂曲法子来有用地对节点进行bin-pack操作。这种顺次使组织八成最大限度地运用其GPU资源，优化其基础设施占用空间，从而可能量入为出老本。
Herbedion深化探讨了GPU分割技能，例如时分分享，它将单个GPU虚构化为多个虚构GPU，允许pod央求GPU的一部分。这种技能使组织八成在多个责任负载之间分享GPU资源，晋升资源运用率，并可能裁减老本。
他提到了多实例GPU(MIG)，它将一个GPU物理分割为多达7个较小的GPU，提供物理隔断和一致的性能。这种顺次适用于需要专用性能和隔断的责任负载，例如进修责任负载或高性能计划(HPC)应用法子。
多程度工作GPU(MPS)使多个程度八成并发分享单个GPU，从而晋升全体GPU运用率，在归拢硬件上开动多个任务。这种技能十分适用于不需要专用性能或物理隔断的应用法子，使组织八成最大限度地运用其GPU资源。
但是，Herbedion承认存在一些复杂性，包括监控及时GPU运用率以笃定分数央求、看守集群自动推广时分(因为集群自动推广器不了解分数组件)以及确保现存监控器具中对分数GPU央求的资源可见性。这些挑战突显了组织需要领有健壮的监控和看守器具，以有用运用GPU分割技能。
Herbedion先容了NetApp的Spot Ocean器具，这是一个无工作器计划引擎，可捏续优化Kubernetes环境，每60秒监控和推广基础设施、开动迂曲模拟，并开箱即用维持时分分享GPU分割。该器具为组织提供了一个空洞处置决策，用于看守和优化Kubernetes上的东说念主工智能责任负载，完毕高效的资源运用和老本优化。
Spot Ocean在容器级别提供老本可见性，详尽地涌现计划、存储和集聚老本。这一功能使组织八成深化了解其东说念主工智能责任负载的委果老本，从而作念出理智的决策并制定老本优化计谋。
它还提供自动休养大小功能，把柄施走时用情况在预界说的规定和规模内休养资源央求。这一功能有助于组织捏续优化资源分拨，确保不会过度成就或成就不及资源，从而可能量入为出老本并晋升性能。
Herbedion讲解了Spot Ocean何如运用Kubernetes推广资源来交融分数GPU界说，从而完毕自动推广和bin-pack。他举了一个例子:“这种实例类型对我来说等于X个副本，而这种实例类型将是Y个副本或Y个GPU。”这一功能使组织八成界说和看守分数GPU分拨，从而完毕高效的资源运用和老本优化。
在筹商老本优化选项时，Herbedion提到了按需实例、保留实例和量入为出计划，它们提供扣头行为欢跃的交换，但可能不允洽突发性应用法子。他强调了Spot Ocean使用的现货实例，通过运用亚马逊云科技的弥散容量，不错比按需老本量入为出高达90%的老本，尽管有2分钟的回收示知。这种顺次使组织八成大幅裁减东说念主工智能责任负载的计划老本，同期还提供了一种吩咐潜在中断的机制。
Spot Ocean给与机器学习算法在高可用性和具有老本效益的可用区域和市集合启动现货基础设施，斟酌中断数据、实例类型以及通盘可用区域和地区的及时订价。这种智能顺次确保组织八成运用现货实例，同期最大限度地裁减中断风险并把柄及时市集情景优化老本。
终末，Herbedion饱读舞DevOps团队运用NetApp的处置决策来优化GPU运用率、推广能力和老本恶果，重心是无缝看守分数GPU、确保稀缺GPU资源的可用性，并为吩咐东说念主工智能运营挑战提供无缝体验。这些处置决策使组织八成有用看守和优化其东说念主工智能责任负载，完毕高效的资源运用、老本优化和运营卓著。
底下是一些演讲现场的精彩片刻：
演讲者为筹商基础设施环境和东说念主工智能推理(与进修不同)的挑战奠定了基础。
强调了为东说念主工智能/机器学习责任负载休养容器大小、监控GPU运用率以及使用自界说Kubernetes迂曲法子进行高效资源分拨的要紧性。
讲解了GPU分区何如允很多个责任负载分享单个GPU，为CI/CD管说念和小批量处理等任务优化基础设施老本。
演讲者讲解了多实例GPU分区何如通过将GPU分离为单独的GPU，使多个GPU实例八成并发开动，为推理、进修和高性能计划等多样责任负载提供物理隔断和一致的性能。
了解分数资源请乞降集群自动推广时分对于在Kubernetes环境中完毕高效自动推广和老本优化至关要紧。
亚马逊云科技和NetApp提供处置决策来吩咐东说念主工智能通盘这个词生命周期中的挑战，从数据准备和数据湖到高性能计划和模子进修。
亚马逊旨在为DevOps团队提供无缝体验，以吩咐当代软件征战的复杂性。
纪念
在这个别有寰宇的陈说中，咱们探索了在Kubernetes上推广生成式AI责任负载的规模，推断了运营挑战和创新处置决策，匡助企业充分运用这种变革性技能的后劲。
跟着AI应用法子在咱们的平方责任经由中越来越普及，确保GPU资源的可用性成为一个环节优先事项。但是，这些资源的稀缺性和相干老本组成了要紧阻难。导航云表出口用度、数据看守和性能条件的复杂性进一步加重了挑战。
Kubernetes行为一个强劲的盟友出现，为AI推理责任负载提供了可推广性、资源优化和可移植性。运用Horizontal Pod Autoscalers、Vertical Pod Autoscalers和Cluster Autoscalers等器具，组织不错动态看守其基础设施和责任负载，确保高效运用资源和优化老本。
但是，这一旅程并非一帆风顺。资源看守、GPU分割和运营复杂性需要深厚的专科常识和量身定制的处置决策。这即是NetApp的Spot Ocean本领超卓的地方，它提供了一个无工作器计划引擎，捏续优化基础设施、自动推广，并完毕无缝GPU时分分享和分割。
将来愈加光明，有一个无缝GPU看守、陆续交可用性和DevOps团队通顺体验的愿景。在咱们探索这个令东说念主振奋的前沿时，行动敕令是明确的:拥抱生成式AI的力量，同期运用解锁其一说念后劲的器具和计谋，为创新与运营卓著并行的将来铺平说念路。
亚马逊云科技（Amazon Web Services）是大家云计划的首创者和引颈者。提供200多类庸碌而深化的云工作开云kaiyun官方网站，工作大家245个国度和地区的数百万客户。作念为大家生成式AI前行者，亚马逊云科技正在联袂庸碌的客户和勾联合伴，耕作可见的交易价值 – 集聚大家40余款大模子，亚马逊云科技为10万家大家企业提供AI及机器学习工作，守护3/4中国企业出海。