关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Migration Vers Eks， Optimisation Des Coûts， Scalabilité Des Services， Architecture Graviton， Équipe D’Excellence Cloud]

在本次会议中，探讨Coinbase如何通过使用亚马逊云科技专业服务成功扩展多项战略计划。会议涵盖了Coinbase和亚马逊云科技专业服务工作流程的演变，重点展示了这种跨组织合作如何在Coinbase的成本优化和扩展能力方面创造了显著的转变。Coinbase的扩展需求基于极不可预测的市场变动。Coinbase和亚马逊云科技专业服务团队成功实施了从具有受控扩展的Amazon EC2虚拟机的迁移，以实现大规模成本优化、亚马逊云科技 Graviton功能，以及满足Coinbase流量需求和客户高可用性期望的扩展特性。

以下是小编为您整理的本次演讲的精华。

Coinbase迁移至Amazon EKS的转型之旅:实现10倍扩展能力的艰辛历程

Coinbase迁移至Amazon EKS的转型之旅历时18个月，最终实现了10倍的扩展能力提升，这是一个复杂的过程。这条道路曲折重重，就像通往Mandalay Bay会议场地的非线性路线一样，遍布障碍和挑战，需要创新的解决方案。三大目标——降低成本、实现10倍的扩展能力以应对流量激增，以及通过从传统的EC2架构过渡到基于Kubernetes的Amazon EKS解决方案来实现计算基础设施的现代化——推动了这一卓越的努力。

这一转型计划分为三个阶段，每个阶段都有一份专门的工作说明书(SOW)，概述了与亚马逊云科技专业服务的合作。

第一阶段:从EC2 x86迁移到EC2 Graviton

在与亚马逊云科技专业服务合作之前，Coinbase已主动优化了他们的自动伸缩组，实施了预热池、步进缩放策略和10秒间隔的细粒度指标。这些措施有助于提高扩展速度和可靠性，这在加密货币市场中至关重要，他们基于Ruby的单体服务的扩展时间从15分钟缩短到3.5分钟。

随后，Coinbase开始将部分服务从传统的x86实例迁移到更具成本效益的Graviton实例，价格降低了20%。然而，这一初步迁移并非没有局限性。Coinbase遇到了一些挑战，例如预热池与单个自动伸缩组中的多种实例类型不兼容。此外，他们基于Ruby的服务在Graviton架构上的性能不佳，需要使用第7代Graviton实例(m7g)才能实现与x86的延迟相当。

这一阶段的关键经验教训凸显了客户体验、实例可用性以及编程语言与底层架构之间兼容性的至关重要性。尽管Graviton迁移只是部分完成，但Coinbase还是获得了实实在在的好处，包括节省成本、更高的持续利用率、改善的构建时间以及通过增加实例种类提高的弹性。

第二阶段:从EC2迁移到Amazon EKS

在通过Graviton迁移实现了初步的成本节约后，Coinbase树立了一个雄心勃勃的目标，即将计算成本降低50%或更多。解决方案是从传统的EC2实例迁移到托管的Amazon Elastic Kubernetes Service (EKS)。这一过渡是一项艰巨的任务，涉及在12个月内迁移3，500个服务配置，并获得了亚马逊云科技专业服务的宝贵支持。

Coinbase采用了多管齐下的方法来促进这一迁移。他们利用自动化工具，如内部的Cube Tools CLI，可以根据自动伸缩组配置轻松创建EKS配置。他们在仍为客户提供自动伸缩组服务的同时，对Kubernetes Pod进行了大量负载测试，从而实现了迭代改进。他们制定了全面的指南，采用了结构化的团队方法，包括每周项目检查、高级管理层的监督、将亚马逊云科技专业服务人员与Coinbase员工进行团队分配、自动报告以及对即将到来的一周目标进行细致规划。

这一阶段取得了令人瞩目的成果。Coinbase实现了68%的资源利用率降低、50%的扩展速度提升，以及改善的装箱和资源粒度，使他们能够将资源分配到细小到1/4核心的次要服务。此外，迁移还减轻了Coinbase基础设施团队的运营负担，因为他们利用了Amazon EKS服务的托管性质。

这一阶段产生了宝贵的经验教训，包括管理先决条件的重要性、将迁移作为教学机会、解决IP空间限制以及实施集中式扩展缓冲区。这些见解将在后续迁移阶段中发挥重要作用。值得注意的一个挑战是IP空间的限制，因为迁移到EKS导致Pod数量比EC2实例多，在负载测试期间导致IP耗尽，如一张显示IP用尽的图表所示。

第三阶段:从Graviton迁移到EKS

在分别获益于Graviton和EKS迁移之后，Coinbase意识到通过将这两个计划结合起来，可以进一步优化。这一阶段的目标是利用Graviton实例的成本节约优势，同时发挥Amazon EKS平台的可扩展性和效率。

Coinbase更新了他们的构建管道，最初专注于基于Go的服务，因为它们与Graviton架构的兼容性更好。他们采用了基于集群的冲刺方法，在途中庆祝胜利，以在团队内部建立动力和速度。此外，Coinbase还解决了之前阻碍他们进展的单一存储库构建问题，实施了并行构建，从而减少了单个拉取请求生成超过400个工件的存储库的整体构建时间，提高了客户体验。

这一阶段的一个重大挑战是集群自动缩放器的限制，它在扩展事件期间并不优先选择Graviton实例。Coinbase通过在集群中增加Graviton节点池的数量来解决这一问题，从而提高了自动缩放器选择Graviton实例的可能性，同时保留x86作为后备选项，如一张显示他们能够突破到Graviton实例的同时保留x86作为备份的图表所示。

这一最后阶段的成果令人印象深刻。Coinbase实现了额外10%的计算成本降低，利用了Graviton实例20%的成本节约优势。此外，Graviton实例展现出更高的持续利用率和更好的延迟，在扩展事件期间提供了更大的缓冲能力。Coinbase还通过能够利用多种实例类型来提高了弹性和可用性，降低了实例不可用的风险。

整体10倍计划经验教训

在这一转型之旅中，Coinbase汲取了宝贵的经验教训，这将塑造他们未来大规模迁移和云优化计划的方法。

首先，展示切实的投资回报率(ROI)的重要性是不言而喻的。Coinbase采取了一种战略性方法，最初专注于高ROI、低工作量的服务，以展示早期成功。他们精心衡量了每次迁移的财务影响，确保投资亚马逊云科技专业服务为公司带来了可观的成本节约。

其次，将迁移分为不同阶段，使Coinbase能够持续学习和改进。每个阶段的经验教训都为后续阶段提供了信息和优化，随着时间的推移，使整个过程更加流畅高效。

第三，Coinbase认识到保持一个对高风险、高流量工作负载有深入了解的核心团队的价值。这种专业知识确保了这些关键服务的顺利过渡，最大限度地降低了中断或性能下降的风险。

此外，Coinbase建立了一个明确的单线程领导结构，将亚马逊云科技专业服务人员与Coinbase员工进行配对。这种方法弥合了文化和信任差距，促进了有效的协作和知识转移。随着迁移的进行，一些亚马逊云科技专业服务团队成员甚至采纳了Coinbase的文化，使他们能够独立地倡导迁移。

最后，既有的受控流程和治理机制使亚马逊云科技专业服务能够无缝地参与生产部署，而无需直接访问Coinbase的生产环境。这种方法确保了安全可审计的迁移过程，Coinbase的服务所有团队保留了最终的控制权和签字权。

10倍计划的关键成果可谓是变革性的。Coinbase成功在12个月内完成了大规模迁移至Amazon EKS，使他们能够利用该服务的可扩展性和可靠性，在高需求期间(如最近比特币价格飙升时Coinbase没有宕机，打破了臭名昭著的“比特币涨价时Coinbase就会宕机”的梗)更好地为客户服务。这一迁移还证明了基于ROI的资金模式是可行的，使Coinbase能够通过与亚马逊云科技专业服务的合作实现大幅度的成本节约。

也许最重要的是，10倍计划巩固了Coinbase云卓越中心在灵活劳动力管理方面的专家地位。他们在协调大规模迁移、弥合文化差距以及优化云架构方面的专业知识，成为公司内部备受追捧的资源，Coinbase内的各个团队都希望复制他们的成功。

总之，Coinbase迁移至Amazon EKS并实现10倍扩展能力的历程，证明了合作、精心规划和不懈追求优化的力量。通过与亚马逊云科技专业服务的合作伙伴关系，以及一种允许持续学习和改进的分阶段方法，Coinbase成功过渡到了一个现代化、可扩展且高效的基础设施，使他们在动态的加密货币市场中成为领导者。

下面是一些演讲现场的精彩瞬间：

Rob Martell是亚马逊云科技 ProServe的一位主要工程师和Cloud Brazilian Engineer，他介绍了自己和来自Coinbase的同事，参与了“Scaling to New Heights”环节。

演讲者强调与亚马逊云科技专业服务合作的重要性，并根据预期的成本节约来分配预算，从而为公司从x86迁移到Graviton获得正面的投资回报率。

他强调使用自动化报告工具如Jira和自定义脚本来跟踪从EC2迁移到EKS期间的项目进度、资源分配和成本节约情况。

迁移到EKS使服务的高效装箱、细粒度资源分配成为可能，并使迁移服务的资源使用量减少了68%。

Amazon EKS实现了更快的扩展速度和高效的资源利用率，扩展速度提高了50%，这对于应对市场波动至关重要。

亚马逊云科技客户分享了结合Graviton和EKS采用带来的显著成本节省，突出了拥抱亚马逊云科技创新的好处。

演讲者强调通过与亚马逊云科技专业服务在项目的各个阶段合作，实现了显著的成本节省。

Coinbase实现10倍规模扩展和成本优化的旅程涉及了一个多阶段的迁移策略，在亚马逊云科技专业服务的帮助下进行。这一过程如下:

第一阶段，Coinbase从EC2 x86实例迁移到更具成本效益的Graviton实例，实现了20%的成本节省。然而，这一迁移面临着构建时间更长和实例可用性有限等挑战，导致了部分采用。

第二阶段涉及从EC2过渡到Amazon EKS，实现了更好的bin-packing和资源利用率。这一阶段需要精心规划、自动化以及Coinbase云卓越中心(CCOE)团队和亚马逊云科技专业服务之间的协作。超过3，500个服务配置被迁移，资源使用量减少了68%，扩展速度提高了50%。

在第三阶段，Coinbase结合了前两个阶段的经验教训，将Graviton工作负载迁移到EKS，实现了额外10%的成本节省，并通过更好的实例可用性提高了弹性。

在这18个月的旅程中，Coinbase认识到衡量投资回报率、将迁移分为不同阶段、明确领导力以及在团队之间建立文化信任的重要性。与亚马逊云科技专业服务的合作在克服技术和文化挑战方面发挥了关键作用，使Coinbase能够实现可扩展性、可靠性和成本优化的目标。

最终，10倍计划使Coinbase能够更可靠地扩展、改善客户体验并实现积极的成本节省目标。CCOE团队成为灵活劳动力管理的专家，为公司未来大规模迁移树立了先例。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。