原文towardsdatascience.com/set-up-a-pypi-mirror-in-an-aws-private-environment-with-terraform-f0fcc1b67cc0?sourcecollection_archive---------7-----------------------#2024-03-06https://medium.com/florentpajot?sourcepost_page---byline--f0fcc1b67cc0--------------------------------https://towardsdatascience.com/?sourcepost_page---byline--f0fcc1b67cc0-------------------------------- Florent Pajot·发布于 Towards Data Science ·5 分钟阅读·2024 年 3 月 6 日–如果没有互联网访问如何在环境中安装 Python 包我最近在为我的团队在 AWS 上创建 AWS Sagemaker Studio 环境时遇到了这个问题。为 Sagemaker 构建 AWS 私有环境对于这个特定项目我在仅限 VPC 模式下设置了 Sagemaker并且有一个保持架构私有的约束这意味着创建 VPC 和私有子网但没有互联网访问。所有网络通信包括与 AWS API 的应用通信必须通过 VPC Endpoint 接口进行。这可以确保连接安全因为发送和接收的数据不会通过互联网而是使用 AWS 网络骨干进行传输。这特别适用于限制暴露于安全风险尤其是在处理个人信息或必须遵守某些安全标准时。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/980cca82296b30632ecaa6058b1111f4.png图片来自 Nadir sYzYgY 通过 Unsplash从 AWS Sagemaker 访问 Pypi 包仓库在我的团队中数据科学家使用 Python 作为主要语言有时需要一些Sagemaker 预构建 Python 镜像中未提供的 Python 包因此我将重点讨论这个用例。幸运的是解决方案也适用于其他语言和仓库例如 npm。用户通常会尝试通过 pip 命令安装所需的任何包。但是由于不允许互联网访问这个命令会失败因为 pip 无法连接到 Pypi.org 服务器。开启互联网一种选择是开放互联网访问并允许向 Pypi.org 服务器使用的 Fastly CDN IP 地址发出外部 HTTP 连接。但在我们的情况下这是不可行的因为我们不希望架构中有任何互联网连接。使用专用 Pypi 服务器AWS 博客还提供了一个使用名为 Bandersnatch 的 Python 包的示例。这篇文章描述了如何设置一个服务器作为堡垒主机镜像 Pypi并且只对你的私有子网可访问。这不是一个可行的选项因为你需要提前知道需要提供哪些 Python 包并且你还得创建公共子网并为 Pypi 服务器镜像提供互联网访问权限。使用 AWS Codeartifact这最终是我想出的解决方案并且在我的情况下是有效的。AWS Codeartifact 是 AWS 提供的工件管理解决方案。它与其他 AWS 服务兼容如 AWS 服务目录用于控制组织内资源的访问。要使用它你必须创建一个“域”它作为一个总览来管理访问权限并在你的组织内应用政策。然后你需要创建一个仓库供不同的应用程序使用你的工件。此外一个仓库可以拥有上游仓库。因此如果目标仓库中没有某个 Python 包需求将传递到上游仓库以进行满足。更准确地说这个工作流考虑了包版本。官方文档提供了详细的工作流如果my_repo包含请求的包版本它将返回给客户端。如果my_repo不包含请求的包版本CodeArtifact 会在my_repo的上游仓库中查找它。如果找到该版本的包将其引用复制到my_repo中并将包版本返回给客户端。如果my_repo和它的上游仓库都不包含该包版本客户端将收到 HTTP 404未找到响应。酷吧它甚至会缓存包版本以便将来的请求使用。这正是我们将使用的策略因为 AWS Codeartifact 允许我们定义一个具有外部连接如 Pypi作为上游仓库的仓库。使用 Terraform 创建 AWS Codeartifact 资源由于 AWS Codeartifact 是 AWS 服务你可以轻松地在你的环境 VPC 中创建一个 VPC 端点来连接它。注我正在使用 Terraform v1.6.4 和 AWS 提供程序 v5.38.0locals{regionus-east-1}resourceaws_security_groupvpce_sg{nameAllowTLSdescriptionAllow TLS inbound traffic and all outbound trafficvpc_idaws_vpc.your_vpc.idtags{Nameallow_tls_for_vpce}}resourceaws_vpc_security_group_ingress_ruleallow_tls_ipv4{security_group_idaws_security_group.allow_tls.idcidr_ipv4aws_vpc.your_vpc.cidr_block from_port443ip_protocoltcpto_port443}dataaws_iam_policy_documentcodeartifact_vpce_base_policy{statement{sidEnableRoleseffectAllowactions[codeartifact:GetAuthorizationToken,codeartifact:GetRepositoryEndpoint,codeartifact:ReadFromRepository,sts:GetServiceBearerToken]resources[*,]principals{typeAWSidentifiers[aws_iam_role.your_sagemaker_execution_role.arn]}}}resourceaws_vpc_endpointcodeartifact_api_vpce{vpc_idaws_vpc.your_vpc.idservice_namecom.amazonaws.${local.region}.codeartifact.apivpc_endpoint_typeInterfacesubnet_idsaws_subnets.your_private_subnets.ids security_group_ids[aws_security_group.vpce_sg.id,]private_dns_enabledtrue policydata.aws_iam_policy_document.codeartifact_vpce_base_policy.json tags{Namecodeartifact-api-vpc-endpoint}}然后你需要创建不同的资源以便 Codeartifact 能通过镜像 Pypi 处理你对新 Python 包的请求一个域名一个具有外部连接的 Pypi 仓库以及一个将 Pypi 定义为上游仓库的仓库。resourceaws_codeartifact_domainmy_domain{domainmy-domainencryption_keytags{Namemy-codeartifact-domain}}resourceaws_codeartifact_repositorypublic_pypi{repositorypypi-storedomainaws_codeartifact_domain.my_domain.domain external_connections{external_connection_namepublic:pypi}tags{Namepypi-store-repository}}resourceaws_codeartifact_repositorymy_repository{repositorymy_repositorydomainaws_codeartifact_domain.my_domain.domain upstream{repository_nameaws_codeartifact_repository.public_pypi.repository}tags{Namemy-codeartifact-repository}}dataaws_iam_policy_documentmy_repository_policy_document{statement{effectAllowprincipals{typeAWSidentifiers[aws_iam_role.your_sagemaker_execution_role.arn]}actions[codeartifact:ReadFromRepository]resources[aws_codeartifact_repository.my_repository.arn]}}resourceaws_codeartifact_repository_permissions_policymy_repository_policy{repositoryaws_codeartifact_repository.my_repository.repository domainaws_codeartifact_domain.my_domain.domain policy_documentdata.aws_iam_policy_document.my_repository_policy_document.json}就是这样你现在可以轻松为你的私有环境设置一个 Pypi 镜像。为了使其可用你还需要告诉 pip 命令将请求指向特定的索引。幸运的是AWS 创建了一个 API 来为你完成繁重的工作。只需将以下代码添加到你的项目中即可使其工作aws codeartifact login--tool pip--repository $CODE_ARTIFACT_REPOSITOR_ARN--domain $CODE_ARTIFACT_DOMAIN_ID--domain-owner $ACCOUNT_ID--region $REGION最后但同样重要的是在你的 VPC 中为 AWS Codeartifact 添加一个 VPC 端点。dataaws_iam_policy_documentcodeartifact_vpce_base_policy{statement{sidEnableRoleseffectAllowactions[codeartifact:GetAuthorizationToken,codeartifact:GetRepositoryEndpoint,codeartifact:ReadFromRepository,sts:GetServiceBearerToken]resources[*,]principals{typeAWSidentifiers[aws_iam_role.your_sagemaker_execution_role.arn]}}}resourceaws_vpc_endpointcodeartifact_api_vpce{vpc_idaws_vpc.your_vpc.idservice_namecom.amazonaws.${local.region}.codeartifact.apivpc_endpoint_typeInterfacesubnet_idsaws_subnets.your_private_subnets.ids security_group_ids[aws_security_group.vpce_sg.id,]private_dns_enabledtrue policydata.aws_iam_policy_document.codeartifact_vpce_base_policy.json tags{Namecodeartifact-api-vpc-endpoint}}如果你想接收有关 AWS 等方面的最新帖子通知请在此订阅。你知道你可以多次拍手吗