Dataproc Metastore 네트워킹 개요

이 문서에서는 Dataproc Metastore 서비스를 설정하는 데 사용할 수 있는 네트워킹 설정에 대해 간략하게 설명합니다.

네트워킹 주제에 대한 빠른 참조

기본 네트워킹 설정

다음 섹션에서는 Dataproc Metastore에 사용되는 기본 네트워크 설정인 VPC 네트워크 및 VPC 네트워크 피어링에 대해 설명합니다.

VPC 네트워크

기본적으로 Dataproc Metastore 서비스는 VPC 네트워크를 사용하여 Google Cloud에 연결합니다. VPC 네트워크는 Google의 프로덕션 네트워크 내에서 구현되는 물리적 네트워크의 가상 버전입니다. Dataproc Metastore를 만들 때 서비스는 VPC 네트워크를 자동으로 만듭니다.

서비스를 만들 때 설정을 변경하지 않으면 Dataproc Metastore가 default VPC 네트워크를 사용합니다. 이 설정을 사용하면 Dataproc Metastore 서비스에 사용하는 VPC 네트워크가 동일한 Google Cloud 프로젝트 또는 다른 프로젝트에 포함될 수 있습니다. 또한 이 설정을 사용하면 단일 VPC 네트워크에서 서비스를 노출하거나 여러 VPC 네트워크에서 서비스에 액세스하도록 만들 수 있습니다(서브네트워크 사용).

Dataproc Metastore에는 각 VPC 네트워크의 리전별로 다음이 필요합니다.

• 피어링 할당량 1개
• /17 및 /20 CIDR

VPC 네트워크 피어링

VPC 네트워크가 생성된 후 Dataproc Metastore는 또한 서비스에 대해 VPC 네트워크 피어링을 자동으로 구성합니다. VPC는 서비스에 Dataproc Metastore 엔드포인트 프로토콜에 대한 액세스 권한을 제공합니다. 서비스를 만든 후에는 Google Cloud 콘솔의 VPC 네트워크 피어링 페이지에서 기본 VPC 네트워크 피어링을 확인할 수 있습니다.

VPC 네트워크 피어링은 비전환성입니다. 즉, 직접 피어링된 네트워크만 서로 통신할 수 있습니다. 예를 들어 다음 시나리오를 고려해 보세요.

VPC 네트워크 N1, N2, N3이라는 네트워크가 구성되어 있습니다.

• VPC 네트워크 N1은 N2 및 N3과 페어링되어 있습니다.
• VPC 네트워크 N2와 N3은 직접 연결되어 있지 않습니다.

이것은 무엇을 의미할까요?

즉, VPC 네트워크 피어링을 통해 VPC 네트워크 N2는 VPC 네트워크 N3과 통신할 수 없습니다. 그러면 Dataproc Metastore 연결에 다음과 같은 영향을 미칩니다.

• Dataproc Metastore 프로젝트 네트워크와 피어링된 네트워크의 가상 머신은 Dataproc Metastore에 연결할 수 없습니다.
• VPC 네트워크의 호스트만 Dataproc Metastore 서비스에 연결할 수 있습니다.

VPC 네트워크 피어링 보안 고려사항

• VPC 네트워크 피어링을 통한 트래픽에는 특정 수준의 암호화가 제공됩니다. 자세한 내용은 Google Cloud 가상 네트워크 암호화 및 인증을 참조하세요.

• 내부 IP 주소를 사용하여 각 서비스에 하나의 VPC 네트워크를 만들면 default VPC 네트워크에 모든 서비스를 배치하는 것보다 네트워크 격리가 향상됩니다.

VPC 서브네트워크

Private Service Connect(PSC)를 사용하면 VPC 네트워크 간에 Dataproc Metastore 메타데이터에 대해 비공개 연결을 설정할 수 있습니다. PSC를 사용하면 VPC 피어링 없이 서비스를 만들 수 있습니다. 이렇게 하면 VPC 네트워크를 벗어나거나 외부 IP 주소를 사용하지 않고 자체 내부 IP 주소를 사용하여 Dataproc Metastore에 액세스할 수 있습니다.

서비스를 만들 때 Private Service Connect를 설정하려면 Dataproc Metastore를 사용하는 Private Service Connect를 참조하세요.

IP 주소

네트워크에 연결하고 메타데이터를 보호하기 위해 Dataproc Metastore 서비스는 내부 IP 주소만 사용합니다. 즉, 공개 IP 주소가 노출되거나 네트워킹 목적으로 사용할 수 없습니다.

내부 IP 주소를 사용하면 Dataproc Metastore가 지정된 가상 프라이빗 클라우드(VPC) 네트워크 또는 온프레미스 환경에 있는 가상 머신(VM)에만 연결할 수 있습니다.

내부 IP 주소를 사용하는 Dataproc Metastore 서비스에 대한 연결은 RFC 1918 IP 주소 범위를 사용합니다. 이러한 범위를 사용하면 Dataproc Metastore가 각 리전의 주소 공간에서 /17 범위 및 /20 범위를 할당합니다. 예를 들어 2개 리전에 Dataproc Metastore 서비스를 배치하면 할당된 IP 주소 범위에 다음이 포함됩니다.

• /17 크기의 사용되지 않은 주소 블록 2개 이상
• /20 크기의 사용되지 않은 주소 블록 2개 이상

RFC 1918 주소 블록을 찾을 수 없으면 Dataproc Metastore에서 대신 적절한 RFC 1918 이외의 주소 블록을 찾습니다. RFC 1918 이외의 블록 할당은 해당 주소가 VPC 네트워크나 온프레미스에서 사용되는지 여부를 고려하지 않습니다.

추가 네트워킹 설정

다른 네트워킹 설정이 필요하면 Dataproc Metastore 서비스에 다음 옵션을 사용할 수 있습니다.

공유 VPC 네트워크

공유 VPC 네트워크에서 Dataproc Metastore 서비스를 만들 수 있습니다. 공유 VPC를 사용하면 여러 프로젝트의 Dataproc Metastore 리소스를 공통 VPC(VPC) 네트워크에 연결할 수 있습니다.

서비스를 만들 때 공유 VPC를 설정하려면 Dataproc Metastore 서비스 만들기를 참조하세요.

온프레미스 네트워킹

Cloud VPN 또는 Cloud Interconnect를 사용하여 온프레미스 환경의 Dataproc Metastore 서비스에 연결할 수 있습니다.

VPC 서비스 제어

VPC 서비스 제어는 데이터 무단 반출 위험을 줄일 수 있습니다. VPC 서비스 제어를 사용하여 Dataproc Metastore 서비스 주위에 경계를 만듭니다. VPC 서비스 제어는 경계 내부의 리소스에 대한 외부 액세스를 제한합니다. 경계 내의 클라이언트와 리소스만 서로 상호작용할 수 있습니다.

Dataproc Metastore에서 VPC 서비스 제어를 사용하려면 Dataproc Metastore에서 VPC 서비스 제어를 참조하세요. VPC 서비스 제어 사용 시 Dataproc Metastore 제한사항도 검토합니다.

Dataproc Metastore의 방화벽 규칙

보안 풋프린트가 설정된 기본이 아닌 환경 또는 비공개 환경에서는 고유 방화벽 규칙을 만들어야 할 수 있습니다. 이렇게 할 경우 Dataproc Metastore 서비스의 IP 주소 범위 또는 포트를 차단하는 방화벽 규칙을 만들지 마세요.

Dataproc Metastore 서비스를 만들 때 서비스의 기본 네트워크를 수락할 수 있습니다. 기본 네트워크는 VM에 대해 전체 내부 IP 네트워킹 액세스를 보장합니다.

방화벽 규칙에 대한 자세한 내용은 VPC 방화벽 규칙 및 VPC 방화벽 규칙 사용을 참조하세요.

커스텀 네트워크의 방화벽 규칙 만들기

커스텀 네트워크를 사용할 때는 방화벽 규칙에서 Dataproc Metastore 엔드포인트에 대한 수신/송신 트래픽이 허용되는지 확인해야 합니다. Dataproc Metastore 트래픽을 명시적으로 허용하려면 다음 gcloud 명령어를 실행하세요.

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

DPMS_NET_PREFIX의 경우 Dataproc Metastore 서비스 IP에 /17 서브넷 마스크를 적용합니다. Dataproc Metastore IP 주소 정보는 서비스 세부정보 페이지의 endpointUri 구성에서 확인할 수 있습니다.

고려사항

네트워크에는 일반적으로 네트워크에서 Dataproc Metastore로의 액세스를 허용하는 묵시적인 이그레스 허용 규칙이 있습니다. 묵시적 이그레스 허용 규칙을 재정의하는 거부 이그레스 규칙을 만드는 경우 Dataproc Metastore IP로 이그레스를 허용하도록 우선순위가 더 높은 이그레스 허용 규칙을 만들어야 합니다.

Kerberos와 같은 일부 기능을 사용하려면 Dataproc Metastore에서 프로젝트 네트워크의 호스트에 대한 연결을 시작해야 합니다. 모든 네트워크에는 이러한 연결을 차단하고 이러한 기능이 작동하지 않도록 하는 묵시적인 인그레스 거부 규칙이 있습니다. Dataproc Metastore IP가 포함된 /17 IP 블록에서 모든 포트에 TCP 및 UDP 인그레스를 허용하는 방화벽 규칙을 만들어야 합니다.

커스텀 라우팅

커스텀 경로는 비공개로 사용되는 공개 IP 주소(PUPI)를 사용하는 서브넷을 위한 것입니다. 커스텀 경로를 사용하면 VPC 네트워크가 피어 네트워크에 연결할 수 있습니다. 커스텀 경로가 작동하려면 VPC 네트워크가 이를 가져오고 피어 네트워크가 이를 명시적으로 내보내야 합니다. 커스텀 경로는 정적 또는 동적으로 구성할 수 있습니다.

커스텀 경로를 피어링된 VPC 네트워크와 공유하면 네트워크는 피어링된 네트워크에서 직접 경로를 "학습"할 수 있습니다. 즉, 피어링된 네트워크의 커스텀 경로가 업데이트되면 VPC 네트워크는 추가 작업 없이 커스텀 경로를 자동으로 학습하여 구현합니다.

커스텀 라우팅에 관한 자세한 내용은 네트워크 구성을 참조하세요.

Dataproc Metastore 네트워킹 예시

다음 예시에서 Google은 Google 서비스에 대한 고객 VPC 네트워크의 10.100.0.0/17 및 10.200.0.0/20 IP 주소 범위를 할당하고 피어링된 VPC 네트워크의 IP 주소 범위를 사용합니다.

네트워킹 예시 설명:

• VPC 피어링의 Google 서비스 측에서 Google은 고객을 위한 프로젝트를 만듭니다. 이 프로젝트는 격리되어 있으므로 다른 고객이 이를 공유할 수 없으며 해당 고객에게는 고객이 프로비저닝한 리소스 요금만 청구됩니다.
• 리전에서 첫 번째 Dataproc Metastore 서비스를 만들면 Dataproc Metastore는 고객 네트워크에서 해당 리전과 네트워크에 있는 향후 모든 Dataproc Metastore 서비스 사용량에 대한 /17 범위와 /20 범위를 할당합니다. Dataproc Metastore는 이러한 범위를 더욱 세분화하여 서비스 프로듀서 프로젝트에 서브네트워크와 IP 주소 범위를 만듭니다.
• 고객 네트워크의 VM 서비스는 Google Cloud 서비스에서 지원하는 경우 모든 리전의 Dataproc Metastore 서비스 리소스에 액세스할 수 있습니다. 일부 Google Cloud 서비스에서는 리전 간 통신을 지원하지 않을 수도 있습니다.
• VM 인스턴스가 다른 리전의 리소스와 통신하는 리전 간 트래픽에는 여전히 이그레스 비용이 적용됩니다.
• Google이 Dataproc Metastore 서비스에 IP 주소 10.100.0.100을 할당합니다. 고객 VPC 네트워크에서 대상이 10.100.0.100인 요청은 VPC 피어링을 통해 서비스 제작자의 네트워크로 라우팅됩니다. 서비스 네트워크에 연결되면 서비스 네트워크에는 올바른 리소스에 요청을 전송하는 경로가 포함됩니다.
• VPC 네트워크 간 트래픽은 공개 인터넷을 통하지 않고 Google 네트워크 내부에서 이동합니다.

다음 단계

• Dataproc Metastore로 VPC 서비스 제어
• Dataproc Metastore IAM 및 액세스 제어
• Dataproc Metastore로 Private Service Connect