Dataproc

관리형 Dataproc 클러스터의 제어 기능을 통해 까다로운 Spark 워크로드를 실행하세요. 현재 프리뷰 버전의 Lightning Engine**으로 쿼리 속도가 3.6배* 빨라졌습니다. Spark SQL 및 DataFrame 작업의 성능이 크게 향상됩니다. 버전 및 라이브러리를 선택하여 필요에 따라 Spark 환경을 정확하게 구성합니다.

*쿼리는 TPC-DS 표준 및 TPC-H 표준에서 파생되었으며, 이러한 실행은 TPC-DS 표준 및 TPC-H 표준 사양의 모든 요구사항을 준수하지 않으므로 게시된 TPC-DS 표준 및 TPC-H 표준 결과와 비교할 수 없습니다.

**Compute Engine 기반 Dataproc 프리미엄 등급에서 사용할 수 있습니다.

다양한 머신 유형(GPU 포함), 선점형 VM, 디스크 옵션, 자동 확장 정책, 초기화 작업, 컨테이너/이미지, 선택적 구성요소를 사용하여 Dataproc 클러스터를 맞춤설정합니다. 워크플로 템플릿과 같은 기능을 사용하여 복잡한 작업을 조정하고 콘솔, gcloud, API 또는 클라이언트 라이브러리를 통해 클러스터를 관리합니다. 포괄적인 측정항목, 대시보드, 알림 기능을 제공하는 Cloud Monitoring과 통합하여 클러스터 성능 및 상태에 대한 심층적인 가시성을 확보합니다.

Dataproc 클러스터는 BigLake Metastore와 기본적으로 통합되므로 Cloud Storage 기반 Apache Iceberg와 같은 개방형 형식으로 저장된 데이터를 처리할 수 있습니다. 기존의 Hive 기반 메타데이터 요구사항의 경우 관리형 Dataproc Metastore 서비스와 원활하게 통합됩니다. Dataplex 범용 카탈로그를 활용하여 레이크하우스 애셋 전반에서 통합 탐색, 계보, 거버넌스를 실현하세요. Dataproc을 BigQuery, Vertex AI, Spanner, Pub/Sub, Data Fusion에 연결하여 강력한 엔드 투 엔드 솔루션을 만들어 데이터 애플리케이션을 확장하세요.

Google Cloud의 강력한 보안 기능을 활용하세요. Kerberos를 구성하고, IAM으로 액세스를 관리하고, VPC 서비스 제어로 네트워크 정책을 적용하고, CMEK를 사용합니다. Dataplex 범용 카탈로그와 통합하여 중앙 집중식 정책 관리를 수행하고 BigLake로 세분화된 액세스 제어를 지원합니다.