Google Cloud의 개방형 레이크하우스 혁신: AI, 개방형 데이터, 탁월한 성능을 위해 설계되었습니다. 블로그 읽기

Google Cloud에서 개방형 관리형 인텔리전트 데이터 레이크하우스 빌드

Google의 업계 최고의 AI와 통합된 고성능 데이터 레이크하우스로 멀티모달 데이터를 통합하고 제어하세요. Apache Iceberg와 업계 최초의 자동 확장 서버리스 Spark를 최대한 활용하여 데이터 처리, 분석, AI 이니셔티브를 간소화하세요.

개방형 데이터 레이크하우스에 Google의 성능을 활용

개방형 데이터 형식의 새로운 혁신, 지능형 데이터-AI 거버넌스, 가속화된 데이터 처리, 고급 AI 지원 개발 도구가 모두 결합되어 데이터 관리를 간소화하고 혁신을 가속화합니다.

BigLake

엔터프라이즈급 스토리지 관리로 Apache Iceberg의 개방성을 활용하세요

BigLake는 Cloud Storage 상호 운용성을 위한 기본 Iceberg 스토리지 엔진을 제공하고, 통합된 런타임 메타데이터 관리를 제공하며, 고급 분석 및 데이터 과학을 지원하고, 기본 제공되는 거버넌스를 통해 자동화된 데이터 관리를 제공합니다. Iceberg 호환 엔진이라면 BigLake의 자동 테이블 관리를 사용하여 쿼리 성능을 개선하고 비용을 절감할 수 있습니다.

“Google Cloud와의 파트너십은 Snap의 차세대 개방형 레이크하우스를 구축하고 개발자 커뮤니티에서 Spark와 Iceberg를 범용화하는 여정에서 중요한 역할을 했습니다.”

젱이 리우, Snap 선임 관리자 겸 소프트웨어 엔지니어

개방적이고 유연한 Iceberg 환경

BigLake

엔터프라이즈급 스토리지 관리로 Apache Iceberg의 개방성을 활용하세요

젱이 리우, Snap 선임 관리자 겸 소프트웨어 엔지니어

업계 최초의 자동 확장 서버리스 Apache Spark

Apache Spark용 Google Cloud 서버리스

서버리스 Spark는 클러스터 관리가 필요하지 않은 고성능 및 초고속 처리를 제공합니다

Apache Spark용 Google Cloud 서버리스로 레이크하우스를 혁신하세요. 새로운 Lightning Engine을 사용하면 운영 오버헤드 없이 빠른 시작을 경험할 수 있으며 Spark 워크로드의 성능도 개선됩니다. Gemini와의 강력한 조합은 생산성을 높이고 TCO를 최대 60% 절감합니다.

“SQL과 Spark는 데이터에 액세스하고 변환하는 두 가지 상호 보완적인 방법입니다. Spark는 틈새 시장이지만 비즈니스에 매우 중요한 복잡한 비즈니스 로직이 필요한 사용 사례에 특히 유용합니다. 노트북에서 개발 환경을 제공하는 SQL, Spark, AI를 위한 통합 플랫폼을 사용하면 이러한 중요한 사용 사례를 대폭 간소화할 수 있습니다.”

안드레스 소페냐 페레스, Trivago 콘텐츠 엔지니어링 부문 책임자

데이터 통합부터 AI 거버넌스까지

Dataplex 범용 카탈로그

데이터 레이크하우스의 데이터 탐색, 이해, 신뢰 간소화

Dataplex 범용 카탈로그는 Google Cloud의 통합 데이터-AI 거버넌스 솔루션입니다. AI 기반 카탈로그는 Google Cloud 전반의 비즈니스, 기술, 운영 메타데이터를 중앙 집중화하고 AI 기반 통계를 제공합니다. Apache Iceberg와 같은 개방형 형식을 지원하여 전체 레이크하우스에 대한 통합 거버넌스를 실현합니다.

“Dataplex는 데이터 플랫폼을 안전하고 효율적이며 확장 가능한 데이터 생태계로 혁신하는 데 중요한 역할을 했습니다. 데이터 거버넌스, 탐색, 모니터링 가능성, 보안 규정 준수에 중점을 두고 디지털 시대의 데이터 관리 과제를 해결할 수 있는 역량을 갖추고 있습니다. Dataplex는 팀이 데이터의 잠재력을 최대한 활용하고 Box.Inc의 지속적인 성장과 혁신을 주도할 수 있도록 지원합니다.”

아스미타 쿨카르니, Box.Inc 선임 제품 관리자

AI 기반 노트북 및 데이터 과학 도구

BigQuery Studio 및 IDE 확장 프로그램

개발 및 운영을 간소화하여 레이크하우스 아키텍처 내 고급 데이터 과학 및 AI/ML 워크로드를 위한 Apache Spark 강화

Dataproc은 GPU 드라이버와 일반적인 ML 라이브러리를 사용한 ML 런타임의 새로운 혁신으로 레이크하우스에서 AI/ML을 위한 Spark를 발전시킵니다. BigQuery Studio의 Colab Enterprise 노트북과 서드 파티 IDE는 Vertex AI와 통합된 MLOps 및 간소화된 프로덕션 파이프라인을 제공하여 데이터 과학을 가속화합니다.

“Shopify는 데이터 과학 및 엔지니어링 트렌드에 뒤쳐지지 않기 위해 다방면의 기술을 보유한 팀을 구성하는 데 투자했습니다. BigQuery Studio를 초기 테스트할 때 간소화된 환경에서 다양한 사용자를 위한 다채로운 도구를 연결하는 Google의 기능이 만족스러웠습니다. BigQuery에 기대하는 확장성을 저해하는 일 없이 팀 전반에서 장애 요소를 줄일 수 있는 기회가 될 것입니다.”

잭 로버츠, Shopify 데이터 엔지니어링 관리자