BigQuery용 Datastream

Datastream은 BigQuery의 변경 데이터 캡처(CDC) 기능 및 Storage Write API를 사용하여 소스 시스템에서 직접 거의 실시간으로 업데이트를 효율적으로 복제합니다. 복잡한 데이터 파이프라인, 자체 관리형 스테이징 테이블, 까다로운 병합 로직, 수동 데이터 유형 변환에 귀중한 리소스를 낭비하는 복제 솔루션이 더 이상 필요하지 않습니다.

Datastream을 사용하면 몇 단계만으로 BigQuery로 데이터 복제를 시작할 수 있습니다. BigQuery에서 소스 데이터베이스, 연결 유형, 대상을 구성하기만 하면 모든 준비가 완료됩니다. BigQuery용 Datastream은 이전 데이터를 백필하고 새로운 변경사항이 발생할 때마다 계속 복제합니다.

Datastream은 MySQL, PostgreSQL, AlloyDB, SQL Server, Oracle 데이터베이스에서 모든 변경사항(삽입, 업데이트, 삭제)을 읽고 지연 시간을 최소화하면서 BigQuery로 전송합니다. 소스 데이터베이스는 Cloud SQL 또는 Oracle용 베어메탈 솔루션과 같은 Google Cloud 서비스, 온프레미스 또는 클라우드의 다른 모든 위치에서 호스팅할 수 있습니다. BigQuery용으로 특별히 빌드된 에이전트 없는 Google 기반 서비스로 모든 이벤트를 안정적으로 스트리밍합니다. 

소스 스키마가 변경되면 Datastream이 스키마 드리프트를 원활하게 처리하고 소스에 추가된 새 열과 테이블을 BigQuery에 자동으로 복제합니다.

Datastream은 전송 중 데이터를 보호하기 위해 여러 가지 안전한 비공개 연결 방식을 지원합니다. 또한 데이터가 저장 상태에서 암호화됩니다.