Cloud Composer

온프레미스와 퍼블릭 클라우드를 잇는 워크플로를 조정하여 클라우드로의 이전 과정을 간소화하거나 하이브리드 데이터 환경을 유지하세요. 여러 클라우드에 걸쳐 데이터, 처리, 서비스를 연결하는 워크플로를 만들어 통합된 데이터 환경을 제공합니다.

Cloud Composer는 Apache Airflow를 기반으로 빌드되어 사용자에게 특정 서비스에 종속되지 않을 자유와 이동성을 선사합니다. Google에서도 참여하고 있는 이 오픈소스 프로젝트는 광범위한 플랫폼과 통합되는 것은 물론 고객에게 특정 서비스에 종속되지 않을 자유를 줍니다. 지원 플랫폼의 수는 Airflow 커뮤니티의 성장에 따라 계속 늘어날 전망입니다.

Cloud Composer 파이프라인은 Python을 사용한 DAG(Directed Acyclic Graph)로 구성되어 있어 모든 사용자가 쉽게 사용할 수 있습니다. 클릭 한 번으로 배포하여 실제 워크플로의 다양한 커넥터와 여러 그래픽 표현이 들어 있는 라이브러리에 즉시 액세스할 수 있으므로 문제 해결 과정을 간소화할 수 있습니다. DAG(Directed Acyclic Graph)의 자동 동기화 기능 덕분에 일정에 맞춰 업무를 처리할 수 있습니다.

주요 개선사항으로는 감사 가능성과 안정적인 롤백을 위한 DAG 버전 관리, 더 간단한 과거 데이터 재처리를 위한 스케줄러 관리 백필이 있습니다. 새로운 Task Execution API 및 SDK는 향후 다국어 지원 및 격리된 작업 환경을 위한 길을 열어줍니다. 사용자는 개선된 탐색 기능을 갖춘 더 빠르고 현대적인 React 기반 UI를 활용할 수 있습니다. 계획된 이벤트 기반 일정 예약은 보다 반응성이 높은 거의 실시간 파이프라인을 목표로 합니다. Edge Executor는 원격 작업 실행을 최적화하고 분할된 CLI(airflow/airflowctl)는 개발 및 운영을 위한 더 명확한 명령줄 환경을 제공합니다.