Apa itu Apache Spark?

Apache Spark adalah mesin analisis terpadu untuk pemrosesan data berskala besar dengan modul bawaan untuk SQL, streaming, machine learning, dan pemrosesan grafik. Spark dapat berjalan di Apache Hadoop, Kubernetes, secara mandiri, di cloud, dan pada beragam sumber data. Spark menyediakan API yang lengkap di Java, Scala, Python, dan R, sehingga dapat diakses oleh berbagai developer dan data scientist. Python API-nya, yakni PySpark, juga terintegrasi dengan baik pada library populer seperti Pandas untuk manipulasi data. Di Google Cloud, Apache Spark ditingkatkan ke level berikutnya dengan opsi serverless, peningkatan performa yang inovatif seperti Lightning Engine (dalam Pratinjau), dan integrasi mendalam ke dalam platform AI dan data terpadu.

Salah satu pertanyaan umum adalah kapan menggunakan Apache Spark versus Apache Hadoop? Keduanya merupakan salah satu sistem terdistribusi paling terkemuka di pasar saat ini. Keduanya adalah project tingkat atas Apache yang serupa dan sering digunakan bersama-sama. Hadoop digunakan terutama untuk operasi yang membutuhkan banyak disk dengan paradigma MapReduce. Spark adalah arsitektur pemrosesan dalam memori yang lebih fleksibel dan sering kali lebih mahal. Memahami fitur masing-masing sistem akan memandu Anda memutuskan kapan harus menerapkan fitur tersebut.

Pelajari cara Google Cloud mendukung Anda untuk menjalankan workload Apache Spark dengan cara yang lebih sederhana, terintegrasi, dan hemat biaya. Anda dapat memanfaatkan Google Cloud Serverless untuk Apache Spark untuk pengembangan tanpa pengoperasian atau menggunakan Dataproc untuk cluster Spark terkelola.

Ringkasan Apache Spark

Ekosistem Spark mencakup lima komponen utama:

Spark Core adalah mesin pemrosesan data terdistribusi untuk tujuan umum. Spark Core adalah mesin eksekusi dasar yang mengelola pengiriman tugas, penjadwalan, dan I/O dasar yang terdistribusi. Spark Core memperkenalkan konsep Resilient Distributed Dataset (RDD), yakni kumpulan objek terdistribusi yang tidak dapat diubah dan dapat diproses secara paralel dengan fault tolerance. Selain itu, terdapat library untuk SQL, stream processing, machine learning, dan komputasi grafik — semuanya dapat digunakan secara bersamaan dalam satu aplikasi.
Spark SQL adalah modul Spark yang digunakan untuk bekerja dengan data terstruktur dan memperkenalkan DataFrames, yang menyediakan API yang lebih optimal dan mudah digunakan developer dibandingkan RDD untuk manipulasi data terstruktur. Modul ini memungkinkan Anda membuat kueri data terstruktur di dalam program Spark, menggunakan SQL, atau DataFrame API yang sudah dipahami. Spark SQL mendukung sintaksis HiveQL dan memungkinkan akses ke warehouse Apache Hive yang ada. Google Cloud semakin mempercepat performa tugas Spark, terutama untuk SQL, dan operasi DataFrame, dengan inovasi seperti Lightning Engine, yang memberikan peningkatan kecepatan yang signifikan untuk kueri dan tugas pemrosesan data Anda saat menjalankan Spark di Google Cloud.
Streaming Spark mempermudah pembuatan solusi streaming yang skalabel dan fault-tolerant. Selain itu, juga menghadirkan API yang terintegrasi dengan bahasa Spark ke stream processing, sehingga Anda dapat menulis tugas streaming dengan cara yang sama seperti tugas batch menggunakan DStreams atau Structured Streaming API versi baru yang dibangun di DataFrames. Streaming Spark mendukung Java, Scala, dan Python, serta menampilkan semantik stateful yang tepat satu kali dan siap pakai.
MLlib adalah library machine learning Spark yang skalabel dengan alat yang membuat ML praktis menjadi skalabel dan mudah. MLlib berisi banyak algoritma pembelajaran umum, seperti klasifikasi, regresi, rekomendasi, dan pengelompokan. Library ini juga berisi utilitas alur kerja dan lainnya, termasuk transformasi fitur, konstruksi pipeline ML, evaluasi model, aljabar linear terdistribusi, dan statistik. Saat dikombinasikan dengan Vertex AI Google Cloud, alur kerja Spark MLlib dapat diintegrasikan dengan lancar ke pipeline MLOps, dan pengembangan dapat ditingkatkan dengan Gemini untuk coding dan pemecahan masalah.
GraphX adalah Spark API untuk komputasi grafik dan paralel grafik. API ini bersifat fleksibel dan berfungsi secara lancar dengan grafik dan koleksi — yang menyatukan ekstrak, transformasi, pemuatan; analisis eksploratif; dan komputasi grafik iteratif dalam satu sistem.

Di seluruh komponen ini, Google Cloud menyediakan lingkungan yang dioptimalkan. Misalnya, Lightning Engine meningkatkan performa Spark dan DataFrame, sementara Google Cloud Serverless untuk Apache Spark menyederhanakan deployment dan pengelolaan, serta Gemini meningkatkan produktivitas developer di lingkungan notebook seperti BigQuery Studio dan Vertex AI Workbench.

Cara kerja Apache Spark

Keunggulan Apache Spark berasal dari beberapa prinsip arsitektur inti:

Pemrosesan dalam memori: Spark memuat data ke dalam memori sehingga mempercepat algoritma iteratif dan kueri interaktif secara signifikan jika dibandingkan dengan sistem berbasis disk.
Eksekusi terdistribusi: Spark beroperasi di cluster mesin. Program driver mengoordinasikan executors (proses worker) yang menjalankan tugas secara paralel di partisi data yang berbeda.
RDD dan DataFrame: Resilient Distributed Dataset (RDD) adalah abstraksi data dasar yang fault-tolerant. DataFrames, yang dibangun di RDD, menyediakan API yang lebih lengkap dan memahami skema data terstruktur, sehingga memungkinkan pengoptimalan melalui pengoptimal Catalyst.
Evaluasi mudah dan DAG: Spark membangun Directed Acyclic Graph (DAG) dari operasi. Transformasi bersifat "lazy" (tidak dihitung secara langsung), sehingga Spark dapat mengoptimalkan seluruh alur kerja sebelum "action" memicu eksekusi.

Apa saja manfaat Apache Spark?

Kecepatan

Pemrosesan dalam memory dan scheduler DAG Spark memungkinkan workload yang lebih cepat daripada Hadoop MapReduce, terutama untuk tugas iteratif. Google Cloud meningkatkan kecepatan workload dengan infrastruktur yang dioptimalkan dan Lightning Engine.

Mudah digunakan

Operator tingkat tinggi Spark menyederhanakan pembuatan aplikasi paralel. Penggunaan interaktif dengan Scala, Python, R, dan SQL memungkinkan pengembangan yang cepat. Google Cloud menawarkan opsi serverless dan notebook terintegrasi dengan Gemini untuk meningkatkan kemudahan penggunaan.

Skalabilitas

Spark menawarkan skalabilitas horizontal, memproses volume data yang sangat besar dengan mendistribusikan pekerjaan di seluruh node cluster. Google Cloud menyederhanakan penskalaan dengan penskalaan otomatis serverless dan cluster Dataproc yang fleksibel.

Generalitas

Spark mendukung stack library, termasuk SQL dan DataFrame, MLlib untuk machine learning, GraphX, dan Spark Streaming. Anda dapat menggabungkan library ini dengan lancar di aplikasi yang sama.

Inovasi framework open source

Spark memanfaatkan kehebatan komunitas open source untuk inovasi dan pemecahan masalah yang cepat, sehingga menghasilkan pengembangan dan waktu penyiapan produk yang lebih cepat. Google Cloud menganut semangat terbuka ini, yang menawarkan Apache Spark standar sekaligus meningkatkan kemampuannya.

Mengapa memilih Spark daripada mesin khusus SQL?

Apache Spark adalah mesin komputasi cluster cepat untuk tujuan umum yang dapat di-deploy di cluster Hadoop atau mode mandiri. Dengan Spark, programmer dapat menulis aplikasi dengan cepat di Java, Scala, Python, R, dan SQL yang membuatnya dapat diakses oleh developer, data scientist, dan pebisnis tingkat lanjut dengan pengalaman statistik. Dengan menggunakan Spark SQL, pengguna dapat terhubung ke sumber data mana pun dan menampilkannya sebagai tabel agar dapat digunakan oleh klien SQL. Selain itu, algoritma machine learning interaktif dapat diterapkan dengan mudah di Spark.

Dengan mesin khusus SQL seperti Apache Impala, Apache Hive, atau Apache Drill, pengguna hanya dapat menggunakan bahasa SQL atau bahasa yang mirip SQL untuk mengkueri data yang disimpan di beberapa database. Artinya, framework-nya lebih kecil dibandingkan dengan Spark. Namun, di Google Cloud, Anda tidak perlu membuat pilihan yang kaku. BigQuery menyediakan kemampuan SQL yang canggih, Google Cloud Serverless untuk Apache Spark dan Dataproc untuk layanan terkelola Spark dan Hadoop memungkinkan Anda menggunakan fleksibilitas Spark, sering kali pada data yang sama melalui BigLake Metastore dan format terbuka.

Bagaimana perusahaan menggunakan Spark?

Banyak perusahaan menggunakan Spark untuk membantu menyederhanakan tugas yang menantang dan intensif secara komputasi dalam memproses dan menganalisis data real-time atau data yang diarsipkan dalam jumlah besar, baik terstruktur maupun tidak terstruktur. Spark juga memungkinkan pengguna mengintegrasikan kemampuan kompleks yang relevan dengan lancar seperti machine learning dan algoritma grafik. Aplikasi umum mencakup:

ETL/ELT berskala besar
Pemrosesan data secara real-time
Machine learning
Eksplorasi data interaktif
Analisis grafik

Engineer data

Data engineer menggunakan Spark untuk tugas coding dan membangun pemrosesan data — dengan opsi untuk memprogram dalam set bahasa yang diperluas. Di Google Cloud, data engineer dapat memanfaatkan Google Cloud Serverless untuk Apache Spark guna menjalankan pipeline ETL/ELT tanpa pengoperasian atau menggunakan Dataproc untuk kontrol cluster terkelola. Semuanya terintegrasi dengan layanan seperti BigQuery dan Katalog Universal Dataplex untuk tata kelola.

Data scientist

Data scientist dapat memiliki pengalaman yang lebih kaya dengan analisis dan ML menggunakan Spark dengan GPU. Kemampuan untuk memproses data dalam jumlah besar secara lebih cepat dengan bahasa yang sudah dikenal dapat membantu mempercepat inovasi. Google Cloud memberikan dukungan GPU yang andal untuk Spark dan integrasi yang lancar dengan Vertex AI, sehingga data scientist dapat membangun dan men-deploy model dengan lebih cepat. Mereka dapat memanfaatkan berbagai lingkungan notebook seperti BigQuery Studio, Vertex AI Workbench, atau menghubungkan IDE pilihan mereka seperti Jupyter dan VS Code. Jika dikombinasikan dengan Gemini, pengalaman pengembangan yang fleksibel ini dapat membantu mempercepat alur kerja mereka mulai dari eksplorasi awal hingga deployment produksi.

Menjalankan Apache Spark di Google Cloud

Optimalkan pengalaman Spark Anda dengan Google Cloud

Google Cloud Serverless untuk Apache Spark: Untuk pengalaman tanpa pengoperasian yang sesungguhnya, jalankan tugas Spark Anda tanpa perlu mengelola cluster apa pun. Manfaatkan proses mulai yang nyaris instan, penskalaan otomatis, dan peningkatan performa dari Lightning Engine dan Gemini. Cocok untuk ETL, data science, dan analisis interaktif, terutama saat diintegrasikan dengan BigQuery.
Dataproc: Jika Anda memerlukan kontrol lebih besar atas lingkungan cluster atau memerlukan komponen ekosistem Hadoop tertentu bersama dengan Spark, Dataproc menyediakan layanan yang terkelola sepenuhnya. Dataproc menyederhanakan pembuatan dan pengelolaan cluster sekaligus mendapatkan manfaat dari peningkatan Lightning Engine untuk performa Spark.
Ekosistem terpadu dan terbuka: Dengan menjalankan Spark di Google Cloud, Anda akan mendapatkan manfaat berupa integrasi yang lancar dengan layanan seperti BigQuery untuk analisis terpadu, Vertex AI untuk MLOps, BigLake Metastore untuk berbagi metadata terbuka, dan Katalog Universal Dataplex untuk tata kelola data yang komprehensif. Semuanya mendukung arsitektur lakehouse terbuka.

Langkah selanjutnya

Mulailah membangun solusi di Google Cloud dengan kredit gratis senilai $300 dan lebih dari 20 produk yang selalu gratis.

Perlu bantuan untuk memulai?
Hubungi bagian penjualan
Bekerja sama dengan partner tepercaya
Temukan partner
Lanjutkan menjelajah
Lihat semua produk