Google Dataproc์ Ubuntu, Debian, Rocky Linux ์ด๋ฏธ์ง ๋ฒ์ ์ ์ฌ์ฉํ์ฌ ์ด์์ฒด์ , ๋น ๋ฐ์ดํฐ ๊ตฌ์ฑ์์, Google Cloud ์ปค๋ฅํฐ๋ฅผ ํด๋ฌ์คํฐ์ ๋ฐฐํฌ๋๋ ํ๋์ ํจํค์ง๋ก ๋ฒ๋ค๋ก ๋ฌถ์ต๋๋ค. ์์ธํ ๋ด์ฉ์ Dataproc ๋ฒ์ ๊ด๋ฆฌ๋ฅผ ์ฐธ์กฐํ์ธ์.
์ฐธ๊ณ :
- Dataproc ์ด๋ฏธ์ง ๋ฒ์ ์ ์ต์ด ์ถ์ ํ 24๊ฐ์ ๋์ ์ง์๋ฉ๋๋ค.
- ์ผ๋ฐ์ ์ผ๋ก Dataproc ์ด๋ฏธ์ง ๋ฒ์ ์ ์ง์ ์ข ๋ฃ ๋ ์ง ์ดํ 24๊ฐ์ ๋์ ์ฌ์ฉ ๊ฐ๋ฅํ์ง๋ง ์ด๋ฏธ์ง ์ง์ ๋ ์ง๊ฐ ์ฐ์ฅ๋ ๊ฒฝ์ฐ ์ฌ์ฉ ๊ฐ๋ฅํ ๊ธฐ๊ฐ์ด ๋จ์ถ๋ ์ ์์ต๋๋ค.
๊ธฐ๋ณธ Dataproc ์ด๋ฏธ์ง ๋ฒ์
Dataproc์ ์ ์ ๋ฒ์ (GA) ์ถ์์ผ ์ดํ ๊ธฐ๋ณธ ์ด๋ฏธ์ง ๋ฒ์ ์ ์ต์ ์ ์ ๋ฒ์ Debian ๊ธฐ๋ฐ Dataproc์ผ๋ก ์ ๋ฐ์ดํธํฉ๋๋ค.
์ง์๋๋ Dataproc ์ด๋ฏธ์ง ๋ฒ์
Debian ์ด๋ฏธ์ง
Dataproc ํด๋ฌ์คํฐ์์ ์ง์๋๋ Debian ๊ธฐ๋ฐ ์ด๋ฏธ์ง ๋ฒ์ ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค. ์๋ก์ด ํด๋ฌ์คํฐ๋ ์ถ์ ์ดํ ๋ฒ์ ์ ์ ์ฉ๋ ๋ชจ๋ ํ์ ์ธ๋ถ ํจ์น๋ฅผ ํฌํจํ๋๋ก ์์ฑ๋ฉ๋๋ค.
๋ฒ์ | ์ต์ข ์ ๋ฐ์ดํธ | ์ถ์์ผ | ์ง์ ๋ง๋ฃ์ผ | ์ฌ์ฉ ๊ฐ๋ฅ ๊ธฐํ | ์ฐธ๊ณ |
---|---|---|---|---|---|
2.3-debian12 | 2025/08/19 | 2025/06/09 | 2027/06/09 | 2029/06/09 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
2.2-debian12 | 2025/08/19 | 2023/12/08 | 2027/03/31 | 2027/12/31 | ์ ์ ์ถ์ ๋ฒ์ ์
๋๋ค. ์ด๋ฏธ์ง ๋ฒ์ 2.2 ๊ฐ 2024๋
9์ 13์ผ์ ๊ธฐ๋ณธ ์ด๋ฏธ์ง ๋ฒ์ ์ด ๋ฉ๋๋ค. |
2.1-debian11 | 2025/08/19 | 2022/12/12 | 2026/03/31 | 2026/12/31 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
2.0-debian10 | 2025/08/19 | 2021/01/22 | 2025/09/30 | 2026/07/31 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
Ubuntu ์ด๋ฏธ์ง
Dataproc ํด๋ฌ์คํฐ์์ ์ง์๋๋ Ubuntu LTS ๊ธฐ๋ฐ ์ด๋ฏธ์ง ๋ฒ์ ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค. ์๋ก์ด ํด๋ฌ์คํฐ๋ ์ถ์ ์ดํ ๋ฒ์ ์ ์ ์ฉ๋ ๋ชจ๋ ํ์ ์ธ๋ถ ํจ์น๋ฅผ ํฌํจํ๋๋ก ์์ฑ๋ฉ๋๋ค.
๋ฒ์ | ์ต์ข ์ ๋ฐ์ดํธ | ์ถ์์ผ | ์ง์ ๋ง๋ฃ์ผ | ์ฌ์ฉ ๊ฐ๋ฅ ๊ธฐํ | ์ฐธ๊ณ |
---|---|---|---|---|---|
2.3-ubuntu22 | 2025/08/19 | 2025/06/09 | 2027/06/09 | 2029/06/09 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
2.2-ubuntu22 | 2025/08/19 | 2023/12/08 | 2027/03/31 | 2027/12/31 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
2.1-ubuntu20 | 2025/08/19 | 2022/12/12 | 2026/03/31 | 2026/12/31 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
2.0-ubuntu18 | 2025/08/19 | 2021/01/22 | 2025/09/30 | 2026/07/31 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
Rocky Linux ์ด๋ฏธ์ง
Dataproc ํด๋ฌ์คํฐ์์ ์ง์๋๋ Rocky Linux ๊ธฐ๋ฐ ์ด๋ฏธ์ง ๋ฒ์ ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค. ์๋ก์ด ํด๋ฌ์คํฐ๋ ์ถ์ ์ดํ ๋ฒ์ ์ ์ ์ฉ๋ ๋ชจ๋ ํ์ ์ธ๋ถ ํจ์น๋ฅผ ํฌํจํ๋๋ก ์์ฑ๋ฉ๋๋ค.
๋ฒ์ | ์ต์ข ์ ๋ฐ์ดํธ | ์ถ์์ผ | ์ง์ ๋ง๋ฃ์ผ | ์ฌ์ฉ ๊ฐ๋ฅ ๊ธฐํ | ์ฐธ๊ณ |
---|---|---|---|---|---|
2.3-rocky9 | 2025/08/19 | 2025/06/09 | 2027/06/09 | 2029/06/09 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
2.2-rocky9 | 2025/08/19 | 2023/12/08 | 2027/03/31 | 2027/12/31 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
2.1-rocky8 | 2025/08/19 | 2022/12/12 | 2026/03/31 | 2026/12/31 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
2.0-rocky8 | 2025/08/19 | 2022/02/18 | 2025/09/30 | 2026/07/31 | ์ ์ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
์ง์๋์ง ์๋ Dataproc ์ด๋ฏธ์ง ๋ฒ์
๋ค์ Dataproc ๋ฒ์ ์ ์ง์๋์ง ์์ต๋๋ค. Dataproc์ ์ด๋ฌํ ๋ฒ์ ์ผ๋ก ์์ฑ๋ ํด๋ฌ์คํฐ์ ๋ํ ์ ๋ฐ์ดํธ ๋ฐ ์ง์์ ์ ๊ณตํ์ง ์์ต๋๋ค. ์ง์๋์ง ์๋ ๋ฒ์ ์ผ๋ก ์์ฑ๋ ํด๋ฌ์คํฐ๋ฅผ ๊ณ์ ์คํํ ์ ์์ง๋ง ์ง์๋๋ ๋ฒ์ ์ผ๋ก ์์ฑ๋ ์ ํด๋ฌ์คํฐ๋ก ๊ต์ฒดํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
๋ฒ์ | ํฌํจ | ์ถ์ ๋ ์ง | ์ต์ข ์ ๋ฐ์ดํธ | ์ฐธ๊ณ |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage ์ปค๋ฅํฐ 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023/04/28 | 2023/04/28 ํ์ฌ ์ง์๋์ง ์์ต๋๋ค. 1.5.89-debian10/-ubuntu18/-rocky8์ด ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage ์ปค๋ฅํฐ 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | 2022/02/01 ํ์ฌ ์ง์๋์ง ์์ต๋๋ค. 2.0.30-centos8์ด ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage ์ปค๋ฅํฐ 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 2022/02/01 | 2022/02/01 ํ์ฌ ์ง์๋์ง ์์ต๋๋ค. 1.5.56-centos8์ด ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage ์ปค๋ฅํฐ 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 2022/02/01 | 2022/02/01๋ถํฐ ์ง์๋์ง ์์ต๋๋ค. 1.4.80-debian10/-ubuntu18์ด ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage ์ปค๋ฅํฐ 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2021/12/22 | 2021/08/01 ์ดํ๋ก ์ง์๋์ง ์์ต๋๋ค. 1.3.95-debian10/-ubuntu18์ log4j2 ์ทจ์ฝ์ ์ด ํด๊ฒฐ๋ ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. ์ฐธ๊ณ : ์ด์ ์ ์ถ์๋ ๋ฒ์ ์ ์ทจ์ฝํ๋ฏ๋ก ์ ๊ทธ๋ ์ด๋ํด์ผ ํฉ๋๋ค. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage ์ปค๋ฅํฐ 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | 2020/07/10 ํ์ฌ ์ง์๋์ง ์์. 1.4.33-debian9๊ฐ ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage ์ปค๋ฅํฐ 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2020/07/10 | 2020/07/10 ํ์ฌ ์ง์๋์ง ์์. 1.3.62-debian9๊ฐ ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage ์ปค๋ฅํฐ 1.6.10-hadoop2 BigQuery ์ปค๋ฅํฐ 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 2020/07/10 ํ์ฌ ์ง์๋์ง ์์. 1.2.102-debian9๊ฐ ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage ์ปค๋ฅํฐ 1.6.10-hadoop2 BigQuery ์ปค๋ฅํฐ 0.10.11-hadoop2 |
2016/08/08 | 2019/09/26 | 2019/10/01๋ถํฐ ์ง์๋์ง ์์ต๋๋ค. 1.1.121-debian9๊ฐ ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage ์ปค๋ฅํฐ 1.6.10-hadoop2 BigQuery ์ปค๋ฅํฐ 0.10.11-hadoop2 |
2016/02/22 | 2019/05/09 | GA ์ด๋ฏธ์ง์ ์ฒ์ ์ถ์ ๋ฒ์ . 2019/04/01 ํ์ฌ ์ง์๋์ง ์์. 1.0.119-debian9๊ฐ ์ต์ข ์ถ์ ๋ฒ์ ์ ๋๋ค. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage ์ปค๋ฅํฐ 1.5.1-hadoop2 BigQuery ์ปค๋ฅํฐ 0.7.7-hadoop2 |
2015/11/18 | 2016/08/02 | ๋ฒ ํ ์ด๋ฏธ์ง์ ๋ ๋ฒ์งธ ์ถ์ ๋ฒ์ ์ ๋๋ค. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage ์ปค๋ฅํฐ 1.5.1-hadoop2 BigQuery ์ปค๋ฅํฐ 0.7.7-hadoop2 |
2015/09/23 | 2016/08/02 | Dataproc ๋ฒ ํ ์ถ์. Spark 1.5๋ Hive 1.2๋ฅผ ๋์์ผ๋ก ์ปดํ์ผ๋์์ต๋๋ค. |