BI Engine ๋ฐ Looker๋ก ๋ฐ์ดํฐ ๋ถ์
Looker๋ ๋น์ฆ๋์ค ์ธํ ๋ฆฌ์ ์ค, ๋ฐ์ดํฐ ์ ํ๋ฆฌ์ผ์ด์ , ์๋ฒ ๋๋ ๋ถ์์ ์ํ ๊ธฐ์ ์ฉ ํ๋ซํผ์ ๋๋ค. Looker๋ ํ์ฌ ๋ฐ์ดํฐ๋ฅผ ํ์, ๊ณต์ , ์๊ฐํํ์ฌ ๋ ๋์ ๋น์ฆ๋์ค ์์ฌ๊ฒฐ์ ์ ๋ด๋ฆด ์ ์๋๋ก ๋์์ค๋๋ค.
Looker ์๋ ๋ฐฉ์
Looker๋ฅผ ์ฌ์ฉํ๋ฉด ๊ฐ ์กฐ์ง์ ๋ฐ์ดํฐ ์ ๋ฌธ๊ฐ๊ฐ LookML์ด๋ผ๋ ๊ฐ๋จํ ๋ชจ๋ธ๋ง ์ธ์ด๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ๋ฅผ ์ค๋ช ํ ์ ์์ต๋๋ค. LookML์ ์กฐ์ง์ ๋ชจ๋ ์ฌ์ฉ์๊ฐ ์ฝ๊ฒ ์ฝ์ ์ ์๋ ๋ณด๊ณ ์ ๋ฐ ๋์๋ณด๋๋ฅผ ๋ง๋ค์ด ๋ฐ์ดํฐ ํจํด์ ํ์ํ ์ ์๋๋ก ๋ฐ์ดํฐ๋ฅผ ์ฟผ๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ์๋ ค์ค๋๋ค. Looker๋ ์ปค์คํ ๋ฐ์ดํฐ ์ ํ๋ฆฌ์ผ์ด์ ๋ฐ ํ๊ฒฝ์ ๋ง๋ค๊ธฐ ์ํ ์ถ๊ฐ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
Looker์ ํ๋ซํผ์ Oracle ๋ฐ MySQL๊ณผ ๊ฐ์ ํธ๋์ญ์ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ๋ฌผ๋ก BigQuery, Snowflake, Redshift ๋ฑ์ ๋ถ์ Datastore์ ํจ๊ป ์๋ํฉ๋๋ค. Looker๋ฅผ ์ฌ์ฉํ๋ฉด ๋ชจ๋ ๋ฐ์ดํฐ ์ธ์๋ ๋น ๋ฅด๊ณ ์ ํํ๊ฒ ์ผ๊ด๋ ๋ฐ์ดํฐ ๋ชจ๋ธ์ ๋ง๋ค ์ ์์ต๋๋ค. Looker๋ ์กฐ์ง์ ๋ชจ๋ ๋ฐ์ดํฐ์ ์ก์ธ์คํ ์ ์๋ ํตํฉ ํ๋ซํผ์ ์ ๊ณตํฉ๋๋ค.
Looker์ BigQuery ํตํฉ
Looker๋ Google Cloud์์์ ํธ์คํ ์ ์ง์ํฉ๋๋ค. Looker๋ ํ๋ซํผ์ ๋ ๋ฆฝ์ ์ด๋ฏ๋ก BigQuery ๋ฐ ๋ค๋ฅธ ํผ๋ธ๋ฆญ ํด๋ผ์ฐ๋์ ๋ฐ์ดํฐ์ ์ฐ๊ฒฐ๋ฉ๋๋ค.
BigQuery๋ฅผ ์ฌ์ฉํ๊ธฐ ์ํด Looker๊ฐ ํ์ํ์ง ์์ต๋๋ค. ํ์ง๋ง BigQuery ์ฌ์ฉ ์ฌ๋ก์ ๋น์ฆ๋์ค ์ธํ ๋ฆฌ์ ์ค, ๋ฐ์ดํฐ ์ ํ๋ฆฌ์ผ์ด์ ๋๋ ์๋ฒ ๋๋ ๋ถ์์ด ํฌํจ๋ ๊ฒฝ์ฐ Looker๋ฅผ ์ด๋ฌํ ์๋น์ค์ ์ ๊ณต์ ์ฒด๋ก ๊ฒํ ํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
Looker ์ธ์คํด์ค๋ฅผ ์ด๋ฏธ ์คํ ์ค์ธ ๊ฒฝ์ฐ BigQuery์ Looker๋ฅผ ์ฐ๊ฒฐํ๋ ๋ฐฉ๋ฒ ์๋ด๋ฅผ ์ฐธ์กฐํ์ธ์.
Looker ๋ฐ BigQuery ์์ํ๊ธฐ
BI Engine์ Looker๋ฅผ ํฌํจํ ๋ชจ๋ ๋น์ฆ๋์ค ์ธํ ๋ฆฌ์ ์ค(BI) ๋๊ตฌ์ ์ํํ๊ฒ ํตํฉ๋ฉ๋๋ค. ์์ธํ ๋ด์ฉ์ BI Engine ๊ฐ์๋ฅผ ์ฐธ์กฐํ์ธ์.
BigQuery ๋ฐ์ดํฐ ์ธํธ ๋ง๋ค๊ธฐ
์ฒซ ๋ฒ์งธ ๋จ๊ณ๋ BI Engine ๊ด๋ฆฌ ํ ์ด๋ธ์ ์ ์ฅํ BigQuery ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๋ง๋๋ ๊ฒ์ ๋๋ค. ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๋ง๋ค๋ ค๋ฉด ๋ค์ ๋จ๊ณ๋ฅผ ๋ฐ๋ฅด์ธ์.
Google Cloud ์ฝ์์์ BigQuery ํ์ด์ง๋ก ์ด๋ํฉ๋๋ค.
ํ์ ํจ๋์ ํ์๊ธฐ ํจ๋์์ ํ๋ก์ ํธ ์ด๋ฆ์ ํด๋ฆญํฉ๋๋ค.
์ธ๋ถ์ ๋ณด ํจ๋์์
์์ ๋ณด๊ธฐ๋ฅผ ํด๋ฆญํ ํ ๋ฐ์ดํฐ ์ธํธ ๋ง๋ค๊ธฐ๋ฅผ ํด๋ฆญํฉ๋๋ค.๋ฐ์ดํฐ ์ธํธ ๋ง๋ค๊ธฐ ํ์ด์ง์์ ๋ค์์ ์ํํฉ๋๋ค.
- ๋ฐ์ดํฐ ์ธํธ ID์
biengine_tutorial
๋ฅผ ์ ๋ ฅํฉ๋๋ค. ๋ฐ์ดํฐ ์์น์์ ๊ณต๊ฐ ๋ฐ์ดํฐ ์ธํธ๊ฐ ์ ์ฅ๋ ๋ฉํฐ ๋ฆฌ์ ์์น์ ํด๋นํ๋ us(๋ฏธ๊ตญ ๋ด ์ฌ๋ฌ ๋ฆฌ์ )๋ฅผ ์ ํํฉ๋๋ค.
์ด ํํ ๋ฆฌ์ผ์์๋ ํ ์ด๋ธ ๋ง๋ฃ ์๊ฐ ์ฌ์ฉ ์ค์ ์ ์ ํํ ํ ํ ์ด๋ธ์ด ๋ง๋ฃ๋๊ธฐ ์ ์ ์ผ ์๋ฅผ ์ง์ ํ ์ ์์ต๋๋ค.
- ๋ฐ์ดํฐ ์ธํธ ID์
๋ค๋ฅธ ๊ธฐ๋ณธ ์ค์ ์ ๋ชจ๋ ๊ทธ๋๋ก ๋๊ณ ๋ฐ์ดํฐ ์ธํธ ๋ง๋ค๊ธฐ๋ฅผ ํด๋ฆญํฉ๋๋ค.
๊ณต๊ฐ ๋ฐ์ดํฐ ์ธํธ์์ ๋ฐ์ดํฐ๋ฅผ ๋ณต์ฌํ์ฌ ํ ์ด๋ธ ๋ง๋ค๊ธฐ
์ด ํํ ๋ฆฌ์ผ์์๋ Google Cloud ๊ณต๊ฐ ๋ฐ์ดํฐ์ธํธ ํ๋ก๊ทธ๋จ์ ํตํด ์ ๊ณต๋๋ ๋ฐ์ดํฐ์ธํธ๋ฅผ ์ฌ์ฉํฉ๋๋ค. ๊ณต๊ฐ ๋ฐ์ดํฐ ์ธํธ๋ ์ฌ์ฉ์๊ฐ ์ก์ธ์คํ๊ณ ์ ํ๋ฆฌ์ผ์ด์ ์ ํตํฉํ ์ ์๋๋ก BigQuery๊ฐ ํธ์คํ ํ๋ ๋ฐ์ดํฐ ์ธํธ์ ๋๋ค.
์ด ์น์ ์์๋ San Francisco 311 ์๋น์ค ์์ฒญ ๋ฐ์ดํฐ ์ธํธ์ ๋ฐ์ดํฐ๋ฅผ ๋ณต์ฌํ์ฌ ํ ์ด๋ธ์ ๋ง๋ญ๋๋ค. Google Cloud ์ฝ์์ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ํ์ํ ์ ์์ต๋๋ค.
ํ ์ด๋ธ ๋ง๋ค๊ธฐ
ํ ์ด๋ธ์ ๋ง๋ค๋ ค๋ฉด ๋ค์ ๋จ๊ณ๋ฅผ ๋ฐ๋ฅด์ธ์.
Google Cloud ์ฝ์์์ BigQuery ํ์ด์ง๋ก ์ด๋ํฉ๋๋ค.
ํ์๊ธฐ ํจ๋์์
san_francisco_311
์ ๊ฒ์ํฉ๋๋ค.ํ์๊ธฐ ํจ๋์์ san_francisco_311์ ํ์ฅํ๊ณ 311_service_requests ํ ์ด๋ธ์ ํด๋ฆญํฉ๋๋ค.
ํ์๊ธฐ ํด๋ฐ์์ ๋ณต์ฌ๋ฅผ ํด๋ฆญํฉ๋๋ค.
ํ ์ด๋ธ ๋ณต์ฌ ๋ํ์์์ ๋์ ์น์ ์์ ๋ค์์ ์ํํฉ๋๋ค.
- ํ๋ก์ ํธ ์ด๋ฆ์ ๋ํด ์ฐพ์๋ณด๊ธฐ๋ฅผ ํด๋ฆญํ ํ ํ๋ก์ ํธ๋ฅผ ์ ํํฉ๋๋ค.
- ๋ฐ์ดํฐ ์ธํธ ์ด๋ฆ์ ๋ํด biengine_tutorial์ ์ ํํฉ๋๋ค.
ํ ์ด๋ธ ์ด๋ฆ์
311_service_requests_copy
์ ์ ๋ ฅํฉ๋๋ค.
๋ณต์ฌ๋ฅผ ํด๋ฆญํฉ๋๋ค.
์ ํ์ฌํญ: ๋ณต์ฌ ์์ ์ด ์๋ฃ๋ ํ
PROJECT_NAME
> biengine_tutorial์ ํ์ฅํ๊ณ 311_service_requests_copy > ๋ฏธ๋ฆฌ๋ณด๊ธฐ๋ฅผ ํด๋ฆญํ์ฌ ํ ์ด๋ธ ์ฝํ ์ธ ๋ฅผ ํ์ธํฉ๋๋ค.PROJECT_NAME
์ ์ด ํํ ๋ฆฌ์ผ์ Google Cloud ํ๋ก์ ํธ ์ด๋ฆ์ผ๋ก ๋ฐ๊ฟ๋๋ค.
BI Engine ์์ฝ ๋ง๋ค๊ธฐ
Google Cloud ์ฝ์์ ๊ด๋ฆฌ์์ BI Engine ํ์ด์ง๋ก ์ด๋ํฉ๋๋ค.
์์ฝ ๋ง๋ค๊ธฐ๋ฅผ ํด๋ฆญํฉ๋๋ค.
์์ฝ ๋ง๋ค๊ธฐ ํ์ด์ง์์ BI Engine ์์ฝ์ ๊ตฌ์ฑํฉ๋๋ค.
- ํ๋ก์ ํธ ๋ชฉ๋ก์์ Google Cloud ํ๋ก์ ํธ๋ฅผ ํ์ธํฉ๋๋ค.
- ์์น ๋ชฉ๋ก์์ ์์น๋ฅผ ์ ํํฉ๋๋ค. ์์น๋ ์ฟผ๋ฆฌ ์ค์ธ ๋ฐ์ดํฐ ์ธํธ ์์น์ ์ผ์นํด์ผ ํฉ๋๋ค.
์ฉ๋(GiB) ์ฌ๋ผ์ด๋๋ฅผ ์์ฝํ ๋ฉ๋ชจ๋ฆฌ ์ฉ๋์ ๋ง๊ฒ ์กฐ์ ํฉ๋๋ค. ๋ค์ ์์๋ ์ฉ๋์ 2GiB๋ก ์ค์ ํฉ๋๋ค. ์ต๋๊ฐ์ 250GiB์ ๋๋ค.
๋ค์์ ํด๋ฆญํฉ๋๋ค.
์ํ๋ ๊ฒฝ์ฐ ์ ํธ ํ ์ด๋ธ ์น์ ์์ BI Engine์ผ๋ก ๊ฐ์ํํ ํ ์ด๋ธ์ ์ง์ ํฉ๋๋ค. ํ ์ด๋ธ ์ด๋ฆ์ ์ฐพ์ผ๋ ค๋ฉด ๋ค์์ ์ํํฉ๋๋ค.
- ํ
์ด๋ธ ID ํ๋์ BI Engine์์ ๊ฐ์ํํ๋ ค๋ ํ
์ด๋ธ ์ด๋ฆ์ ์ผ๋ถ(์:
311
)๋ฅผ ์ ๋ ฅํฉ๋๋ค. ์ ์๋ ์ด๋ฆ ๋ชฉ๋ก์์ ํ ์ด๋ธ ์ด๋ฆ์ ์ ํํฉ๋๋ค.
์ง์ ๋ ํ ์ด๋ธ๋ง ๊ฐ์ํํ ์ ์์ต๋๋ค. ์ ํธ ํ ์ด๋ธ์ ์ง์ ํ์ง ์์ผ๋ฉด ๋ชจ๋ ํ๋ก์ ํธ ์ฟผ๋ฆฌ๊ฐ ๊ฐ์ํ๋ ์ ์์ต๋๋ค.
- ํ
์ด๋ธ ID ํ๋์ BI Engine์์ ๊ฐ์ํํ๋ ค๋ ํ
์ด๋ธ ์ด๋ฆ์ ์ผ๋ถ(์:
๋ค์์ ํด๋ฆญํฉ๋๋ค.
ํ์ธ ๋ฐ ์ ์ถ ์น์ ์์ ์ฝ๊ด์ ๊ฒํ ํฉ๋๋ค.
์ฝ๊ด์ ๋์ํ๋ฉด ๋ง๋ค๊ธฐ๋ฅผ ํด๋ฆญํฉ๋๋ค.
์์ฝ์ ํ์ธํ๋ฉด ์ธ๋ถ์ ๋ณด๊ฐ ์์ฝ ํ์ด์ง์ ํ์๋ฉ๋๋ค.
Looker๋ฅผ ์ฌ์ฉํด ์ฐ๊ฒฐ
๋ค์ ์๋ด์์๋ BigQuery๋ก Looker๋ฅผ ์ค์ ํ๋ ๋ฐฉ๋ฒ์ ๋ณด์ฌ์ค๋๋ค.
- Looker์ ๊ด๋ฆฌ์๋ก ๋ก๊ทธ์ธํฉ๋๋ค.
BigQuery์ ๋ํ Looker ๋ฌธ์์์ ๋ค์ ์น์ ์ ์๋ฃํฉ๋๋ค.
๊ฐ๋ฐ ํญ์ ํด๋ฆญํ๊ณ ๊ฐ๋ฐ ๋ชจ๋๋ฅผ ์ ํํฉ๋๋ค.
๋ฐ์ดํฐ ์ธํธ์ LookML ๋ชจ๋ธ ๋ฐ ํ๋ก์ ํธ๋ฅผ ์์ฑํฉ๋๋ค. ์์ธํ ๋ด์ฉ์ Looker๋ฅผ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ฐ๊ฒฐํ๋ ๋ฐฉ๋ฒ ์๋ด๋ฅผ ์ฐธ์กฐํ์ธ์.
ํ์ ๋ฉ๋ด๋ฅผ ์ฌ์ฉํ์ฌ ์ ๋ชจ๋ธ ํ์ผ ์ด๋ฆ Explore 311_service_requests_copy(๋๋ ์ฌ์ฉ์๊ฐ ํ์ํ ์ด๋ฆ์ด ์ง์ ๋)์ ์ฐ๊ฒฐ๋ ํ์์ผ๋ก ์ด๋ํฉ๋๋ค.
Looker๋ฅผ BigQuery์ ์ฑ๊ณต์ ์ผ๋ก ์ฐ๊ฒฐํ์ต๋๋ค. Looker์ ์์คํ ํ๋ ๊ธฐ๋ฅ์ ์ฌ์ฉํ์ฌ Looker ์ฌ์ฉ ๋ณด๊ณ ์๋ฅผ ์์ฑํ๊ณ BigQuery ๊ด๋ จ ์ฑ๋ฅ ์ธก์ ํญ๋ชฉ์ ๋ํ ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ๋ถ์ํ ์ ์์ต๋๋ค. ๋ค์ํ BigQuery BI Engine ์ฟผ๋ฆฌ ์ฑ๋ฅ ์ธก์ ํญ๋ชฉ์ ์ดํด๋ณด๋ ค๋ฉด BigQuery BI Engine ์ธก์ ํญ๋ชฉ์ ์ฐธ์กฐํ์ธ์.
์ญ์
์ด ๋น ๋ฅธ ์์์์ ์ฌ์ฉ๋ ๋ฆฌ์์ค์ ๋ํ ๋น์ฉ์ด Google Cloud ๊ณ์ ์ ์ฒญ๊ตฌ๋์ง ์๊ฒ ํ๋ ค๋ฉด ํ๋ก์ ํธ ๋๋ BI Engine ์์ฝ์ ์ญ์ ํ๊ฑฐ๋ ๋ ๋ค ์ญ์ ํ๋ฉด ๋ฉ๋๋ค.
ํ๋ก์ ํธ ์ญ์
๋น์ฉ์ด ์ฒญ๊ตฌ๋์ง ์๋๋ก ํ๋ ๊ฐ์ฅ ์ฌ์ด ๋ฐฉ๋ฒ์ ํํ ๋ฆฌ์ผ์์ ๋ง๋ ํ๋ก์ ํธ๋ฅผ ์ญ์ ํ๋ ๊ฒ์ ๋๋ค.
ํ๋ก์ ํธ๋ฅผ ์ญ์ ํ๋ ๋ฐฉ๋ฒ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ํ๋ก์ ํธ์ ๋ชจ๋ ํญ๋ชฉ์ด ์ญ์ ๋ฉ๋๋ค. ์ด ํํ ๋ฆฌ์ผ์ ๊ธฐ์กด ํ๋ก์ ํธ๋ฅผ ์ฌ์ฉํ ๊ฒฝ์ฐ ํ๋ก์ ํธ๋ฅผ ์ญ์ ํ๋ฉด ํ๋ก์ ํธ์์ ์ํํ ๋ค๋ฅธ ์์ ๋ ์ญ์ ๋ฉ๋๋ค.
- ์ปค์คํ ํ๋ก์ ํธ ID๊ฐ ์์ค๋ฉ๋๋ค. ์ด ํ๋ก์ ํธ๋ฅผ ๋ง๋ค ๋ ์์ผ๋ก ์ฌ์ฉํ ์ปค์คํ ํ๋ก์ ํธ ID๋ฅผ ๋ง๋ค์์ ์ ์์ต๋๋ค. appspot.com URL๊ณผ ๊ฐ์ด ํ๋ก์ ํธ ID๋ฅผ ์ฌ์ฉํ๋ URL์ ๋ณด์กดํ๋ ค๋ฉด ์ ์ฒด ํ๋ก์ ํธ๋ฅผ ์ญ์ ํ๋ ๋์ ํ๋ก์ ํธ ๋ด์ ์ ํ๋ ๋ฆฌ์์ค๋ง ์ญ์ ํ์ธ์. ์ฌ๋ฌ ํํ ๋ฆฌ์ผ๊ณผ ๋น ๋ฅธ ์์์ ์ดํด๋ณด๋ ค๋ ๊ฒฝ์ฐ ํ๋ก์ ํธ๋ฅผ ์ฌ์ฌ์ฉํ๋ฉด ํ๋ก์ ํธ ํ ๋น๋ ํ๋ ์ด๊ณผ๋ฅผ ๋ฐฉ์งํ ์ ์์ต๋๋ค.
Google Cloud ์ฝ์์์ ๋ฆฌ์์ค ๊ด๋ฆฌ ํ์ด์ง๋ก ์ด๋ํฉ๋๋ค.
ํ๋ก์ ํธ ๋ชฉ๋ก์์ ์ญ์ ํ๋ ค๋ ํ๋ก์ ํธ๋ฅผ ์ ํํ ํ ์ญ์ ๋ฅผ ํด๋ฆญํฉ๋๋ค.
๋ํ์์์์ ํ๋ก์ ํธ ID๋ฅผ ์ ๋ ฅํ๊ณ ์ข ๋ฃ๋ฅผ ํด๋ฆญํ์ฌ ํ๋ก์ ํธ๋ฅผ ์ญ์ ํฉ๋๋ค.
์์ฝ ์ญ์
๋๋ ํ๋ก์ ํธ๋ฅผ ์ ์งํ๋ ค๋ ๊ฒฝ์ฐ ์ฉ๋ ์์ฝ์ ์ญ์ ํ์ฌ ์ถ๊ฐ์ ์ธ BI Engine ๋น์ฉ์ ๋ฐฉ์งํ ์ ์์ต๋๋ค.
์์ฝ์ ์ญ์ ํ๋ ค๋ฉด ๋ค์ ๋จ๊ณ๋ฅผ ๋ฐ๋ฅด์ธ์.
Google Cloud ์ฝ์์ ๊ด๋ฆฌ์์ BI Engine ํ์ด์ง๋ก ์ด๋ํฉ๋๋ค.
์์ฝ ์น์ ์์ ์์ฝ์ ์ฐพ์ต๋๋ค.
์์ ์ด์์ ์์ฝ ์ค๋ฅธ์ชฝ์
์์ด์ฝ์ ํด๋ฆญํ๊ณ ์ญ์ ๋ฅผ ์ ํํฉ๋๋ค.์์ฝ์ ์ญ์ ํ์๊ฒ ์ด์? ๋ํ์์์์ ์ญ์ ๋ฅผ ์ ๋ ฅํ๊ณ DELETE๋ฅผ ํด๋ฆญํฉ๋๋ค.
๋ค์ ๋จ๊ณ
Looker ๊ด๋ฆฌ, ๋ฐ์ดํฐ ๋ชจ๋ธ ๋ง์ถค์ค์ , ์ฌ์ฉ์์๊ฒ ๋ฐ์ดํฐ ๋ ธ์ถ๊ณผ ๊ด๋ จ๋ ๋ค์ํ ์ถ๊ฐ ์ต์ ์ด ์์ต๋๋ค. ์์ธํ ๋ด์ฉ์ ๋ค์ ๋ฆฌ์์ค๋ฅผ ์ฐธ์กฐํ์ธ์.