Збір та стандартизація гетерогенних даних у хмарних аналітичних середовищах
Keywords:
гетерогенні дані, ETL-пайплайн, BigQuery, dbt, стандартизація данихAbstract
У статті розглянуто проблему інтеграції різнорідних за форматом і походженням даних у єдине хмарне сховище. Для її розв’язання запропоновано ETL-пайплайн на основі Apache Airflow, Google BigQuery та dbt. Описано трирівневу модель трансформації (Raw – Staging – Mart) і ключові операції стандартизації: уніфікацію типів, видалення дублікатів, заповнення пропусків і нормалізацію схем. Показано, що якість підготовлених даних визначає точність аналітичних метрик.
References
Data Lakes: A Survey of Functions and Systems / R. Hai, C. Koutras, C. Quix, M. Jarke. IEEE Transactions on Knowledge and Data Engineering. 2023. Vol. 35, № 12. P. 12571–2590. DOI: 10.1109/TKDE.2023.3270101.
Munappy A. R., Bosch J., Olsson H. H. Data Pipeline Management in Practice: Challenges and Opportunities. Lecture Notes in Computer Science. 2020. Vol. 12562. P. 168–184. DOI: 10.1007/978-3-030-64148-1_11.
Leveraging the Data Lake: Current State and Challenges / C. Giebler, C. Gröger, E. Hoos, H. Schwarz, B. Mitschang. Lecture Notes in Computer Science. 2019. Vol. 11708. P. 179–188. DOI: 10.1007/978-3-030-27520-4_13.
Yohannis T. K., Bandung Y., Purnama J. Heterogeneous data integration: Challenges and opportunities. PLOS ONE. 2024. Vol. 19, № 9. e0308101. DOI: 10.1371/journal.pone.0308101.
.Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics / M. Armbrust, A. Ghodsi, R. Xin, M. Zaharia. Proceedings of CIDR 2021. 2021. URL: https://people.eecs.berkeley.edu/ ~matei/papers/2021/cidr_lakehouse.pdf
Ilyas I., Abo Kh. M., Rekatsinas T. Data Cleaning: Overview and Emerging Challenges. ACM SIGMOD. 2022. URL: https://dl.acm.org/doi/10.1145/3514221.3522563
dbt documentation: How dbt works. dbt Labs. 2024. URL: https://docs.getdbt.com/docs/introduction
