– , Big Data. , Data Quality .
– . [1]:
1 ,
(Data Quality) – , , [1]. – . [2]. .
. (Data Mining) 5 . . , Machine Learning.
: [3]:
, , tables metadata, blank lines, NULLs, Errors in syntax. . Big Data Quality ETL- Apache Spark Airflow, , , GCP BigQuery [3]. Apache Airflow , Kubernetes Operator.
4 ,
, Data Quality . . , Informatica Data Quality, Microsoft Data Quality Services, Oracle Enterprise Data Quality, SAP Data Services, Talend Open Studio for Data Quality , Great Expectations. Gartner , , [4].
, Data Quality Management [2]:
. , Data Quality . (Data Steward). Data Quality Airbnb - .
1 ,
Apache Airflow, Spark
1. ?????? ?????????? Data Quality
2. ???????????????????? ?????????????????? ????????????
3. ???????????????????? ???????????????? ????????????
4. ???????????? ?? ????????????????
?????? ???????????? ?? ???????????????????????????? ?????????????? ?????????? ???? ????????????????, ????????????????????????????????????, ??????????????????????, ??????????????????????????, ????????????????????????, ??????????????????????, ??????????????????????, ??????????????????????????, ??????????????????????????. ???????????????????????? ???????????? ?????????????????????????? ?????????????????????? ?????????????????????????? ???????????????? ???????????? (Data Quality). ?????? ???????????????????????????? ???????????????????? ?????????????????????? ???????????? ?? ?????????????????? ?? ??????????????, ???? ???????????????????????? ???????????????????????? ?? ?????????????????????? ??????????????????????. ???? ?????????????????????? ???????????? ?????? ???????????? ???????????? ?????????? ?????????????? ?????? ????????????, ?????????????? ?? ???????? ????????????????, ?? ?????????? ???????????????? ????????????. ???????? ?? ???? ???? ???????????? ?????? ?????????????????????? ???????????? ?????????? ???????? ???????????????? ?????? ????????????, ?? ?????? ???????????????????? ??? ??????.
???????????? ???????????????? ???????????? ?? ???????????? ?? ?????? ?????????? ?? ???????????????? ?????? ???????????????????? ???????????????? ?? ???????? ????????????. ?????????? ????????????, ?????????????? ???????????????? ?? ?????? ??????????????????, ?? ?????????????????????? ???????????????????? ?? ?????????????????? ???????????? ???????? ??????????????????????????, ?????????????????????? ???????????? ???????????????? ??????????????????????, ?????????????? ?????????????????? ????????????????. ?????? ???????????? ?? ???????????????? ???????????? ???????????? ?????? ???????????????????? ???????????????????????????? ?? ???????????????????????? ????????????????. ?????????? ?????? ?????????????????????? ???????????? ?????????? ???????????????????????????? ???????????????? ???????????? ???? ???????????? ???????????????????? ???????????? ????????????????.
???????????? ?????? ????????????????, ?????? ???????? ???????????? ?? ?????????????????? ????????????: ???????????????????? ????????????????????-???????????????????? ??????????????????????, ?????????????? ????????????????????????, ?????????????????? ???????????????????? ????????????, ???????????????????? ???????????? ?? ???????????????????????? ???????? ?????? ?????????????????????? ??????????????????????????. ????????????????, ???????????????????? ?????????????? ?? ?????????????????????????????????????? ?????? ?????? ?????????????????????? ????????????.
???????????? ?????? ???????????????? ??? ???????????????????? ?????????????? Data Governance, ???????????????????? ???????????????????? ?? ?????????????????? ????????????????, ???? ???????????? ?? ?????????????????????? ???????????????? ???????????? ???? ?????? ????????????????, ?????????????? ???????????????? ????????????, ?????????? ????????????, ?????????????????? ?????????? ?? ?????????? ???????????????????????? ????????????, ???????????????????? ?????????????????????????? ?????? ???????????????? ???????????????????? ?????? ?? ??????????????. ?? ?????????? ???????????????? ?????????????? ???????????????????????????? ???????????????? ???????????????? ?? ?????????????????????? ???? ????????, ?????? ???????????????????? ????????????????????????.
?????????????? ???????????????? ?????????? ?? ?? ?????????????????? ???????????? ????????????. ????????????????, ?????? ?????????????????????????? ???????????????? ????????.
???????????????? ???????????? ?????????? ?????????????? ?? ????????????????????, ?????????????? ???????????????????????? ???????????????? ?? ???????????????????? ???????????????? ?? ?????????????????????? ??????, ???????????????? ?????????????????????? ?????????????????????? ???? ?????????????? ???????????????????? ????????????. ?????????????? ??????????????????????, ???????????????????????? ???? ???????????? ?? ?????????????????? ????????????, ???????????? ?????????????????? ?? ???????? ?????????? ?????????????????????????? ?? ??????????????, ?????????????? ???? ?????????????? ???? ???????? ???????????? (?????????? ?????????????????????? ???????????? ?? ?????????????? ???????????? ??????????????) ?? ?????????? ?????????????? ??????????????????????.
?? ???????????? ?????????????? ?????????????? ???????????? ???????????????? ?????????????????????? ?????????????? ???????? ???????????????? ???????????????? ????????????. ?????????????????????????????? ???????????? ?????????????????????? ???????????????? ?? ???????????????????????? ?????????????????? ??? ???????????????????????????? (???????????????????????????? ???????????? ????????????, ?????????? ???????????? ???? ?????????????? ??????????????????). ?????? ???????????????? ?? ???????? ???????????????????? ?????????????? ????????????, ?????????????? ?????????????????? ????????????????????, ?????? ???????????????????????? ???????????? ?? ?????????? ???????????? ???????????????????????? ????????????????????, ???????????? ?????? ??????????????, ???? ???????????????????????? ?? ?????????????????????? ????????????????, ?????????????? ????????????, ???????????????????????? ?????????????????????? ???? ????????????????????????, ?????????????????????????? ???? ???????????????? ????????????????.
???????????? ?????????????? ??? ???????????????? ???????????????? ????????????, ???????????????? ??????????????????????, ?????????????????????? ????????????????. ????????????????, ???????????????? ???? ???????????? ?? ???????????? ?????????? ?????????????? ???????????????? ????????????-??????????????????. ??????, ?????? ???????????????????????? ?????????????? ???????????????? ???????????????????? ?????????????? ???????????????????? ???????????? ?? ???????? ?????????? ?? ??.??.
???????????? ?????????????? ?????????????? ?? ???????????????????????? ???????????????????????????? ???????????????? ???????????? ?? ?????????????????????? ???????????????????? ????????????, ???? ???????????????? ???? ???????????? ???????????? ?? ????????????????????, ???????????????????????????? ????????????, ???? ???????? ???? ???????????????????? ?? ?????????????? ???????? ???? ????????, ?????? ???????????? ?????????? ???????????? ???????? (????????????????, ??????????, ?????????? ????????????????, e-mail).
?????????????????? ?????????????? ?????????????? ?????????????? ????????????????????, ?????????????? ???????????????????? ?????????????? ?????????????? ???????????????? ????????????, ?????????????????? ???????????? ???????????????? ?? ???? ???????????? ????????????, ?????????????? ???? ?????????????????????????? ???????????? ???????????????????? ?? ????????????????????????, ?????? ???????????????? ???????????????????? ?? ?????????????????? ???????? ????????????????.
?????????????? ???????????????????? ???? ???????????????????? ?????????????????? ???????????? ???????? ?? ?????????????? ???????????? DQ. ?????? ???????????? ?????????????????? ????????????: ?????????????????????? ???????????????? ????????????, ???????????????????? ?????????????? ?? ???????????????? ????????????, ?????????????????? ???????????????????? ?? ?????????????????????? ?????????????? ????????????, ???????????????????????????? ?? ???????????????????????? ????????????. ?????????????? ???????????????????????? ???????????????? ???????????? ?????????? ???????????????? ???????????????? ???????????? ????????????-??????????????????????????, ???????????????? ?? ?????????????????????? ???????????????? ???????????? ???? ???????????? ?????????????????????? ????????????????????, ?????????????? ?????????????? ???????????????? ???????????????? ????????????, ?????????????????? ???????????? ?????? ???? ????????????????, ?????????????????? ???????????????????? ?? ???????????????????? ????????????-?????????????? ?????? ???????? ?????????? ????????????, ?? ?????????? ?????????????????????? ???????????????? ???????????????? ?? ???????????????????????????? ???????????? ???? ???????? ????????????. ?????? ??????????????????, ???????????? ?????????????? ?? ????????????, ?????????????????????????????? ????????????-??????????????????????????????, ???????????????????????????? ?????????????????????? ???????????????????? ???????????????? ???????????? ?? ?????????????????????? ???????????????????? ???????????? ?? ???????????? ?????????????????? ???????????? ????????????????, ???????????????? ???????????????????? ???????????????? ???????????? ?? ???????????? ?????????? ???? ????????????????????????????.
?? ???????????????????? ?????????????????? ?????????? ???????????? ?? ?????????????? ?????????????? DQ ?? ???????????????? ?? Data Governance. ?????? ?????????? ?????????????????????? ??????????????????, ???????????????????????????????? ?????????????? ???????????? ?? ????????????????, ?????????? ?????????????????????? ?????????????? ???? ?????????????? ????????????, ?????????????????????? ?????????????????????? ?? ???????????????????? ?????????????????? ??????????????, ?????????????????? ?????????? ?????????????? ?????? ???????????????????? ???????????????????????? ??????????????. ?????????????? ???????????????? ?????????????? ?? ???????????????????????????????? ?????????????????? ????????????, ?????????????????????? ???????????? ?? ???????????????? ?? ???????????????????????????????? ????????????????????, ???????????????????????????? ???????????????????????? ???????????? ?? ??????????????. ???????????????? ???????????? ???????????????????????????? ???? ???????? ???????????????????? ??????: ???????????????????? ????????????, ???? ??????????????????, ?????????????? ?? ???????????????? ??????????????????????????????, ?? ?????????? ???????????????????? ?????????????????????? ?? ???????????????? ??????????????????????.
?????????????? ???????????????? ???????????? ?????????? ???????? ????????????????????????. ???????? ???????????????? ???????????? ???????????????? ???????????? ?? ??????????????, ?????????????? ???????????????????????? ??????????????????????. ?? ?????? ??????????????????:
???????? ?????????? ???????????????????????????????? ??????????????, ?????????????? ?????????? ???????????????????????? ????????????-????????????????????????. ????????????????, ???????????????????? ????????????, ?????????? ?????? ???? ?????????????????????? ?????? ?????????????????????????? ???????????? ????????????????????, ?????? ?????????????????????? ?????????????????????????? ???????????? ?? ?????? ?????? ???????? ??????????????????. ??????????????????????, ?????????????? ???????????????? ???? ???????????????? ????????????, ???????????? ?????????? ???????????????? ?? ???????????????????? ?? ???????????????????????? ???? ???????????????????????????? ????????????. ???? ?????? ?????????? ???????????????????????? ?? ?????????????????? ?? ?????????? ???????????? ???????????????? ????????????, ?????????????? ??????????????????????, ?????????????? ???????? ???? ??????????, ???????????????????? ???????? ?????????? ?????????????????? ??????????????, ??????????????????, ???? ???? ???????????????? ???? ???????????? ???????????????? ???????????? ?????? ???? ???????????????????????? ?????????????????????? ???????????? ?? ???????????????? ???????????????? ?????? ????????????-??????????????.
???????? ?????????? ?????????????? ???????????????????????????????? ???????????? (???????????????? ???? ????, ?????? ???????????? ???????????????? ???? ?????????????? ??????????????????), ?????????????????????????????? ????????????, ???????????????????????? ???????????????? ???????????? ?? ?????????????? ??????????????????????????, ?????????????? ???? ??????????????????, ???? ???????????????????????? Data Governance ??? ?????????????????? ?????? ???????????????????? ???????????????????????????? ??????????????. ?????? ?????????????????? ???????????? ???????????????? ?????????? ????????????, ?????????????????????? ???????????? ???????????????????? ????????????, ???????????????????????? ?????????????? ?????????? ????????????????, ?????????????????????????? ??????????. ?????????????? ???????????????????????? ???????????????????????? ???????????? ?? ????????????, ?????????????????????????? ???????????????????? ???????????? ?? ???????? ?? ?????????????????? ??????????????????, ?????? ???????????? ???????????? ???? ????????????.
?????????? ???????????? ???????? ?????????? ?????????????????????? ?????????????????? ????????????. ?? ?????????????????? ?????????????? ?? ?????????????????????? ???? ?????????????????????? ???????????????????? ???????????????????? ?? ?????????????? ?????????????????? ?????????? ???????????? ?????????? ?????????????????? ?????????????????????????? ?? ???????????????????????????? ?? ???????????????????????? ????????????. ????????????????, ?? ?????????? ?????? ???????????????? ?????????????? ?????????????????????? ?????????????????????? ???????????????? ???????????????? ????????????, ?????? ???????????? ???????????? ?????????????????? ??????, ???????? ?? ?????????? ???????????????? ??????????????. ?? ???????? ???????????? ????????????????????, ?????? ?????????? ???????????????? ?????????????? ???????????? ?? 2% ????????????????. ?????????? ???????????? ?????????? ???????????????????????? ???????????? ?? ???????????????????????? ????????????????, ?? ?????? ?????????????????????? ?????????????????????? ???? ????????????????????????.
?????????? ???????????? ???? ?????????? ?????????????????? ?????????????????????????????? ????????????. ????????????????, ?????????? ?????????? ?????????? ???????????????? ?????? ???????????? (???????????????? ?? ???????????????????????? ?????????????? ???????????? ?????????? ???????????????????????? ?????? ????????????), ???????????????? (??????????????????, ???????????????? ?? ????.), ???????????????? ?????????? ????????????????.
???????????? ?????????????????????? ???????????????????????????? ????????????. ?????? ??????????????????, ?????????? ?????? ???????????????? ?? ???????????? ???????????? ???????????????????????? ???????? ??????????.
?????? ?????????????????? ???????????? ???? ?????????? ?????????????????? ??????????????, ?????????????????????????? ?????? ???????????? ???????????????????????? ?????????????????????? ???????????????? ????????????, ?????? ?????????????????? ???????????? ?? ?????????????? ????????????????. ?????????????????????? ???????????? ???????????????? ?? ???????? ???????????? ???????????? ???????????? (???????????????????????? ???????????????? ?????????????????? ????????????, ?????????????? ?????????????????????????? ????????????, ?????????????????????? ??????????????, ???????????????? ???? ?????? ????????????????), ?????????????? ?? ???????????????????????????? (?????????????????????????? ?????????????? ?? ?????????? ???????????? ?? ?????????????????? ????????????????????, ?????????????????????? ?? ?????????????????????????????? ?????? ?????????????????? ???????????????? ????????????????), ?????????????????????????? ???????????? (?????????????????? ???????????????????? ???????????? ?? ???? ??????????????????????), ???????????????????? ?????????? ???????????? ?? ???? ????????????????????. ?????? ?????? ???????????????????????? ???????????? ?????????????? ?? ?????????????????? ?????????? ???????????? ???????????????? ???????????? ?? ?????????????????? ????????????.
?????????????????????????????????? ???????????? ???????????????????????? ???????????????? ?????????????????????? ????????????-??????????????, ???????????????????? ???????????? ?????????????????????????? ????????????????????????, ?????????????????????????????? ?????????????? ?????????????????? ?? ??????????????. ?????????????? ?????????????? ?? ?????????? ???????????? ?? ???????????????????? ?????????????????? ???????????? ?????? ???????????????????? ?? ???????????? ??????????????.
??????????: ???????? ??????????????????, ?????????????????????? ???????????????? DIS Group
????????????????????
аналитика форекс gbp кaртa мирa форекс вспомогательные индикаторы форекс как платят налоги трейдеры валютного рынка форекс лучшие индикаторы для входа индикаторы измерения температуры щитовые дмитрий котенко форекс клипaрт для форекс имхо на форексе дц форекс брокер отзывы безрисковая комбинация форекс индикаторы рынка ферросплавов