Качество данных — переломный момент (Парвати Менон)

«Данные — это ценная вещь, и они прослужат дольше, чем сами системы». Так сказал

Тим Бернерс-Ли, изобретатель всемирной паутины. «Драгоценный» при условии, что данные действительно заслуживают доверия и имеют гарантированное и постоянное качество. И клиенты, несомненно, признали тот факт, что качество данных действительно составляет основу всех их инициатив по управлению данными и аналитике.

Но тогда к чему весь фурор вокруг качества данных и шлейф начинаний вокруг него. . Что чаще всего сбивает с толку клиентов, так это огромное количество контрольных точек на каждом этапе жизненного цикла данных. Благодаря множеству решений для управления данными, которые клиент имеет в своем системном ландшафте, а именно. Хранилища данных, витрины данных, решения для управления мастер-данными, озера данных и т. п., кажется, существует некоторый уровень неопределенности и скептицизма в подходе к качеству данных.

И если взглянуть на протяженность жизненного цикла данных, проблемы с качеством потенциально могут возникать на каждом этапе, прямо от источника до ETL или любых промежуточных преобразований программного обеспечения до консолидированных хранилищ данных и озер данных по всему миру и до он, наконец, ловит конечного пользователя или клиента в той или иной форме аналитической отчетности, пользовательского экрана и т. д. и это бум!!!!

Итак, среди разнообразия данных и систем, существующих на предприятиях, есть ли какое-нибудь жесткое и быстрое правило о том, что, где и как бороться с демоном качества данных. Ну очень, многое в нашем списке пожеланий. но тогда, если бы желания были лошадьми... Единственной целью программы качества данных должно быть обеспечение того, чтобы неприкосновенные данные были доступны для всех применимых бизнес-процессов, будь то внутренние или внешние потребители.

Вот список основных рекомендаций, которые могут помочь в реализации концепции качества данных вашей организации:

Категорируйте и расставляйте приоритеты для ваших данных:

Среди различных типов доступных данных, а именно. Основные данные, транзакционные / операционные данные, справочные данные, аналитические данные, может возникнуть острая необходимость очистить данные в пределах границ операционных или аналитических систем, поскольку это самое близкое место, где пользователи получают доступ к своим данным / используют их, но называя это Короткодействующее решение было бы преуменьшением, потому что, в конце концов, человек просто имеет дело с проблемой по мере ее возникновения, а не занимается ее ядром. Скорее имеет смысл взглянуть на категорию данных, которые действительно используются в масштабах предприятия, и это не что иное, как ваши основные бизнес-сущности: клиент, продукт, поставщик, сотрудник, активы, местоположение и т. д. Таким образом, очистка, обогащение Процессы Match и Survivorship, применяемые к основным данным, могут использоваться для создания наилучшей версии основной записи и, таким образом, обеспечения единого, унифицированного и согласованного представления ваших ключевых бизнес-объектов.

 Применяйте проверки на ранних этапах жизненного цикла:

Очищайте данные как можно ближе к источнику, и теперь это фундаментальная передовая практика и, конечно же, случай мусора на входе и выходе. Всегда лучше решать проблемы с качеством данных как можно ближе к источнику или, если уж на то пошло, на сам источник, так как это может сэкономить вам много усилий и средств. И как бы вы ни пытались очистить и стандартизировать данные в своих исходных системах, вы бы предпочли проводить проверки перед вводом, чтобы избежать необходимости очистки постфактум.

 Разные проблемы, разные задержки:

Определенные критические процессы в организации могут потребовать проверки качества данных в режиме реального времени, которая неизбежна для предотвращения любых мошеннических или двуличных действий. Примером является любая банковская операция. В отличие от меньшего процесса, влияющего на бизнес. В обоих случаях, как бы вы ни применяли принципы управления качеством данных, необходимо распознавать насущные потребности по сравнению с другими и соответствующим образом подходить к задаче.

Вовлечение бизнеса на каждом этапе:

Участие заинтересованных сторон бизнеса в пути обеспечения качества данных невозможно переоценить. С самого начала пути DQ, известного как оценка качества, до очистки и дедупликации данных, ожидается очень высокий уровень участия со стороны бизнеса. И нет необходимости говорить о том, что обязательства бизнеса и спонсорство программы качества данных означают вероятность ее успеха.

 Установите замкнутый цикл процесса исправления:

Эта непрерывная непрерывная деятельность по оценке, очистке, организации гарантирует, что данные подходят для цели и используются в любое время, а не проводится разовая деятельность или в ответ на сообщение об ошибке или эскалацию.

 Внедрите Agile-спринты:

Можно назвать комбинацию Agile и DQ союзом, заключенным на небесах. Принятие гибкого подхода в вашей программе качества данных может помочь значительно сократить задержку, возникающую из-за задержки обратной связи с заинтересованными сторонами. Гибкий подход в DQ помогает ускорить весь процесс, поскольку заинтересованные стороны бизнеса могут играть роль менеджера по продукту, и, кроме того, поскольку спринт будет сосредоточен на определенной области бизнеса, он обеспечивает более быстрый анализ и, следовательно, более быстрые результаты (значение в Agile).

 Используйте наборы инструментов:

Захват огромных объемов данных из разрозненных систем и попытка проанализировать данные, чтобы раскрыть их истинную ценность, может оказаться довольно сложной задачей для аналитиков, поскольку этот процесс не только громоздкий вручную, но также неэффективен по времени и подвержен ошибкам. Имея множество наборов инструментов, доступных для профилирования и очистки данных, обработки данных, крайне важно, чтобы компании инвестировали в правильный инструмент, позволяющий компаниям действительно предоставлять ценную информацию наиболее оптимальным образом.

Постоянное внимание к качеству данных стоит каждой копейки инвестиций, поскольку это не только поможет укрепить доверие бизнеса к данным, но и поможет воспользоваться преимуществами всех других корпоративных решений, которые уже есть. 

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://www.finextra.com/blogposting/23987/data-quality–the-tipping-point?utm_medium=rssfinextra&utm_source=finextrablogs