企業數據質量管理的措施

一個完整的數據質量管理，是人、流程和技術的完美配合，才能達到我們數據質量管理的目標。那數據質量處理的流程是怎樣的呢?對於數據質量的處理，我們把它分成兩大部分，一是面向數據質量的分析過程，二是針對分析結果進行增強的過程。首先要識別和量化數據質量，然後定義數據質量和目標，接下來就要交給相關部門設計質量提升的流程，其後就是實現質量提升的過程，把原有低質量數據變成高質量數據，並交付給業務人員使用。同時，在整個環境中，還需要有相關的一些監控和對比來評估是否達成了目標，決定是否需要進行新一輪的數據質量提升。這是一個周而復始、螺旋上升的過程，並不是一蹴而就，一次就可以解決全部問題。

影響數據質量的因素主要來源於四方面：信息因素、技術因素、流程因素和管理因素。

　　信息因素：

主要有：元數據描述及理解錯誤、數據度量的各種性質(如：數據源規格不統一，信息系統編碼不規範)得不到保證和變化頻度不恰當;計算機處理系統的用户界面不方便用户的錄入，或是不符合用户常規的操作習慣，導致用户容易出錯或是錄入工作量大，對重要的錄入信息沒有加強效驗。

　　技術因素：

主要是指由於具體數據處理的各技術環節的異常造成的數據質量問題。數據質量問題的產生環節主要包括數據創建、數據獲取、數據傳輸、數據裝載、數據使用、數據維護等方面的'內容。

　　流程因素：

是指由於系統作業流程和人工操作流程設置不當造成的數據質量問題，主要來源於系統數據的創建流程、傳遞流程、裝載流程、使用流程、維護流程等各環節。

　　管理因素：

是指由於人員素質及管理機制方面的原因造成的數據質量問題。由於數據錄入人員的輸入失誤，或是違反操作流程，是造成數據質量不高一個重要原因。這個問題，可以從兩個方面來看待：數據錄入人員的責任心不強和業務素質不高。基層領導對數據質量的不重視，業務收入是基層的生命線，基層領導不會投入大量的人力和物力來抓數據質量，由於市場競爭的激烈，有時基層領導為了自身經濟利益甚至會讓錄入人員作出一些違規的操作，基層領導對數據的認識與管理與高層領導對數據的需求形成矛盾，這一矛盾是造成數據質量不高的一個核心矛盾。

新一代客户數據整合(CDI)軟件和主數據管理(MDM)軟件給數據質量的管理帶來了很大方便。但是，數據質量的保證僅靠軟件顯然是不行的。實際上，在整個數據質量的控制過程中，人仍然是關鍵因素。要想真正長期保證數據的高質量，還必須從以下方面着手。

　　提高對數據的認識，

我們只有認識到數據在管理中的重要作用，才會反過來重視數據質量問題。要讓企業的每一個員工都能認識到數據是企業重要的戰略資源，企業的一切決策都來源於數據。沒有正確的高質量的數據，就沒有正確的決策。

　　信息技術要得到保證，

採用先進的開發技術，開發出用户界面比較友好的系統，減少操作員的錄入工作量和出現錯誤的可能性;同時在開發前要充分考慮用户的需求，防止出現業務處理軟件不能滿足客户要求、操作員採取違規操作的現象。開發數據檢測、檢查工具，及時的發現數據質量問題，及時糾正。

　　完善制度管理，

在企業上下建立起完善的數據負責制度，並與員工的績效掛鈎，對於那些負責數據的產生、數據的合理化以及對數據進行清理和維護的人，應該給他們的活動制訂明確的指標，這樣他們才能真正理解人們到底希望他們達到什麼目標。有條件的企業可以成立專門的組織和機構負責數據管理工作。把責任落實到人，

　　建立數據標準，明確數據定義。

通常，獨立的應用系統會有一個比較模糊的、有時也會有比較清晰的數據標準和數據定義。為了保證系統的正常運行，這些系統的用户必須在數據的標準和數據的定義上達成一致。不過，這些標準和定義大多數時候與企業中其他系統中的數據標準和定義並不一致。因此，需要從整個企業的角度出發，建立統一的數據標準和數據定義，同時，整個企業必須就這個數據標準和數據定義達成共識。在具體建立新的數據標準和數據定義時，需要仔細權衡，哪些定義和標準是出於企業內部的原因(比如出於方便、習慣等)制訂的，哪些定義和標準是因為要有效反映外部的真實世界而制訂的。

建立一個可重複的數據收集、數據修改和數據維護流程。數據管理面臨的兩個主要挑戰是企業本身的複雜性和身份信息不斷變化。這兩個客觀原因的存在意味着企業的數據質量保證行動永遠沒有結束之日，因此，企業在制訂數據質量的保證措施和數據質量指標時，必須保證這些措施和指標能夠不斷重複。

在數據轉化流程中設立多個性能監控點。數據的質量高低可以根據最終用户的需求來評價，也可以通過與同類數據源的比較來評價，還可以通過與前一階段的數據質量進行比較來評價。但在制訂數據質量的戰略時，比較理想的辦法還是根據最終用户的需求來進行。不過這裏存在一個問題是，等到最終用户拿到數據時再針對數據的問題進行修正已經太遲了。一個有效的數據質量保證辦法是在每當數據發生轉換後就與前一時期進行比較，從而對數據質量進行評估。如果此前所採用的數據質量改進方法有助於提高最終用户的滿意度，那麼，這些中間指標的達標也預示着項目的最終成功。

對流程不斷進行改善和優化。我們常常聽到有人説，他們制訂了很多辦法來迅速而且大幅度提升數據的質量，但很少聽説最後他們能真正得到滿意的結果。其原因就在於數據的質量改進絕非一朝一夕的事情，而是一個持續的過程。正確的辦法是通過一個不斷改進的流程，持續不斷地排除錯誤、對數據進行整合和標準化，最後達到流程的自動化，從而降低數據質量，保證計劃的總體開銷。