2019年第22期特码资料
行業洞察
首頁 >  行業洞察 >  專家交流 >  專家觀點丨一把打開數據“寶藏”的鑰匙——銀行外部數據的管理與利用

專家觀點丨一把打開數據“寶藏”的鑰匙——銀行外部數據的管理與利用

  • 發布時間:2018-12-21
  • 來源:
  •   
  • 打印

從客戶畫像構建到客戶行為預測,從風險防控預判到優化業務模式,隨著互聯網思維和大數據技術在銀行不斷的深入,數據已經成為銀行最重要的資產,實現對數據的有效利用已成為銀行的核心競爭力之一。

2018年5月,銀保監會正式發布《銀行業金融機構數據治理指引》,明確高質量數據是提升銀行經營管理效率和提升監管效能的基礎,同時也指出銀行業現階段對數據的利用和治理還存在較多問題,主要表現在數據準確性和完成性欠缺,時效性和適用性不足。

引入外部數據的必要性

銀行為什么要引入外部數據?2018年初,中國農業銀行首次大批量引入司法、海關、網絡輿情三大類外部數據到其信貸管理系統群,試圖結合“大數據+AI”技術,在信用風險管控領域建立客戶統一視圖。

外部數據,很大程度上解決了銀行數據獲取來源片面、單一的問題。例如:在全面風險預測分析時,銀行就很難通過自身的積累數據來實現。因此,銀行往往會通過引入大量外部數據,實現內外部數據的結合,使碎片化、非結構化的數據成為可深挖、有價值的有效數據。

銀行大數據——數據源三極

隨著互聯網思維和大數據技術在銀行業的不斷深入,外部數據的引進和利用逐漸被重視。部分銀行已將外部數據作為重要資產,并嘗試進行保值,發揮其潛在價值。然而,面對如此浩瀚且參差不齊、種類繁多的外部數據,多數銀行束手無策。試想,如果沒有很好的機制保證,銀行就盲目、倉促地引入外部數據,不僅造成成本的浪費,還可能產生負面效果,無異于作繭自縛,得不償失。

利用外部數據所面臨的挑戰

數據服務商提供的接口規范是不統一的,使用的技術也不盡相同(目前有通信協議、報文格式、報文方法等),而銀行大多數是使用系統采集程序開發的方式進行API接入,兩者接入的方式、方法、技術等各不相同。這直接導致銀行在接入外部數據時會遇到各種麻煩:

1、各個系統自行接入,維護難度極大。一個系統可能會接入很多的外部數據,同樣一個外部數據可能被不同系統多次的接入,這種網狀接口,給銀行IT管理和維護帶來極大的難度。

2、技術實施難度大,工作量高。外部數據服務商提供的接口通信協議、報文格式、報文方式和認證機制等不盡相同,技術上的適配很難滿足行內系統的相關規范,如果要實現的話,就需要對行內系統進行大量改造,工程量也就相應大幅提升。

3、數據難以落地,無法共享和二次使用。實際上,數據服務商是以API和接口的形式提供數據服務的,并不是將外部數據直接拷貝到銀行本地的。因此,銀行通過API的調用獲取報文數據,無法直接“進入”行內系統的業務邏輯,是需要轉發的。同時,如果所有數據均通過API訪問的話,就無法再進行數據共享了。換句話說,這個共享源不在銀行內部,從而使得數據無法二次利用。當然,不能共享和二次利用,必然會導致額外的訪問費用和成本。

4、計費計量無依據。雖然計費方式有多種,但數據服務商多數仍通過訪問次數來計量,而銀行對于外部數據的接入多是無序的,不能集中化管理,因此無法度量訪問次數,無法準確計算費用。

如何發揮外部數據最大價值?

一、建立有序合理的外部數據引入機制

如上這些問題,其根源在于沒有建立合理的外部數據引入機制。那么,這個機制到底是什么呢?其實就是建立一個外部數據“流入”機制,方法如下:

1、將外部數據API以服務的形式整合到行內服務資源庫中。當前,大多數銀行都建立了企業級服務總線,進行了行內服務的梳理,而一個外部數據接口或者API,本身就是一個服務,我們只需要讓其流入到行內資源服務庫中,成為其中一個分子,這也完全符合面向服務的設計理念。因此這也叫做服務流入。

2、讓外部數據能夠落地,參與到數據計算和業務邏輯的計算中來。要想數據得到共享、二次利用,尤其是參與業務邏輯判斷和計算中,必須將數據落地下來,變成結構化數據,并且與內部數據進行融合,能夠形成一致的數據邏輯。因此這個也叫做數據流入。

外部數據引入機制,實際上就是服務流入和數據流入。我們都知道,在銀行有兩條高速公路,一條是服務總線即ESB,另一條是數據總線即DSB,外部數據流入機制就是把兩者結合在一起。事實上,銀行也非常重視這樣的平臺建設,例如有的銀行規劃了統一外部數據采集平臺或者外部數據接口管理平臺等,以此打造自己的數據ESB。

二、內外結合的數據整合處理機制

外部數據流入之后,要想進行更好的使用,必須進行外部數據的整合,且與內部數據進行有效融合。外部數據有三個最重要的特征,那就是離散度高、數據精確識別性差以及數據質量普遍性不高。因此,外部數據的整合也是至關重要的。

1、外部數據識別。銀行對于數據要求是非常準確的,但是外部數據往往不夠精確。如何識別這些外部數據,是外部數據整合和利用的前提。

2、外部數據質量。外部數據往往是離散的,數據關聯度差、數據上下文缺失,缺少統一的數據規范和數據標準,這個原始數據很難與銀行內部數據進行融合,達到使用的效果。

3、內外數據整合。很顯然,如果外部的數據,不能很好的進行整合,形成干凈、規范、一致的數據,數據價值是無法被挖掘的。

那如何進行數據的整合呢?其實就是對外部的數據加工和處理。首先,數據關聯及識別。數據關聯的核心是數據項的識別,也就是通過一定的信息能夠識別出來這是哪個具體的、確切的客戶信息和數據實體。通常,外部的最常見的關聯項就是客戶信息,因此對客戶的一致性識別是外部數據關聯和整合的基礎。

其次,數據清洗與轉換。數據清洗與轉換是數據質量保證的重要措施,針對外部數據,為了保證其數據質量,往往有如下關鍵措施:

● 統一標準的碼值轉換

● 數據同類項的優先合并

● 數據格式的標準化處理

● 無價值干擾數據項剔除

最后,數據整合。在數據質量有所保障的前提下,實現外部數據項與數據項、數據實體與數據實體之前的關聯,并且能夠形成正確的數據視圖。

我們處理銀行內部數據時,這些數據關系是依賴于銀行各個源系統或者業務邏輯來提供支撐的,即先有了數據實體關系和業務邏輯,自然就有了數據關系。但是外部數據就沒有這么幸運,這些數據之間的關系需要我們去發現,尋出數據關系。當然,外部數據的整合也可以按照一定的領域主題或者特定應用主題進行數據整合,建立數據視圖。除此之外,適當與銀行內部數據進行關聯與整合,就能形成更加完整的數據視圖。比如針對客戶信息,就能夠形成客戶360度視圖。

三、基于場景的業務應用使用機制

引入外部數據的目的是發揮其價值,能夠應用在銀行業務環節中。針對外部數據的應用,人們往往首先想到的是獲客、精準營銷、風險識別等,這些都是外部數據使用的目的。對于銀行業務來講,脫離了銀行內部數據、銀行應用場景的外部數據應用都是不能發揮外部數據價值的,因此必須以應用場景為基礎,來實現內外部數據結合。

如何實現呢?

1、批量數據挖掘。以銀行內部數據為根本,以外部數據為補充,豐富數據項和信息緯度,利用多維建模和數據挖掘算法,發現數據價值。即便如此,所謂的數據挖掘和分析,也必須是建立在特定的目的基礎之上的。

在這點上,有的銀行建立專門的數據挖掘平臺或者專家系統,來實現風險預測、信貸違約預警等。

2、實時業務服務。外部數據大如浩海,不是所有的外部數據都是有用的,必須進行有選擇的使用,應用在恰當的場景中。比如實時的引入外部數據來判斷客戶黑名單及司法信息、企業稅收狀況、輿情事件等。

3、業務模式創新。大數據從來就不是技術的問題,而是業務模式的問題。利用外部數據資源,形成一個獨特的業務模式,這種創新本身就是大數據應用,也是外部數據利用的有效方式。這種業務模式往往應用于特定領域,比如利用小微企業的稅收信息進行授信評估和信貸業務、利用土地權證的信息進行農戶授信等。

總之,外部數據的利用必須要以銀行內部數據為基礎,并結合具體的、特定的應用場景,才能充分挖掘和利用好其內在的價值。

數據流入服務、數據落地治理、場景應用為先、促進業務創新、合理節約費用、數據高效應用,這才是銀行對于外部數據管理和利用的關鍵所在。

2019年第22期特码资料