福彩中心投注站
連接安全與變革
股票代碼:831194

釋放數據價值

大數據案例

某銀行卡聯合組織大數據平臺

行業痛點

  • 用戶群體龐大,可能涉及全球多個地域與國家的幾十億人口;

  • 需要從數據中進行價值挖掘;

  • 大量的消費,轉賬,投資等操作,由此帶來海量的交易數據;

  • 數據要求進行加密傳輸,符合相關監管部門的安全審計要求;

  • 需要與眾多內部和第三方接口對接,穩定性和實時性要求很高;

  • 同時歸檔數據要求存放周期很長,達到15-20年,需要巨大的存儲空間。

  • 數據需要達到近實時處理;

解決方案

針對金融行業的特點,可以使用以下方案進行滿足:
  • 使用Lambda架構,同時滿足近實時查詢與歸檔處理;
  • 使用二次開發來創建用戶自定義視圖;
  • 使用Kafka+Spark Streaming來實現近實時數據查詢;
  • 使用多種建模算法進行數據分析和挖掘;
  • 使用HDFS+HBase的方式來滿足歸檔數據存放需要,
    可以無限平穩擴展。
  • 不僅使用Kerberos,Sentry安全機制,同時使用Cloudera Navigator進行多層數據加密。

方案架構

某銀行卡聯合組織將其70%以上的業務數據全部對接大數據平臺之中,到目前為止,集群已經包含了超過380個數據節點,存放超5PB的數據量,同時每月新增80TB的報文數據以及超過5TB的交易數據。每日海量的交易數據,業務數據,持卡人信息以及生活服務數據通過數據網管導入HDFS中,一部分數據還會存入HBase中,另一部分數據通過Spark Streaming將數據預處理,然后寫入內存數據庫,如Redis。同時還可以使用Spark結合各種算法庫進行數據挖掘操作。各應用只要通過應用網管發送數據請求,就可以通過Hive,Impala,HBase提供的接口以及算法庫自帶的API訪問集群中的數據。 其具體架構如下圖所示。

業務價值

  • 實時數據查詢和處理只有秒級的延時,完全符合業務需求;

  • 集群容量無限平穩擴展,做到需要就增加,并且不會對已有數據和服務造成影響;

  • 集群數據可通過多個標準接口提供給第三方系統,完美支持業務需要;

  • 用戶可以根據需要,輕松定制業務視圖;

  • 強大的安全機制輕松應對監管機構的審查要求。

我們的客戶

讓我們了解您的需求

© 2018 Paraview Software. All rights reserved.

滬ICP備13029541號-1

服務熱線:400-6655-745
企業郵箱:[email protected]
福彩中心投注站 黑彩有哪些 ag揭秘 精准平特一肖 上海时时乐乐 吉林时时快三预测 电子游戏爆分和吃分的时间 看牌牛牛外挂 老虎机退币器专卖 新开棋牌游戏平台 时时彩包胆怎么选号 彩专家100585时时彩 最稳定追长龙的方法 特围领袖 36码特围 极速塞车计划软件下载 五星定位胆稳赚技巧方法 北京pk赛车软件下载