福彩中心投注站
連接安全與變革
股票代碼:831194

釋放數據價值

大數據案例

某大型券商大數據平臺

業務背景

  • 每日產生的用戶交易實時數據,統計分析數據,運營分析數據以及廣告監測數據,數據量多而復雜;

  • 對安全性要求比較高,要求能同時進行數據隔離和共享;

  • 各種數據之間存在著密切的關聯,需要綜合多類數據進行判斷和決策;

  • 對數據處理忍受的最大時限為T+1工作日。

項目目標

針對證券行業的特點,可以使用以下方案進行滿足:
  • 使用Sqoop,Flume等工具將前一日交易數據導入Hive;
  • 使用Impala接口進行數據查詢分析;
  • 配合使用Kerberos三方認證機制進行數據保護;
  • 配置Sentry服務進行數據隔離和授權。

項目架構

依托大數據平臺的優勢,將Oracle數據庫中的用戶數據及大量交易數據,TalkingData中的數據,移動應用端的用戶數據以及其他業務 數據通過Sqoop,Flume存入HDFS中,在HDFS 中根據業務需求進行數據處理和清洗,最后通過Hive與Impala接口呈現在報表系統中。 其具體架構如下圖所示。

業務價值

  • 突破了傳統數據庫數據容量限制,
    可以無限擴展存儲,且不會以性能開銷
    作為代價。

  • 加速了數據查詢和處理的時間,
    大于10TB的數據庫容量使用Impala處理
    Adhoc查詢響應時間通常在5秒以內,
    比傳統數據庫更加高效。

  • 數據共享變得簡單而安全,實現不同數據源、
    不同數據類型、結構化和半結構化數據的
    關聯分析查詢。

我們的客戶

讓我們了解您的需求

© 2018 Paraview Software. All rights reserved.

滬ICP備13029541號-1

服務熱線:400-6655-745
企業郵箱:[email protected]
福彩中心投注站