顺丰搭建大数据日志管理平台的三大秘诀

顺丰集团是快递行业以“服务质量”和“速度”著称，这两个关键要素都离不开IT的支持。作为企业核心信息及支撑系统的管理部门，刘新凯带领IT内部审计成为保证IT安全有效运行的根基。采用开源大数据分析技术，顺丰搭建了自有信息安全事件分析平台，对IT基础设备，重点业务应用搭建安全分析预警模型，全面管控业务运行信息安全风险。那么如何搭建大数据日志管理平台?顺丰集团信息安全与内控部副总监刘新凯详细介绍了三大秘诀!

顺丰集团信息安全与内控部副总监刘新凯

据刘新凯介绍，有关于大数据安全事件分析平台搭建有以下几个方面需要注意：

数据源的梳理。在平台搭建中，数据源和数据的质量决定了整个平台最终分析结果有效性，如果数据源不全面，提供的数据不能真实反应系统、用户工作情况，那么建立的模型、最后的结论都是错误的;故正确分析不同的点需要做数据源的输入，提供给系统的数据应该包含的字段和信息，直接决定后期模型和系统能够发现问题的情况。

有关大数据计算平台的搭。针对安全技术的落地，在信息收集、平台搭建、大数据计算以及计算结果的展现方式等方面，是做平台在技术含量最高的一块。

安全模型的建立及分析优化。在不同维度大量数据的情况下，如何提炼出真正关注的内容和问题，是比较大的挑战，安全模型的建立及分析优化是在平台搭建过程中反复关注的方面，要求人员有较强的数学分析能力之外，更多的是对业务的理解，从而能够更好做出有效性的判断与分析。

顺丰大数据日志管理平台架构

顺丰大数据日志管理平台分为四个层面：数据收集层面，从大量的数据源实时采集相应的信息，数据库、文本文件、设备等的信息;离线分析层面，把所有数据收集后放进数据库，做全量的数据模型分析;实时数据分析，利用spark的技术来做流分析，对于用户行为、系统报警行为做系统即时的分析和报警。数据分析结果和展现的层面，为了安全人员发现问题和后续问题的整改，数据的用户交互以及展现的层面。

日志管理的需求和挑战

最后，刘新凯表示：在大数据安全中，如何在企业繁多复杂的应用系统中找到合适的数据源，保证数据的有效性，是最大的挑战和难点，为此顺丰为了使整个系统规范化，做了相应的系统改造。

详细视频请点击 http://www.cio.com.cn/jishu2016/view/6  观看！

更多精彩内容尽在 http://www.cio.com.cn/practice