首页>> 正文

如何利用R语言实现spark大数据分析与可视化

来源:商群邮件营销时间:2017-01-23 06:01:36点击:1655

作者:郭应文,目前就职于浦发银行信用卡中心大数据项目部,从事Spark算法与数据挖掘工作,2010年毕业于东华大学自动化专业,本科学位,曾获美国大学生数学建模竞赛( MCM)及国家大学生数学建模竞赛等多项奖项。

杨思义,目前就职于浦发银行信用卡中心大数据项目部, Spark平台工程开发负责人,2014年毕业于山东大学软件工程专业,硕士学位,三年Spark工程开发经验。

系统概述

在日常业务分析中, R是非常常用的分析工具,而当数据量较大时,用R语言需要需用更多的时间来完成训练模型,spark作为大规模数据计算框架,采用内存计算,可以短时间内完成大量的数据的处理及计算模型,但缺点是不能图形展示, R语言的sparkly则提供了R语言和Spark的接⼝,实现了在数据量大的情况下,应用Spark的快速数据分析和处理能力结合R语言的图形化展示功能,方便业务分析,模型训练,同时R语言还可以与Hadoop,HDFS,Hbase,redis,MongoDB等大数据平台数据实现交互,以及作业递交与分析,本文主要介绍平台的架构方法,以及各个组件基本使用方法。

系统构建与调试

基础环境介绍:

操作系统 RHEL 6.5 / CentoOS 6.5

已安装软件 Hadoop Hbase Hive Spark Redis MongoDB Mysql 等大数据应用软件

网络环境 无外网不能在线下载软件包,只能上传

欢迎大家继续关注慧邮件邮件营销平台,也可以在我们的慧邮件官网了解更多邮件营销技巧,大数据知识,也可以通过电话:400-666-5494联系到我们,更多精彩知识、活动等着你。

相关阅读

  • *真实姓名:
  • *手机号码:
  • 公司名称:
  • 咨询内容:

CopyRight © 2009 - 2020 All Right Reserved 备案号:闽ICP备15004550号-275

厦门书生企友通科技有限公司 QYT.com 版权所有