大数据学习资源整理

utils4s

• utils4s
  • scala语法学习
  • common库
  • BigData库
    • Spark
      • Spark core
      • Spark Streaming
      • Spark SQL
      • Spark 机器学习
      • Spark Zeppelin
      • Spark 其它
    • ES
  • 贡献代码步骤
  • 贡献者

utils4s包含各种scala通用、好玩的工具库demo和使用文档，通过简单的代码演示和操作文档，各种库信手拈来。

同时欢迎大家贡献各种好玩的、经常使用的工具库。

开源中国地址

QQ交流群 432290475 或者点击上面gitter图标也可以参与讨论

作者博客

微博： jacksu_

scala语法学习

说明：scala语法学习过程中，用例代码都放在scala-demo模块下。

快学scala电子书(推荐入门级书)

scala理解的比较深

scala99问题

scala初学者指南 (这可不是初学者可以理解的欧，还是写过一些程序后再看)

scala初学者指南英文版

scala学习用例

scala入门笔记

common库

日志操作 （ log4s ）

单元测试 （ scalatest ）

日期操作 （ lama ）（注:只支持日期操作，不支持时间操作）

日期时间操作 （nscala-time）（注：没有每月多少天，每月最后一天，以及每年多少天）

json解析 （ json4s ）

resources下文件加载用例

文件操作 （ better-files ）

单位换算 （ squants ）

线性代数和向量计算 ( breeze )

分布式并行实现库akka ( akka )

Twitter工具库 （ twitter util ）

日常脚本工具

BigData库

Spark

Spark core

spark远程调试源代码

spark介绍

一个不错的spark学习互动课程

spark 设计与实现

Spark Streaming

Spark Streaming使用Kafka保证数据零丢失

spark streaming测试用例

spark streaming源码解析

基于spark streaming的聚合分析(Sparkta)

Spark SQL

spark DataFrame测试用例

Hive Json加载

SparkSQL架构设计和代码分析

Spark 机器学习

spark机器学习源码解析

KeyStoneML KeystoneML is a software framework, written in Scala, from the UC Berkeley AMPLab designed to simplify the construction of large scale, end-to-end, machine learning pipelines with Apache Spark.

spark TS

Spark zeppelin

Z-Manager --Simplify getting Zeppelin up and running

zeppelin --a web-based notebook that enables interactive data analytics. You can make beautiful data-driven, interactive and collaborative documents with SQL, Scala and more.

helium --Brings Zeppelin to data analytics application platform

Spark 其它

databricks spark知识库

spark学习知识总结

Spark library for doing exploratory data analysis in a scalable way

图处理(cassovary)

基于spark进行地理位置分析(gagellan)

spark summit east 2016 ppt

ES

ES 非阻塞scala客户端

贡献代码步骤

1. 首先 fork 我的项目
2. 把 fork 过去的项目也就是你的项目 clone 到你的本地
3. 运行 git remote add jacksugit@github.com:jacksu/utils4s.git 把我的库添加为远端库
4. 运行 git pull jacksu master 拉取并合并到本地
5. coding
6. commit后push到自己的库( git push origin master )
7. 登陆Github在你首页可以看到一个 pull request 按钮,点击它,填写一些说明信息,然后提交即可。 1~3是初始化操作,执行一次即可。在coding前必须执行第4步同步我的库(这样避免冲突),然后执行5~7既可。

贡献者

jjcipher