9527 极客时间《Spark核心原理与实战》掌握亿级Spark数据分析之道

课程介绍

Spark核心原理与实战[完]

本课程《王磊-Spark核心原理与实践课程掌握亿级Spark数据分析之道》由千禧教育收集整理。

Spark 通过构建支持大数据和人工智能的统一数据分析平台，让大数据问题变得更容易，让更多的公司和机构从大数据中受益。作为大数据中最流行的分析工具，Spark 博大精深，发展迅速，也影响和改变着我们每个人的工作和生活。掌握Spark，就是掌握大数据时代的脉搏。对于大数据开发工程师来说，掌握 Spark 非常重要。

但是，如果您对 Spark 背后的原理没有很好的理解，您将无法充分利用 Spark 的功能。如何保证可扩展性和效率是数据模型设计的关键，也是学习 Spark 的难点之一。如何保证系统任务的长期稳定性和基于海量数据的任务调优，是学习 Spark 的另一个关键难点。

导师介绍

先生。王磊是《Offer来了：Java面试的核心知识.原理》和《Offer来了：Java面试的核心知识.架构》两本书的作者，拥有十多年的经验。丰富的物联网、大数据研发和技术架构经验，对物联网和大数据的原理和技术实现有深刻的理解。长期从事海外项目的研发和交付工作，在异地多活数据中心建设和高可用高并发系统设计方面具有丰富的实践经验。

你会得到

深入理解Spark内核原理；

精通Spark API及使用场景；

Spark性能调优方案综合解析；

快速上手 Spark ML 机器学习实践

教学大纲

| ├──01-课程介绍.mp4 29.65M
| ├──02-内容概述.mp4 47.40M
| ├──03-Spark介绍与生态介绍.mp4 73.03M
| ├──04-Spark原理与特点：模块概述+特点.mp4 78.47M
| ├──05-Spark原理与特点：运行模式+集群组角色.mp4 76.12M
| ├ ──06-Spark原理与特点：Spark Job运行流程.mp4 88.56M
| ├──07-Spark运行环境安装：单机入门.mp4 22.19M
| ├──08-Spark的运行环境安装：YARN入门实战.mp4 28.22M
| ├──09-Spark批处理作业入门Demo.mp4 42.98M
| ├──10-Spark流处理作业入门Demo.mp4 38.50 M
| ├──11-SparkRDD原理：RDD抽象及相关概念.mp4 46.69M
| ├──12-SparkRDD原理：RDD依赖、Stage、RDD持久化、SparkPreferredLocation和CheckPoint原理及使用.mp4 25.00M
| ├──13-SparkRDD实战：如何使用外部数据集生成RDD？ .mp4 44.85M
| ├──14-SparkRDD实战：Transformation和Action概念，LazyLoad和SparkFunction的三种实现.mp4 98.25M
| ├──15-SparkRDD实战：常用变换原理与实战.mp4 63.22M
| ├──16-SparkRDD实战：动作原理与实战，Spark广播变量原理与使用.mp4 102.15M
| ├──17-SparkSQL、DataFrame、DataSet原理及使用.mp4 36.53M
| ├──18-SparkSQLJoin 操作和SparkSQLFunction.mp4 70.45M
| ├──19-SparkSQL原理及执行过程.mp4 22.73M
| ├──20-常用数据格式原理及使用：Spark中TEXT、CSV、JSON、PARQUET的使用.mp4 177.62M
| ├──21-常用数据格式的原理及使用：Spark.mp4 39.93M中ORC、AVRO的使用
| ├──22-SparkConnecter：HDFS 和 HBase.mp4 69.31M
| ├──23-SparkConnecter: MongoDB.mp4 62.33M
| ├──24-SparkConnecter: Cassandra.mp4 25.52M
| ├──25-SparkConnecter：MySQL和Kafka.mp4 63.02M
| ├──26-SparkConnecter: ElasticSearch.mp4 26.51M
| ├──27-SparkStearming原理与实践：创建SparkStreaming应用。 mp4 24.52M
| ├──28-SparkStearming原理与实践：DStream操作、数据持久化与性能优化.mp4 20.64M
| ├──29-SparkStructuredStearming原理与实践：StructuredStreaming概念、特点、数据模型及应用实战.mp4 27.70M
| ├──30-SparkStructuredStearming原理与实战：StructuredStearming事件时间、延迟数据处理策略、容错语义与编程模型.mp4 39.89M
| ├──31-SparkStructuredStearming原理与实践：StructuredStearming时间窗操作、水位及数据更新方式.mp4 113.51M
| ├──32-SparkStructuredStearming原理与实战：StreamJoin操作、重复数据处理、多Watermark处理策略、StructuredStearming结果输出.mp4 75.98M
| ├──33-Spark文件读写原理.mp4 12.40M
| ├──34-内存调优：JVM内存调优、堆外内存设置和storageFraction设置.mp4 19.72M
| ├──35-Task Tuning：Executor数量内存和CPU配置，合理设置Parallelism，Task Waiting Time Tuning，Blacklisting Tuning.mp4 34.86M
| ├──36-失败重试和黑名单机制，推测执行，资源请求机制.mp4 24.38M
| ├─ ─37-SparkOnYARN：客户端模式和集群模式.mp4 29.67M
| ├──38-SparkOnYARN：FIFOScheduler、CapacityScheduler原理及使用.mp4 27.10M
| ├──39-SparkOnYARN：YARNFairScheduler原理及使用及特点.mp4 31.94M
| ├──40-Spark文件读写原理.mp4 12.19M
| ├──41-内存调优：JVM内存调优、堆外内存设置和storageFraction设置。 mp4 19.98M
| ├──42-任务调优：Executor个数、内存和CPU配置、设置合理的并行度、任务等待时间调优、黑名单调优.mp4 33.97M
| ├──43 -Data Tuning: Data Locality, RDD Multiplexing, BroadCast, Kryo Serialization and CheckPoint.mp4 41.52M
| ├──44-算子调优.mp4 35.28M
| ├──45- SparkSQL调优和SparkStreaming调优.mp4 16.73M
| ├──46-S公园数据倾斜问题处理.mp4 11.36M
| ├──47-Spark机器学习概述：机器学习应用场景、分类及常用算法.mp4 21.41M
| ├──48-机器学习过程：数据收集与存储、数据清洗与转换.mp4 43.22M
| ├──49-机器学习过程：模型训练、模型测试、模型部署与集成、模型监控与反馈、数据探索与可视化.mp4 23.48M< br> | ├──50-Spark常用统计方法：基础统计、相关分析、数据采样.mp4 37.87M
| ├──51-分类模型：概念和类型，线性回归和逻辑回归原理实现。 mp4 46.21M
| ├──52-分类模型：朴素贝叶斯原理实现、决策树原理实现和协同过滤原理.mp4 62.67M
| ├──53-聚类模型：基于K-Means的聚类算法原理实现.mp4 23.03M
| ├──54-MLPipLine：如何通过SparkMLPipLine模式实现模型训练？ .mp4 17.68M
| ├──55-Spark 3.0新功能概览.mp4 29.41M
| ├──56-Spark未来趋势：为什么需要数据湖？ .mp4 8.76M
| ├──57-Spark未来趋势：DeltaLake原理.mp4 14.89M
| ├──58-Spark未来趋势：DeltaLake实战.mp4 31.92M
| ├──59 -Spark 应用扩展：大数据任务调度.mp4 35.43M
| ├──60-结论.mp4 17.14M
| └──数据地址.txt 0.05kb

Spark
极客时间