目前,Spark已然成为分布式数据处理技术的事实标准,也在逐渐成为各大头部互联网公司的标配。对于数据领域的任何一名工程师来说,Spark开发都是一项必备技能;而想要进入大厂,就更得有丰富的Spark性能调优经验。
可现实情况是,我们想要快速上手开发应用很容易,把握应用的执行性能却总也找不到头绪,比如:
明明都是内存计算,为什么我用了RDD/DataFrame Cache,性能反而更差了?
网上吹得神乎其神的调优手段,为啥到了我这就不好使呢?
并行度设置得也不低,为啥我的CPU利用率还是上不去?
节点内存几乎全都划给Spark用了,为啥我的应用还是OOM?
为此,我们特意邀请到了吴磊老师,他根据自己多年的数据处理经验,梳理出了一套关于性能调优的方法论,帮助你在有效加速 Spark 作业执行性能的同时,也建立起以性能为导向的开发习惯。
除此之外,他还会手把手教你打造一个分布式应用,带你从不同角度洞察汽油车摇号的趋势和走向,让你对性能调优技巧和思路的把控有一个“质的飞跃”。
你将获得
深入浅出的 Spark 核心原理
全面解析 Spark SQL 性能调优
应用开发、配置项设置实操指南
手把手带你实现一个分布式应用
文件目录
开篇词 Spark性能调优,你该掌握这些“套路”.mp3
开篇词 Spark性能调优,你该掌握这些“套路”.pdf
01 性能调优的必要性:Spark本身就很快,为啥还需要我调优?.mp3
01 性能调优的必要性:Spark本身就很快,为啥还需要我调优?.pdf
02 性能调优的本质:调优的手段五花八门,该从哪里入手?.mp3
02 性能调优的本质:调优的手段五花八门,该从哪里入手?.pdf
03 RDD:为什么你必须要理解弹性分布式数据集?.mp3
03 RDD:为什么你必须要理解弹性分布式数据集?.pdf
04 DAG与流水线:到底啥叫“内存计算”?.pdf
04 DAG与流水线:到底啥叫“内存计算”?.mp3
05 调度系统:“数据不动代码动”到底是什么意思?.mp3
05 调度系统:“数据不动代码动”到底是什么意思?.pdf
06 存储系统:空间换时间,还是时间换空间?.mp3
06 存储系统:空间换时间,还是时间换空间?.pdf
07 内存管理基础:Spark如何高效利用有限的内存空间?.pdf
07 内存管理基础:Spark如何高效利用有限的内存空间?.mp3
08 应用开发三原则:如何拓展自己的开发边界?.mp3
08 应用开发三原则:如何拓展自己的开发边界?.pdf
vip会员月卡(58元) ———— 5个资源/日
vip会员年卡(98元) ———— 10个资源/日
vip会员终身卡(168元)
1、终身免费下载全站教程资源!
2、100个资源/日,下到你手软!
3、赠送全网资源课超级百度网盘群进群资格,可直接在网站上搜索资源。
4、赠送百度网盘不限速下载工具!
5、赠送VIP影视卡手机版+电脑版!
6、赠送VIP音乐卡手机版+电脑版!
7、限时赠送ChatGPT(没有任何限制)——国内网络直接可用,与在官方使用有同样的体验与效果。
8、限时赠送New Bing-ChatGPT4.0(没有任何限制)——国内网络直接可用,基于微软 New Bing,拥有一致的 UI 体验。
在线支付后,页面会自动显示以上赠品信息!全自助!
本站视频总数:56147 套;总点击数:157624443 次;今日新增视频:0 套;
可以免费下载学习整站 1,136,171.468 GB 学习资源,非常超值!
自助开通VIP会员,请点击快速注册
7.65 GB
4012次浏览
数据库教程
3.37 GB
3601次浏览
数据库教程
4.09 GB
3747次浏览
数据库教程
18.1 GB
5927次浏览
数据库教程
2.69 GB
2657次浏览
数据库教程
1.74 GB
2922次浏览
数据库教程
3.17 GB
4442次浏览
数据库教程
6.49 GB
4010次浏览
数据库教程
194 MB
4695次浏览
数据库教程
3.73 GB
2642次浏览
数据库教程
3.38 GB
1515次浏览
数据库教程
629 MB
4464次浏览
数据库教程
874 MB
1360次浏览
数据库教程
286 MB
2361次浏览
数据库教程
4.04 GB
363次浏览
数据库教程
698 MB
5406次浏览
数据库教程
3.09 GB
129次浏览
数据库教程
2.05 GB
125次浏览
数据库教程
1.05 GB
2896次浏览
数据库教程
312 MB
1738次浏览
数据库教程