DDR爱好者之家

2018即将推出的Apache Spark 2.4都有哪些新功能
站长资源 2024/11/25 佚名
2 1538
DDR爱好者之家 Design By 杰米

本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。

  • 新的调度模型（Barrier Scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中，以简化分布式训练工作流程。
  • 添加了35个高阶函数，用于在 Spark SQL 中操作数组/map。
  • 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
  • PySpark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。
  • Spark on K8S 支持 PySpark 和 R ，支持客户端模式（client-mode）。
  • Structured Streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。
  • 内置数据源的各种性能改进。 例如，Parquet 嵌套模式修剪（schema pruning）。
  • 支持 Scala 2.12。

点击 示说网 ，即可下载此PPT。

2018即将推出的Apache Spark 2.4都有哪些新功能

2018即将推出的Apache Spark 2.4都有哪些新功能

2018即将推出的Apache Spark 2.4都有哪些新功能

2018即将推出的Apache Spark 2.4都有哪些新功能

2018即将推出的Apache Spark 2.4都有哪些新功能

总结

以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！

DDR爱好者之家 Design By 杰米
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米