spark 部署模式是什么

这篇文章主要讲解了"spark 部署模式是什么"，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习"spark 部署模式是什么"吧！

• spark有local模式，伪分布式，standalone，spakr on yarn，spark on messos。

• local模式多用于开发测试

• 伪分布式是极少使用的模式，它是在一个节点上模拟分布式

• spakr on messos在国内很少使用

• standalone模式适合使用在数据规模不大，集群所部署大数据计算框架单一，整个集群计算资源可以全部提供给spark计算，无需考虑资源分配的问题

• spark on yarn在国内使用比较广泛。 它具有以下优势：1. 避免搭建spark集群。spark只需要部署在一个节点上，通过该节点，将应用提交给yarn集群处理。在拥有yarn集群的情况下，无需搭建spark集群就可以方便的运行spark应用 2. 统一资源管理和调度。yarn是包括mr， spark在内的多种大数据计算引擎的资源管理和调度的实现方式，yarn具有资源隔离机制，使得各种大数据计算任务可以稳定的运行在集群中，而不会产生资源竞争问题。3. 资源弹性管理。yarn通过队列的方式，根据不同类型应用程序的资源压力，弹性调度资源的使用量

感谢各位的阅读，以上就是"spark 部署模式是什么"的内容了，经过本文的学习后，相信大家对spark 部署模式是什么这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是，小编将为大家推送更多相关知识点的文章，欢迎关注！