apache spark是什么

apache spark是一個開源集群運算框架，最初是由加州大學柏克萊分校amplab所開發。相對于hadoop的mapreduce會在運行完工作后將中介數據存放到磁盤中，spark使用了存儲器內運算技術，能在數據尚未寫入硬盤時即在存儲器內分析運算。

Spark在存儲器內運行程序的運算速度能做到比Hadoop MapReduce的運算速度快上100倍，即便是運行程序于硬盤時，Spark也能快上10倍速度。Spark允許用戶將數據加載至集群存儲器，并多次對其進行查詢，非常適合用于機器學習算法。

使用Spark需要搭配集群管理員和分布式存儲系統。Spark支持獨立模式（本地Spark集群）、Hadoop YARN或Apache Mesos的集群管理。

在分布式存儲方面，Spark可以和HDFS、 Cassandra、OpenStack Swift和Amazon S3等接口搭載。 Spark也支持偽分布式（pseudo-distributed）本地模式，不過通常只用于開發或測試時以本機文件系統取代分布式存儲系統。在這樣的情況下，Spark僅在一臺機器上使用每個CPU核心運行程序。

在2014年有超過465位貢獻家投入Spark開發，讓其成為Apache軟件基金會以及大數據眾多開源項目中最為活躍的項目。

更多Apache相關知識知識，請訪問Apache使用教程欄目！