Java開發者必會的大數據工具和框架有哪些

1、mongodb——最受歡迎的,跨平臺的,面向文檔的數據庫。

MongoDB是一個基于分布式文件存儲的數據庫,使用C++語言編寫。旨在為Web應用提供可擴展的高性能數據存儲解決方案。應用性能高低依賴于數據庫性能,MongoDB則是非關系數據庫中功能最豐富,最像關系數據庫的,隨著MongDB 3.4版本發布,其應用場景適用能力得到了進一步拓展。

MongoDB的核心優勢就是靈活的文檔模型、高可用復制集、可擴展分片集群。你可以試著從幾大方面了解MongoDB,如實時監控MongoDB工具、內存使用量和頁面錯誤、連接數、數據庫操作、復制集等。

Java開發者必會的大數據工具和框架有哪些

2、elasticsearch?——為云構建的分布式restful搜索引擎。

立即學習Java免費學習筆記(深入)”;

ElasticSearch是基于lucene的搜索服務器。它提供了分布式多用戶能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java開發的,并作為apache許可條款下的開放源碼發布,是比較流行的企業級搜索引擎。

ElasticSearch不僅是一個全文本搜索引擎,還是一個分布式實時文檔存儲,其中每個field均是被索引的數據且可被搜索;也是一個帶實時分析功能的分布式搜索引擎,并且能夠擴展至數以百計的服務器存儲及處理PB級的數據。ElasticSearch在底層利用Lucene完成其索引功能,因此其許多基本概念源于Lucene。

Java開發者必會的大數據工具和框架有哪些

3、Cassandra——開源分布式數據庫管理系統,最初是由Facebook開發的,旨在處理許多商品服務器上的大量數據,提供高可用性,沒有單點故障。

Apache Cassandra是一套開源分布式nosql數據庫系統。集Google BigTable的數據模型與Amazon Dynamo的完全分布式架構于一身。于2008開源,此后,由于Cassandra良好的可擴展性,被Digg、Twitter等Web 2.0網站所采納,成為了一種流行的分布式結構化數據存儲方案。

因Cassandra是用Java編寫的,所以理論上在具有JDK6及以上版本的機器中都可以運行,官方測試的JDK還有OpenJDK 及Sun的JDK。 Cassandra的操作命令,類似于我們平時操作的關系數據庫,對于熟悉mysql的朋友來說,操作會很容易上手。

Java開發者必會的大數據工具和框架有哪些

4、redis?——開源(BSD許可)內存數據結構存儲,用作數據庫,緩存和消息代理。

Redis是一個開源的使用ANSI c語言編寫的、支持網絡、可基于內存亦可持久化的日志型、Key-Value數據庫,并提供多種語言的API。Redis 有三個主要使其有別于其它很多競爭對手的特點:Redis是完全在內存中保存數據的數據庫,使用磁盤只是為了持久性目的; Redis相比許多鍵值數據存儲系統有相對豐富的數據類型; Redis可以將數據復制到任意數

5、Hazelcast?——基于Java的開源內存數據網格。

Hazelcast 是一種內存數據網格 in-memory data grid,提供Java程序員關鍵任務交易和萬億級內存應用。雖然Hazelcast沒有所謂的“Master”,但是仍然有一個Leader節點(the oldest member),這個概念與zookeeper中的Leader類似,但是實現原理卻完全不同。同時,Hazelcast中的數據是分布式的,每一個member持有部分數據和相應的backup數據,這點也與ZooKeeper不同。

Hazelcast的應用便捷性深受開發者喜歡,但如果要投入使用,還需要慎重考慮。

6、EHCache——廣泛使用的開源Java分布式緩存。主要面向通用緩存、Java EE和輕量級容器。

EhCache 是一個純Java的進程內緩存框架,具有快速、精干等特點,是hibernate中默認的CacheProvider。主要特性有:快速簡單,具有多種緩存策略;緩存數據有兩級,內存和磁盤,因此無需擔心容量問題;緩存數據會在虛擬機重啟的過程中寫入磁盤;可以通過RMI、可插入API等方式進行分布式緩存;具有緩存和緩存管理器的偵聽接口;支持多緩存管理器實例,以及一個實例的多個緩存區域;提供Hibernate的緩存實現。

7、hadoop?——用Java編寫的開源軟件框架,用于分布式存儲,并對非常大的數據用戶可以在不了解分布式底層細節的情況下,開發分布式程序。

充分利用集群進行高速運算和存儲。Hadoop實現了一個分布式文件系統(Hadoop Distributed File System),簡稱hdfs。Hadoop的框架最核心的設計就是:HDFS和mapreduce。HDFS為海量的數據提供了存儲,MapReduce則為海量的數據提供了計算。

Java開發者必會的大數據工具和框架有哪些

8、solr?——開源企業搜索平臺,用Java編寫,來自Apache Lucene項目。

Solr是一個獨立的企業級搜索應用服務器,它對外提供類似于Web-service的API接口。用戶可以通過http請求,向搜索引擎服務器提交一定格式的xml文件,生成索引;也可以通過Http Get操作提出查找請求,并得到XML格式的返回結果。

與ElasticSearch一樣,同樣是基于Lucene,但它對其進行了擴展,提供了比Lucene更為豐富的查詢語言,同時實現了可配置、可擴展并對查詢性能進行了優化。

9、spark?——Apache Software Foundation中最活躍的項目,是一個開源集群計算框架。

Spark 是一種與 Hadoop 相似的開源集群計算環境,但是兩者之間還存在一些不同之處,這些不同之處使 Spark 在某些工作負載方面表現得更加優越,換句話說,Spark 啟用了內存分布數據集,除了能夠提供交互式查詢外,它還可以優化迭代工作負載。

Spark 是在 scala 語言中實現的,它將 Scala 用作其應用程序框架。與 Hadoop 不同,Spark 和 Scala 能夠緊密集成,其中的 Scala 可以像操作本地集合對象一樣輕松。

10、memcached?——通用分布式內存緩存系統。

Memcached是一套分布式快取系統,當初是Danga Interactive為了LiveJournal所發展的,但被許多軟件(如MediaWiki)所使用。Memcached作為高速運行的分布式緩存服務器,具有以下的特點:協議簡單,基于libevent的事件處理,內置內存存儲方式。

11、Apache hive?–在Hadoop之上提供類似SQL的層。

Hive是一個基于Hadoop的數據倉庫平臺。通過hive,可以方便地進行etl工作。hive定義了一個類似于SQL的查詢語言,能夠將用戶編寫的SQL轉化為相應的Mapreduce程序基于Hadoop執行。目前,已經發布了Apache Hive 2.1.1 版本。

12、Apache kafka?–最初是由LinkedIn開發的高吞吐量,分布式訂閱消息系統。

Apache Kafka是一個開源消息系統項目,由Scala寫成。該項目的目標是為處理實時數據提供一個統一、高通量、低等待的平臺。Kafka維護按類區分的消息,稱為主題(topic)。生產者(producer)向kafka的主題發布消息,消費者(consumer)向主題注冊,并且接收發布到這些主題的消息。

13、Akka?–用于在jvm上構建高并發,分布式和彈性消息驅動應用程序的工具包。

Akka 是一個用 Scala 編寫的庫,用于簡化編寫容錯的、高可伸縮性的 Java 和 Scala 的 Actor 模型應用。它已經成功運用在電信行業,系統幾乎不會宕機。

14、hbase?–開放源代碼,非關系型,分布式數據庫,采用Google的BigTable建模,用Java編寫,并在HDFS上運行。

與FUJITSU Cliq等商用大數據產品不同,HBase是Google Bigtable的開源實現,類似Google Bigtable利用GFS作為其文件存儲系統,HBase利用Hadoop HDFS作為其文件存儲系統;Google運行MapReduce來處理Bigtable中的海量數據,HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據;Google Bigtable利用 Chubby作為協同服務,HBase利用Zookeeper作為對應。

15、neo4j?–在Java中實現的開源圖形數據庫。

Neo4j是一個高性能的NOSQL圖形數據庫,它將結構化數據存儲在網絡上而不是表中。它是一個嵌入式的、基于磁盤的、具備完全事務特性的Java持久化引擎。

? 版權聲明
THE END
喜歡就支持一下吧
點贊9 分享