参加大数据培训
一定先上数外网

大数据开发工具有哪些?常用开发工具汇总

不管是大数据初学者,还是从事大数据开发工作的程序员,大数据开发工具都是必不可少的,本文汇总了大数据开发工程师常用的工具,包含了JDK、IDE、文本编辑工具、数据库管理工具、大数据处理框架,并附上下载地址,点击即可直达官方下载页。

JDK: JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的Java应用程序。JDK是整个Java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。 学习大数据开发需要掌握Java开发,所以JDK是首要工具。

JDK下载地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html

IDE:集成开发环境(IDE,Integrated Development Environment )是用于提供程序开发环境的应用程序,一般包括代码编辑器、编译器、调试器和图形用户界面等工具。集成了代码编写功能、分析功能、编译功能、调试功能等一体化的开发软件服务套。所有具备这一特性的软件或者软件套(组)都可以叫集成开发环境。最常用于服务器端Java开发的三个IDE是IntelliJ IDEA,Eclipse和NetBeans。

IDEA:IDEA 全称 IntelliJ IDEA,是Java编程语言开发的集成环境。IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE支持、各类版本工具(git、svn等)、JUnit、CVS整合、代码分析、 创新的GUI设计等方面的功能可以说是超常的。

费用:有免费的社区版和付费的终极版

IDEA下载地址:https://www.jetbrains.com/idea/download

Eclipse :尽管IntelliJ IDEA、NetBeans和一些其他的IDE正在日益普及,但是有调查表明,Eclipse仍然是几乎半数Java开发人员首选的开发环境。 Eclipse是IDE领域的瑞士军刀,有着大量定制的接口和无数的插件。

费用:免费开源

Eclipse下载地址:https://www.eclipse.org/downloads

NetBeans:NetBeans是Sun公司(2009年被甲骨文收购)在2000年创立的开放源代码供开发人员和客户社区的家园,旨在构建世界级的Java IDE。NetBeans当前可以在Solaris、Windows、Linux和Macintosh OS X平台上进行开发,并在SPL(Sun公用许可)范围内使用。

费用:免费开源

NetBeans 下载地址:https://netbeans.apache.org/download/index.html

文本编辑器工具:文本编辑器(或称文字编辑器)是用作编写普通文字的应用软件,它与文档编辑器(或称文字处理器)不同之处在于它并非用作桌面排版(例如文档格式处理),它常用来编写程序的源代码。

EditPlus:是一款由韩国 Sangil Kim (ES-Computing)出品的小巧但是功能强大的可处理文本、HTML和程序语言的Windows编辑器,你甚至可以通过设置用户工具将其作为C,Java,Php等等语言的一个简单的IDE。

费用:免费开源

EditPlus 下载地址:https://www.editplus.com/download.html

Notepad++中文版:完全免费且开源,对于不同的编程语言可以实现语法高亮,代码折叠以及宏,起可定制性非常强。

费用:免费开源

Notepad++中文版下载地址:https://notepad-plus-plus.org/download/v7.7.1.html

数据库管理工具:顾名思义,就是管理数据的工具,比如源代码,视频,文件,音频等等数据。

MySQL: MySQL 是最流行的关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品。

MySQL 下载地址: https://dev.mysql.com/downloads/mysql/

Oracle Database:又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

费用:软件使用免费,商用需要授权费

Oracle下载地址: https://www.oracle.com/technetwork/cn/database/enterprise-edition/downloads/index.html

Web应用服务器:指通过各种协议把商业逻辑曝露给客户端的程序。它提供了访问商业逻辑的途径以供客户端应用程序使用。应用服务器使用此商业逻辑就像调用对象的一个方法一样。常用的Web应用服务器有Tomcat、Ngiux、Apache、 WebLogic 、WebSphere 。

Tomcat服务器:是一个开源而且免费的jsp服务器,由Apache软件基金会的jakarta项目中的一个核心项目,因为tomcat技术先进性能稳定和监督易用性已成为最为广泛的jsp服务器, 属于中小型的Web应用服务器, 支持JavaEE规范中的两种(Servlet & Jsp )。

费用:免费开源

Tomcat 下载地址:http://tomcat.apache.org/

Nginx服务器:是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行。其特点是占有内存少,并发能力强,事实上Nginx的并发能力确实在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等。

费用: 有免费的开源版本,也有付费的商业版本。

Nginx 下载地址: http://nginx.org/en/download.html

Apache服务器:Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上,由于其跨平台和安全性被广泛使用,是最流行的Web服务器端软件之一。

费用:免费开源

Apache 下载地址: http://httpd.apache.org/download.cgi

WebLogic服务器:WebLogic是美国Oracle公司出品的一个Application Server,确切的说是一个基于JAVAEE架构的中间件,WebLogic是用于开发、集成、部署和管理大型分布式Web应用、网络应用和数据库应用的Java应用服务器。将Java的动态功能和Java Enterprise标准的安全性引入大型网络应用的开发、集成、部署和管理之中。 大型 收费的 Web服务器, 支持全部JavaEE规范 。

费用:收费

WebLogic 下载地址: https://www.oracle.com/middleware/technologies/fusionmiddleware-downloads.html

WebSphere服务器:WebSphere Application Server 是一种功能完善、开放的Web应用程序服务器, 来自IBM的 大型收费Web服务器, 支持全部JavaEE规范。

费用:收费

WebSphere 下载地址: https://www.ibm.com/developerworks/cn/downloads/ws/was/index.html

大数据处理框架: 大数据处理框架是大数据系统一个最基本的组件, 负责对系统中的数据进行计算 。常用的大数据处理框架有Apache Hadoop、 Apache Storm、Apache Samza、Apache Spark、Apache Flink。

Apache Hadoop :Hadoop处理框架是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

费用:开源免费

Hadoop 下载地址: https://hadoop.apache.org/releases.html

Apache Storm: Storm 处理框架是一个开源分布式实时大数据处理系统,擅长处理海量数据,适用于数据实时处理而非批处理。

费用:开源免费

Storm 下载地址: http://storm.apache.org/downloads.html

Apache Samza: Samza 处理框架是一个开源、分布式的流处理框架。

费用:开源免费

Samza 下载地址: http://samza.apache.org/startup/download/

Apache Spark: Spark 处理框架是专为大规模数据处理而设计的快速通用的计算引擎。

费用:开源免费

Spark 下载地址: http://spark.apache.org/downloads

Apache Flink : Flink 处理框架是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。

费用:开源免费

Flink 下载地址: https://flink.apache.org/zh/downloads.html

推荐阅读:

大数据开发工具包汇总(长期更新)

赞(0)
未经允许不得转载:数外网 » 大数据开发工具有哪些?常用开发工具汇总
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

不要轻易参加大数据培训 有疑惑 先上数外网

疑惑在线解答