大数据常用哪些数据库（大数据都会学习什么框架必备的技能是哪个）

本文目录

• 大数据都会学习什么框架必备的技能是哪个
• 有哪几种数据库分别有什么特点
• 大数据常用哪些数据库

大数据都会学习什么框架必备的技能是哪个

技术框架本身并不难，解决相同问题的框架也很多，重点是我们解决问题的思想和架构思路，目前比较热的概念是中台化，大数据领域在于构建数据中台，重点解决企业全业务数据整合、分析，对业务系统来说目的在于提供一套标准化的易用的、灵活的数据接入和输出的平台服务，提升企业的数据共享能力！

有哪几种数据库分别有什么特点

1、常用的数据库：oracle、sqlserver、mysql、access、sybase
2、特点。
-oracle：
1.数据库安全性很高，很适合做大型数据库。
支持多种系统平台（hpux、sunos、osf/1、vms、
windows、windows/nt、os/2）。
2.支持客户机/服务器体系结构及混合的体系结构（集中式、分布式、
客户机/服务器）。
-sqlserver:
1.真正的客户机/服务器体系结构。
2.图形化用户界面，使系统管理和数据库管理更加直观、简单。
3.具有很好的伸缩性，可跨越从运行windows
95/98的膝上型电脑到运行windows
2000的大型多处理器等多种平台使用。
-mysql:
mysql是一个开放源码的小型关系型数据库管理系统，开发者为瑞典mysql
ab公司，92hezu网免费赠送mysql。目前mysql被广泛地应用在internet上的中小型网站中。提供由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了mysql作为网站数据库。
-access
access是一种桌面数据库，只适合数据量少的应用，在处理少量数据和单机访问的数据库时是很好的，效率也很高。
但是它的同时访问客户端不能多于4个。access数据库有一定的极限，如果数据达到100m左右，很容易造成服务器iis假死，或者消耗掉服务器的内存导致服务器崩溃。
-sybase

大数据常用哪些数据库

通常数据库分为关系型数据库和非关系型数据库，关系型数据库的优势到现在也是无可替代的，比如MySQL、SQL Server、Oracle、DB2、SyBase、Informix、PostgreSQL以及比较小型的Access等等数据库，这些数据库支持复杂的SQL操作和事务机制，适合小量数据读写场景；但是到了大数据时代，人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。
大数据时代初期，随着数据请求并发量大不断增大，一般都是采用的集群同步数据的方式处理，就是将数据库分成了很多的小库，每个数据库的数据内容是不变的，都是保存了源数据库的数据副本，通过同步或者异步方式保证数据的一致性，每个库设定特定的读写方式，比如主数据库负责写操作，从数据库是负责读操作，等等根据业务复杂程度以此类推，将业务在物理层面上进行了分离，但是这种方式依旧存在一定的负载压力的问题，企业数据在不断的扩增中，后面就采用分库分表的方式解决，对读写负载进行分离，但是这种实现依旧存在不足，且需要不断进行数据库服务器扩容。
NoSQL数据库大致分为5种类型
1、列族数据库：BigTable、HBase、Cassandra、Amazon SimpleDB、HadoopDB等，下面简单介绍几个
（1）Cassandra：Cassandra是一个列存储数据库，支持跨数据中心的数据复制。它的数据模型提供列索引，log-structured修改，支持反规范化，实体化视图和嵌入超高速缓存。
（2）HBase：Apache Hbase源于Google的Bigtable，是一个开源、分布式、面向列存储的模型。在Hadoop和HDFS之上提供了像Bigtable一样的功能。
（3）Amazon SimpleDB：Amazon SimpleDB是一个非关系型数据存储，它卸下数据库管理的工作。开发者使用Web服务请求存储和查询数据项
（4）Apache Accumulo：Apache Accumulo的有序的、分布式键值数据存储，基于Google的BigTable设计，建立在Apache Hadoop、Zookeeper和Thrift技术之上。
（5）Hypertable：Hypertable是一个开源、可扩展的数据库，模仿Bigtable，支持分片。
（6）Azure Tables：Windows Azure Table Storage Service为要求大量非结构化数据存储的应用提供NoSQL性能。表能够自动扩展到TB级别，能通过REST和Managed API访问。
2、键值数据库：Redis、SimpleDB、Scalaris、Memcached等，下面简单介绍几个
（1）Riak：Riak是一个开源，分布式键值数据库，支持数据复制和容错。（2）Redis：Redis是一个开源的键值存储。支持主从式复制、事务，Pub/Sub、Lua脚本，还支持给Key添加时限。
（3）Dynamo：Dynamo是一个键值分布式数据存储。它直接由亚马逊Dynamo数据库实现；在亚马逊S3产品中使用。
（4）Oracle NoSQL Database：来自Oracle的键值NoSQL数据库。它支持事务ACID（原子性、一致性、持久性和独立性）和JSON。
（5）Oracle NoSQL Database：具备数据备份和分布式键值存储系统。
（6）Voldemort：具备数据备份和分布式键值存储系统。
（7）Aerospike：Aerospike数据库是一个键值存储，支持混合内存架构，通过强一致性和可调一致性保证数据的完整性。
3、文档数据库：MongoDB、CouchDB、Perservere、Terrastore、RavenDB等，下面简单介绍几个
（1）MongoDB：开源、面向文档，也是当下最人气的NoSQL数据库。
（2）CounchDB：Apache CounchDB是一个使用JSON的文档数据库，使用Javascript做MapReduce查询，以及一个使用HTTP的API。
（3）Couchbase：NoSQL文档数据库基于JSON模型。
（4）RavenDB：RavenDB是一个基于.NET语言的面向文档数据库。
（5）MarkLogic：MarkLogic NoSQL数据库用来存储基于XML和以文档为中心的信息，支持灵活的模式。
4、图数据库：Neo4J、InfoGrid、OrientDB、GraphDB，下面简单介绍几个
（1）Neo4j：Neo4j是一个图数据库；支持ACID事务（原子性、独立性、持久性和一致性）。
（2）InfiniteGraph：一个图数据库用来维持和遍历对象间的关系，支持分布式数据存储。
（3）AllegroGraph：AllegroGraph是结合使用了内存和磁盘，提供了高可扩展性，支持SPARQ、RDFS++和Prolog推理。
5、内存数据网格：Hazelcast、Oracle Coherence、Terracotta BigMemorry、GemFire、Infinispan、GridGain、GigaSpaces，下面简单介绍几个
（1）Hazelcast：Hazelcast CE是一个开源数据分布平台，它允许开发者在数据库集群之上共享和分割数据。
（2）Oracle Coherence：Oracle的内存数据网格解决方案提供了常用数据的快速访问能力，一致性支持事务处理能力和数据的动态划分。
（3）Terracotta BigMemory：来自Terracotta的分布式内存管理解决方案。这项产品包括一个Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop连接器。
（4）GemFire：Vmware vFabric GemFire是一个分布式数据管理平台，也是一个分布式的数据网格平台，支持内存数据管理、复制、划分、数据识别路由和连续查询。
（5）Infinispan：Infinispan是一个基于Java的开源键值NoSQL数据存储，和分布式数据节点平台，支持事务，peer-to-peer 及client/server 架构。
（6）GridGain：分布式、面向对象、基于内存、SQL+NoSQL键值数据库。支持ACID事务。
（7）GigaSpaces：GigaSpaces内存数据网格能够充当应用的记录系统，并支持各种各样的高速缓存场景。