mysql数据仓库（mysql可以做数据仓库吗）

本文目录

• mysql可以做数据仓库吗
• 下面列出的条目中，哪些是数据仓库的基本特征
• mysql存储hive元数据有什么好处
• 简述数据库数据仓库和数据挖掘三者之间的关系
• 如何将mysql数据同步到数据仓库
• mysql适不适合用于支撑数据仓库技术用到的OLAP查询在MySQL5.6或5.7的环境下

mysql可以做数据仓库吗

数据仓库就是数据库，只不过是按照业界不同的提法说法不同而已； 一般的数据仓库的说法是要建立一个高性能的可查询数据库，一般说来是提供高效的查询而不是交互。从软件出发考虑：MySQL现有的几种数据库从5.5后缺省的数据引擎是Innodb, 性能在查询上和MyISAM差不多，不过对事物的支持更加好。 如果需要建立一个有规模的数据仓库首先必须考虑查询和聚合运算的效率问题， 从MySQL内部的函数的使用效率出发选用innodb可以支持复杂的存储过程让运算集中在服务器上运行，可以高效的发挥服务器的运算性能和SQL集合运算的效率。

下面列出的条目中，哪些是数据仓库的基本特征

Infobright是一款基于独特的专利知识网格技术的列式数据库。Infobright是开源的MySQL数据仓库解决方案，引入了列存储方案，高强度的数据压缩，优化的统计计算(类似sum/avg/group by之类)，infobright 是基于mysql的，但不装mysql亦可，因为它本身就自带了一个。mysql可以粗分为逻辑层和物理存储引擎，infobright主要实现的就是一个存储引擎，但因为它自身存储逻辑跟关系型数据库根本不同，所以，它不能像InnoDB那样直接作为插件挂接到mysql，它的逻辑层是mysql的逻辑层加上它自身的优化器。

Infobright特征

优点：

• 大数据量查询性能强劲、稳定：百万、千万、亿级记录数条件下，同等的SELECT查询语句，速度比MyISAM、InnoDB等普通的MySQL存储引擎快5～60倍。高效查询主要依赖特殊设计的存储结构对查询的优化，但这里优化的效果还取决于数据库结构和查询语句的设计。

• 存储数据量大：TB级数据大小，几十亿条记录。数据量存储主要依赖自己提供的高速数据加载工具（百G/小时）和高数据压缩比（》10:1）

• 高数据压缩比：号称平均能够达到 10:1 以上的数据压缩率。甚至可以达到40:1，极大地节省了数据存储空间。高数据压缩比主要依赖列式存储和 patent-pending 的灵活压缩算法.

• 基于列存储：无需建索引，无需分区。即使数据量十分巨大，查询速度也很快。用于数据仓库，处理海量数据没一套可不行。不需要建索引，就避免了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放，每块有知识网格节点记录块内的统计信息，代替索引，加速搜 索。

• 快速响应复杂的聚合类查询：适合复杂的分析性SQL查询，如SUM, COUNT, AVG, GROUP BY

mysql存储hive元数据有什么好处

定义　　元数据最本质、最抽象的定义为：data about data (关于数据的数据)。它是一种广泛存在的现象，在许多领域有其具体的定义和应用。在数据仓库领域中，元数据被定义为：描述数据及其环境的数据。一般来说,它有两方面的用途。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:（1）描述哪些数据在数据仓库中；（2）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（3）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（4）记录并检测系统数据一致性的要求和执行情况；（5）衡量数据质量。在软件构造领域，元数据被定义为：在程序中不是被加工的对象，而是通过其值的改变来改变程序的行为的数据。它在运行过程中起着以解释方式控制程序行为的作用。在程序的不同位置配置不同值的元数据，就可以得到与原来等价的程序行为。在图书馆与信息界，元数据被定义为：提供关于信息资源或数据的一种结构化的数据,是对信息资源的结构化的描述。其作用为：描述信息资源或数据本身的特征和属性,规定数字化信息的组织,具有定位、发现、证明、评估、选择等功能。此外，元数据在地理界，生命科学界等顶域也有其相应的定义和应用。元数据（Meta Data）是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息，所有这些信息都应当妥善保存，并很好地管理。为数据仓库的发展和使用提供方便。元数据是一种二进制信息，用以对存储在公共语言运行库可移植可执行文件 (PE) 文件或存储在内存中的程序进行描述。将您的代码编译为 PE 文件时，便会将元数据插入到该文件的一部分中，而将代码转换为 Microsoft 中间语言 (MSIL) 并将其插入到该文件的另一部分中。在模块或程序集中定义和引用的每个类型和成员都将在元数据中进行说明。当执行代码时，运行库将元数据加载到内存中，并引用它来发现有关代码的类、成员、继承等信息。元数据以非特定语言的方式描述在代码中定义的每一类型和成员。元数据存储以下信息：程序集的说明。标识（名称、版本、区域性、公钥）。导出的类型。该程序集所依赖的其他程序集。运行所需的安全权限。类型的说明。名称、可见性、基类和实现的接口。成员（方法、字段、属性、事件、嵌套的类型）。属性。修饰类型和成员的其他说明性元素。

简述数据库数据仓库和数据挖掘三者之间的关系

先说说数据仓库和数据挖掘的关系，再说说数据库与数据仓库的关系

数据仓库与数据挖掘的联系

(1)数据仓库为数据挖掘提供了更好的、更广泛的数据源。

(2)数据仓库为数据挖掘提供了新的支持平台。

(3)数据仓库为更好地使用数据挖掘这个工具提供了方便。

(4)数据挖掘为数据仓库提供了更好的决策支持。

(5)数据挖掘对数据仓库的数据组织提出了更高的要求。

(6)数据挖掘还为数据仓库提供了广泛的技术支持。

数据仓库与数据挖掘的差别

(1)数据仓库是一种数据存储和数据组织技术,提供数据源。

(2)数据挖掘是一种数据分析技术,可针对数据仓库中的数据进行分析。

1、数据库:是一种逻辑概念，用来存放数据的仓库，通过数据库软件来实现。数据库由很多表组成，表是二维的，一张表里面有很多字段。字段一字排开，对数据就一行一行的写入表中。数据库的表，在于能够用二维表现多维的关系。如：oracle、DB2、MySQL、Sybase、MSSQLServer等。

2、数据仓库：是数据库概念的升级。从逻辑上理解，数据库和数据仓库没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析，辅助领导做决策；

区别主要总结为以下几点：

1.数据库只存放在当前值，数据仓库存放历史值；

2.数据库内数据是动态变化的，只要有业务发生，数据就会被更新，而数据仓库则是静态的历史数据，只能定期添加、刷新；

3.数据库中的数据结构比较复杂，有各种结构以适合业务处理系统的需要，而数据仓库中的数据结构则相对简单；

4.数据库中数据访问频率较高，但访问量较少，而数据仓库的访问频率低但访问量却很高；

5.数据库中数据的目标是面向业务处理人员的，为业务处理人员提供信息处理的支持，而数据仓库则是面向高层管理人员的，为其提供决策支持；

6.数据库在访问数据时要求响应速度快，其响应时间一般在几秒内，而数据仓库的响应时间则可长达数几小时

如何将mysql数据同步到数据仓库

如何将mysql数据同步到数据仓库

都是一个数据库里，直接用关联即可， 1。这样即可以省数据库空间， 2。还方便数据操作， 3。并且不要做二次数据插入！ 4。而且绝对的同步！主机开两个窗口，一个进入mysql，一个是shell --主机阻断写操作 mysql》 FLUSH TABLES WITH READ LOCK; Query OK, 0 rows affected (0.00 sec) mysql》 mysql》 mysql》 SHOW MASTER STATUS

mysql适不适合用于支撑数据仓库技术用到的OLAP查询在MySQL5.6或5.7的环境下

个人认为mysql是一种轻型数据库，他的优势在于小巧，方便，快捷，就算经过优化，集群等操作，一般就是DSS系统或者OLTP系统，因为这里mysql还有些优势。如果用在OLAP上，个人感觉从性能上来说，不太适合。而且现在oracle收购了mysql，一般oracle为大型的数据库架构，mysql则更侧重于中小型，所以个人认为不太合适。