kv数据库和关系型数据库（oss作为kv数据库）

本文目录

• oss作为kv数据库
• 一般什么产品或者系统或网站会使用K/V数据库型数据库呢
• 什么是kv数据库
• 什么是非关系型数据库

oss作为kv数据库

oss作为kv数据库可以实现无限扩展。OSS对象存储采用KV的技术架构，可以实现无限扩展，是公认的数据湖存储底座。用户可以通过离线ETL和在线增量ETL将在线数据和实时增量数据，同步到OSS中，然后对数据做深度的计算和分析。kv数据库：LevelDB是google公司开发出来的一款超高性能kv存储引擎，只是一个C/C++编程语言的库，不包含网络服务封装。LevelDB提供了Put，Delete和Get三个方法对数据库进行修改和查询，比关系型数据库简单。

一般什么产品或者系统或网站会使用K/V数据库型数据库呢

KV型存储系统是最常用的NoSQL存储系统之一。Memcached和Redis是其最具代表的两个产品。本文将详细介绍Memcached和Redis的常用场景及如何构建一个高可用和自动弹性伸缩的KV存储系统。Cache加DB是最常见的存储层架构。时间局部性原理指出正在被访问的数据很可能会在近期再次被访问。根据这一原理应用程序将最近访问过的数据保存在Cache中，每次读取请求首先访问Cache，若Cache中保存有该数据则直接获取数据返回给前端。若Cache中该数据不存在则从DB获取数据并将该数据保存到Cache；若数据被更新或删除则将Cache中对应数据置为失效。使用Cache能够很好地缓解DB的读请求压力。KV存储系统既可以应用在Cache层也可以应用在DB层。Memcached使用内存作为存储介质，因为内存数据的易失性Memcached主要应用在Cache层。Memcached常见的应用场景是存储一些读取频繁但更新较少的数据，如静态网页、系统配置及规则数据、活跃用户的基本数据和个性化定制数据、准实时统计信息等。并不是所有场景都适合Memcached加DB的架构，在某些场景下这一架构存在一些局限。例如这一架构不能提升写的性能，写数据时还是数据直接存储到DB，同时需要将Cache中数据置为失效，所以对以写请求为主的应用使用Cache提升性能的效果并不是很明显。如果应用的热点数据或者活跃用户分布较为分散也会降低Cache的命中率。如果遇到机器宕机，内存数据会丢失，那么机器重启后需要一段时间重新建立热点数据，建立热点数据的过程中会对DB会造成较大的压力，严重时会导致系统雪崩。相比Memcached，Redis做了一些优化。首先，Redis对数据做了持久化，支持AOF和RDB两种持久化方式，机器重启后能通过持久化数据自动重建内存。其次，Redis支持主从复制，主机会自动将数据同步到从机，可以进行读写分离，主机负责写操作，从机负责读操作。那样既增加了系统的读写性能又提升了数据的可靠性。再次，Redis除了支持string类型的value外还支持string、hash、set、sorted set、list等类型的数据结构。因此，Redis既可以应用在Cache层，也可以替换或者部分替换DB存储持久化数据。使用Redis作为Cache时机器宕机后热点数据不会丢失，无须像Memcached一样重建热点数据。相比Cache加DB的架构方式，使用Redis存储持久化数据不仅能够提升读性能，还能提升写性能，而且不存在热点数据分布是否集中而影响命中率的问题。Redis丰富的数据结构也使其拥有更加丰富的应用场景。Redis的命令都是原子性的，可以简单地利用INCR和DECR实现计数功能。使用list可以实现获取最近N个数的操作。sort set支持对数据排序，可以应用在排行榜中。set集合可以应用到数据排重。Redis还支持过期时间设置，可以应用到需要设定精确过期时间的应用。只要可以使用Redis支持的数据结构表示的场景，就可以使用Redis进行存储。但Redis不是万能的，它不支持关系型数据库复杂的SQL操作。某些场景下，可结合Redis和关系型DB，将简单查询相关的数据保存在Redis中，复杂SQL操作由关系型DB完成。虽然Redis集很多优点于一身，但在实际运营中也存在一些问题。首先，Redis不具备自动容错和恢复功能，主机从机的宕机都会导致前端部分读写请求失败，需要等待机器重启或者手动切换前端的IP才能恢复。如果主机宕机，宕机前有部分数据未能及时同步到从机，切换IP后还会引入数据不一致的问题，降低了系统的可用性。其次，Redis的主从复制采用全量复制，复制过程中主机会fork出一个子进程对内存做一份快照，并将子进程的内存快照保持为文件发送给从机，这一过程需要确保主机有足够多的空余内存。若快照文件较大，对集群的服务能力会产生较大的影响，而且复制过程是在从机新加入集群或者从机和主机网络断开重连时都会进行，也就是网络波动都会造成主机和从机间的一次全量的数据复制，这对实际的系统运营造成了不小的麻烦。最后，Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。为避免这一问题，运维人员在系统上线时必须确保有足够的空间，这对资源造成了很大的浪费。

什么是kv数据库

kv数据库是指Key-value数据库，是一种以键值对存储数据的一种数据库，类似java中的map。可以将整个数据库理解为一个大的map，每个键都会对应一个唯一的值。

key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。

如果辅以实时搜索引擎进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数 量的目的。以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储，在上万并发连接下，轻松地完成高速查询。

扩展资料：

数据库的安全直接关系到整个数据库系统的安全，其防护手段主要有以下八点：

1、使用正版数据库管理系统并及时安装相关补丁。

2、做好用户账户管理，禁用默认超级管理员账户或者为超级管理员账户设置复杂密码；为应用程序分别分配专用账户进行访问；设置用户登录时间及登录失败次数限制， 防止暴力破解用户密码。

3、分配用户访问权限时，坚持最小权限分配原则，并限制用户只能访问特定数据库，不能同时访问其他数据库。

4、修改数据库默认访问端口，使用防火墙屏蔽掉对 外开放的其他端口，禁止一切外部的端口探测行为。

5、对数据库内存储的重要数据、敏感数据进行加密存储，防止数据库备份或数据文件被盗而造成数据泄露。

6、设置好数据库的备份策略，保证数据库被破坏后能迅速恢复。

7、对数据库内的系统存储过程进行合理管理，禁用掉不必要的存储过程，防止利用存储过程进行数据库探测与攻击。

8、启用数据库审核功能，对数据库进行全面的事件跟踪和日志记录。

参考资料来源：

百度百科-Key-Value

百度百科-数据库

什么是非关系型数据库

1. 文档数据库，没研究过定义，通常mongodb 就是文档数据库，特点就是数据定义比较灵活。2. Kv数据库，提供的是kv的数据表示模式。单机的rocksdb，分布式的tikv之类。3. 图数据库。数据可以用图来定义。4. 列式数据库。hbase之类，这里可能有争议，很多人把hbase 定义为列存。