utf8与unicode的区别（unicode和utf8的区别）

本文目录

• unicode和utf8的区别
• utf8和unicode的区别
• utf8与unicode的区别 到底是什么关系
• unicode编码和utf-8编码的区别
• UTF和Unicode区别

unicode和utf8的区别

什么是Unicode。Unicode的基本目标是统一所有的编码，即它包含所有的字符集。这样只要一个系统支持Unicode，那么，就能处理这些字符集。一般Unicode有两个字节。现在的windows操作系统都是支持Unicode的。 什么是UTF8呢？UTF8 == Unicode Transf.

utf8和unicode的区别

UTF8 == Unicode Transformation Format -- 8 bit是Unicode传送格式。即把Unicode文件转换成BYTE的传送流。UTF8流的转换程序：Input: unsigned integer c - the code point of the character to be encoded （输入一个unicode值）Output: byte b1, b2,b3, b4 - the encoded sequence of bytes (输出四个BYTE值）Algorithm（算法）: if (c《0x80) b1 = c》》0 & 0x7F | 0x00 b2 = null b3 = null b4 = null else if (c《0x0800) b1 = c》》6 & 0x1F | 0xC0 b2 = c》》0 & 0x3F | 0x80 b3 = null b4 = null else if (c《0x010000) b1 = c》》12 & 0x0F | 0xE0 b2 = c》》6 & 0x3F | 0x80 b3 = c》》0 & 0x3F | 0x80 b4 = null else if (c《0x110000) b1 = c》》18 & 0x07 | 0xF0 b2 = c》》12 & 0x3F | 0x80 b3 = c》》6 & 0x3F | 0x80 b4 = c》》0 & 0x3F | 0x80 end if =====================unicode 是一种编码表格，例如，给一个汉字规定一个代码。类似 GB2312-1980, GB18030等，只不过字集不同。=====================一个unicode码可能转成长度为一个BYTE,或两个，三个，四个BYTE的UTF8码，取决于unicode码的值。英文unicode码因为值小于0x80,只要用一个BYTE的UTF8传送，比送unicode两个BYTEs快。UTF8是为传送unicode而想出来的“再编码”方法罢了。UTF8转unicode用我上面给的程序反算即可。

utf8与unicode的区别 到底是什么关系

一个字符在内部表示成 unicode codepoint，对于单字节的字符来说，它就是 ASCII 码，对于多字节来说就很复杂的编码，它就是一个代码表，就像查字典，像我们以前的高考时填写的区位码，就是知道横纵坐标后就能查到值，这就是 unicode，但 unicode 本身是多字节支持的编码方案，由于多个字节在网络上传输或保存到磁盘上是按一个字节一个字节来保存的，这就存在先保存字节还是低字节的问题还有一个问题是一直使用字节数来编码字符还是变长字节来编码字节（比如为了兼容性，单字节依然是一个字节保存，其它常见自然语言的字符用双字节，很少见的冷僻字用多字节编码）这也需要让程序知道哪个字节是分隔点（哪几个字节凑在一起是一个字符），因此有多个编码成字节的方案，比如 UTF-8, UTF-16  之类的，UTF-8 就是变长字节方案，它们都是用一个方法来编码 unicode code point。

至于什么叫 UTF-8 (ASCII ) 这可能你得自己试一下，保存之后，用notepad 打开或 java  FileInputStream 按字节读取来观察一下它与 Unicode 有什么不同。Windows 上的 notepad 记事本本身只支持 ANSI，也就是 ASCII ，就是说把内部编码直接当成 ASCII 字节，不对字节做任何转换编码处理，所以当两个汉字4个字节放在一起，我通过程序删除第2个字节的话，你会发现全成了乱码，因为程序会假设 1 + 3 凑在一起是一个汉字，最后一个4单独成一个汉字，所以都是错误的。而 UTF-8 之类的有一套编码规则，或许能推测出这个数据本身有错误，当通过网络传输时我们就能识别出传输过程中是否有错误发生。

unicode编码和utf-8编码的区别

utf-8和Unicode到底有什么区别？是存储方式不同？编码方式不同？它们看起来似乎很相似，但是实际上他们并不是同一个层次的概念

要想先讲清楚他们的区别，首先应该讲讲Unicode的来由。

众所周知，在计算机发明的时候 ,由于计算机你只能表示二进制的数据，美帝人民为了交流通信方便，约定了一个编码系统，就是ASCII码，把abc..xyz...ABC...XYZ...!@#...等字符分别和0,1,2,3,4......对应，发现差不多刚好128个数，半个字节的长度，为了防止以后需要为新的符号编码，于是干脆取一个字节，最高位置为0。后七位从0-127分别对每一个符号编码。

于是，计算机每次读取一个字节，然后参照ASCII表把这些编码翻译成字符。美国人民很高兴，拿着自己玩去了.......

后来欧洲人也玩计算机，发现不行啊，还有很多符号（法语，德语）ASCII没办法表示啊，于是欧洲人自己也撸了一套编码，一个字节的长度，把最高位也用掉了。这套编码叫ISO。

和ASCII表类似，计算机也是每次只读一个字节，然后按照ISO表，解码出字符。于是欧洲人民也很高兴。

中国人不高兴了，特么我们汉字有几万个，常用的就有几千个，没有两个字节根本交不了货。于是勤劳勇敢的中国人民就破天荒的用了两个字节来表示中文。整出一套GBK。为了现实我中华民族兼容并蓄，我们兼容了ASCII编码。

计算机 :  WTF ?? !!

gbk编码规定，计算机不能在每次都只读一个字节那么死板了，你要先看看第一位是不是为0，要是为0 的话，就当作ASCII码来读入一个字节，不然的话就读入两个字节。

于是天下就很乱了，欧洲人看不懂我们发过去的信息，我们也看不懂他们的东西，美国人看不懂我的东西，不过我们能看懂他们的信息。。。哈哈。

总之，天下大乱，群雄并起，百姓生灵涂........

这个时候，就有个国际组织站出来了，说，这么着吧，我来撸一套编码，把大家的编码都归纳进来。于是unicode编码就出现了。这套编码表的编号从0一直算到了100多万（三个字节）。每一个区间都对应着一种语言的编码。目前几乎收纳了全世界大部分的字符。所有的字符都有唯一的编号，这就解决了解码的冲突，于是天下大定！但是，unicode把大家都归纳进来，却没有为编码的二进制传输和二进制解码做出规定。只留下一句：大哥只能帮你到这里了。

我知道你一定在想，要个毛的规定啊，每次让计算机读取三个字节然后参照Unicode表解码就好了。想法是好的，但是如果类似于1号编码这样的小数据编号也要三个字节的话，那么也就是0x000001,这简直就是浪费啊，明明一个字节就可以表示了，你非得整三个，所以你到底是几个意思呢？

不管怎么样，大哥虽然走了，但是问题还得解决啊，于是，就出现了如下解决方案：uft-8，utf-16，utf-32这些编码方案。utf-16是用两个字节来编码所有的字符，utf-32则选择用4个字节来编码。下面只讲一下utf-8这种解决方案，因为它用的最多，用得最多是因为在当时它的方案最好，最节省资源。

utf-8

utf-8为了节省资源，采用变长编码，编码长度从1个字节到6个字节不等

我知道你想说，明明看起来utf-16更加节省资源，节省空间，正常人都看得出来。但实际上，当时，互联网上绝大部分存在的资源都是英文的，英文在utf-16中也是2个字节，而在utf-8中则是1个字节。在当时，显然是utf-8更加节省资源。现在我们在中文世界里来比较他们，则是utf-16更加节省资源。

OK，关于unicode和utf-8的区别已经解释完毕了。下面用一个图来巩固一下那些区别

UTF和Unicode区别

首先先来捋一捋计算机编码发展史吧。

一些大佬看不下去了，各国这么独立发展，以后咋交流，所以Unicode编码就出现了。这套编码表的编号从0一直算到了100多万。每一个区间都对应着一种语言的编码。目前几乎收纳了全世界大部分的字符。所有的字符都有唯一的编号，这就解决了解码的冲突，于是天下大定！但是， Unicode把大家都归纳进来，却没有为编码的二进制传输和二进制解码做出规定。

那留下问题总要解决，就出现了UTF-32、 UTF-16、 UTF-8.（这里指Unicode的第二个版本）

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。使用记事本的时候，从文件读取的UTF-8字符被转换为Unicode字符到内存里，完成后，保存的时候再把Unicode转换为UTF-8保存到文件。浏览网页的时候，服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器所以我们看到很多网页的源码上会有类似的信息，表示该网页正是用的UTF-8编码。

总结下来就是： 计算机内存中，统一使用Unicode编码，需要保存或者传输时，转换成UTF8编码。

参考： 计算机中为何不直接使用 UTF-8 编码进行存储而要使用 Unicode 再转换成 UTF-8? Unicode和UTF-8、UTF-16、UTF-32之间的关系 utf-8和Unicode的区别