::::::::::<< 컴퓨터의 문제해결 방법과 좀 더 잘 활용하는 지혜 >>::::::::::

  한솔 (2008-08-10 16:49:59, Hit : 6003, Vote : 575)

http://www.hansol.name

http://kldp.org/Translations/html/UTF8-Unicode-KLDP/UTF8-Unicode-KLDP.html#toc14

UTF-8 이란?

참조 : http://kldp.org/Translations/html/UTF8-Unicode-KLDP/UTF8-Unicode-KLDP.html#toc14
         UTF-8 and Unicode FAQ for Unix/Linux - Markus Kuhn( Markus.Kuhn@cl.cam.ac.uk)

우선 UTF-8은 UCS Transformation Format의 약자이며, UCS는 Universal Character Set의 약자입니다. 간단히 말하면 유니코드(전 세계의 문자들을 표시하기 위한 표준 코드입니다)로 인코딩하는 방식중의 하나입니다.

ISO 10646-1 의 Annex R과 RFC 2279상에 정의된 UTF-8 인코딩은 유닉스 스타일의 운영 체제하에서 유니코드를 사용하기 위한 좋은 방법이다.

UTF-8은 다음의 성질을 갖고 있다:

◎ U+0000부터 U+007F까지의 UCS 문자들은 0x00에서 0x7f 바이트까지 쉽게 인코딩된다(ASCII와의 호환성). 이것은 오직 7비트의 ASCII 문자들을 포함하는 파일 및 문자열들이 ASCII와 UTF-8 양쪽 모두에서 같은 인코딩을 갖는다는 것을 의미한다.
◎ U+007F보다 큰 모든 UCS 문자들은 각각 독자적인 바이트의 시퀀스로써 인코딩되며, 이것들은 각각 가장 중요한 비트셋(bit set)을 가진다. 그러므로 다른 문자의 부분에 어떤 ASCII 바이트(0x00-0x7f)도 나타날 수 없다.
◎ ASCII가 아닌 문자를 나타내는 멀티바이트 시퀀스의 첫번째 바이트는 항상 0xC0에서부터 0xFD 범위에 있으며, 그것은 이러한 문자를 위해 얼마나 많은 바이트가 필요한 지를 가르킨다. 멀티바이트 시퀀스의 모든 이후의 바이트들은 0x80에서부터 0xBF 범위에 있다. 이 때문에 resynchronization을 쉽게할 수 있고 국가에 구애받지 않고 인코딩할 수 있으며 바이트를 잃어버리지 않게 된다.
◎ 가능한 모든 231 UCS 코드를 인코딩할 수 있다.
◎ UTF-8로 인코딩한 문자들은 이론적으로 6바이트 길이까지 가능하지만, 16비트 BMP 영역 문자들은 오직 3바이트 길이까지 가능하다.
◎ Bigendian UCS-4 바이트 문자열의 정렬 순서는 보존된다.
◎ 0xFE 및 0xFF 바이트는 결코 UTF-8 인코딩에서 사용하지 않는다.

예:

"유니코드 문자    U+00A9 = 1010 1001"(저작권 부호)는 다음과 같은 UTF-8에 따라 인코딩된다.

                         11000010 10101001 = 0xC2 0xA9

그리고 문자 U+2260 = 0010 0010 0110 0000(저작권 부호)는 다음과 같은 UTF-8에 따라 인코딩된다.

            11100010 10001001 10100000 = 0xE2 0x89 0xA0

UTF-8의 디코딩 처리 순서에 있어서 중요한 점은 다음과 같다: 보안상의 이유 때문에, UTF-8 디코더는 한 문자를 인코딩하기 위해서 필요 이상으로 긴 UTF-8 시퀀스를 받아들여서는 안 된다. 예를 들어 U+000A(라인 피드) 문자는 오직 0x0A 형식으로 UTF-8 스트림으로부터 받아들여야만 하며, 다음의 다섯가지와 같이 과도하게 긴(overlong) 형식으로 받아들여서는 안된다.

  0xc0 0x8A
  0xe0 0x80 0x8A
  0xf0 0x80 0x80 0x8A
  0xf8 0x80 0x80 0x80 0x8A
  0xfc 0x80 0x80 0x80 0x80 0x8A

가장 짧은 인코딩을 찾기 위한 UTF-8 서브스트링 테스트를 무시하기 어떤 과도하게 긴 UTF-8 시퀀스를 남용할 수 있다.

-------------------------------------------------------------------------------------
예를 들면, '가'라는 글자는 UTF-8로 인코딩되면 16진수 EAB080으로 바뀝니다.
그리고 URL은  인터넷주소창의 주소와 같은 것인데 이 URL을 UTF-8 형식으로 변환해서 웹 서버에 페이지를 요청한다는 의미입니다.

이 주소가 모두 영숫자와 기호로만 되어 있다면 별 상관이 없는데, 한글이나 특수문자 등이 끼어 있으면 이를 UTF-8로 변환했을 때 대부분의 웹 서버에서 이를 인식하지 못하게 됩니다. 따라서 실제 서버에는 해당 URL의 파일이 있음에도 없는 것처럼 찾을 수 없다는 메시지를 보여주게 됩니다.

국내에서는 UTF-8로 인코딩해서 보내야 할 일이 별로 없으므로 저 옵션은 항상 꺼놓는게 여러모로 좋습니다.

△ 리눅스 명령어 모음

▽ 실용적인 스위시 강좌

Copyright 1999-2025 Zeroboard / skin by zero