php教程分享

  1. php教程首页
  2. php高级应用

php对gb编码动态转utf-8编码的几种方法评测

•php高级应用•阅读 3750

php对gb编码动态转utf-8编码的几种方法评测

在《IP地址->地理位置转换的测评》一文中提到用ip2addr函数直接读取IP数据库文件是效率最高的，相比用MySQL数据库存储IP数据，用SQL查询是效率最低的。但是IP数据库文件QQWry.dat是GB2312编码的。现在我需要UTF-8编码的地理位置结果。如果用MySQL方法，可以在数据存入数据库时就转换为UTF-8编码，一劳永逸。但是QQWry.dat文件又无法修改，只能把ip2addr函数的输出结果再进行动态转换。

动态转换GB->UTF-8编码至少有四种方法：

用PHP的iconv扩展转换

用PHP的mb_string扩展转换

用对换表转换，对换表存储在MySQL数据库中

用对换表转换，对换表存储在文本文件中

前两种方法要服务器作了相应设置（编译安装了相应扩展）才能使用。我的虚拟主机没有这两个扩展，只好考虑后两种方法。前两个方法本文也不进行测评。

测评程序如下（func_ip.php参见《IP地址->地理位置转换的测评》一文）：

<?php

require_once ("func_ip.php");

function u2utf8($c) {

$str = "";

if ($c < 0x80) {

$str .= $c;

} elseif ($c < 0x800) {

$str .= chr(0xC0 | $c >> 6);

$str .= chr(0x80 | $c & 0x3F);

} elseif ($c < 0x10000) {

$str .= chr(0xE0 | $c >> 12);

$str .= chr(0x80 | $c >> 6 & 0x3F);

$str .= chr(0x80 | $c & 0x3F);

} elseif ($c < 0x200000) {

$str .= chr(0xF0 | $c >> 18);

$str .= chr(0x80 | $c >> 12 & 0x3F);

$str .= chr(0x80 | $c >> 6 & 0x3F);

$str .= chr(0x80 | $c & 0x3F);

}

return $str;

}

function GB2UTF8_SQL($strGB) {

if (!trim($strGB)) return $strGB;

$strRet = "";

$intLen = strlen($strGB);

for ($i = 0; $i < $intLen; $i++) {

if (ord($strGB{$i}) > 127) {

$strCurr = substr($strGB, $i, 2);

$intGB = hexdec(bin2hex($strCurr)) - 0x8080;

$strSql = "SELECT code_unicode FROM nnstats_gb_unicode

WHERE code_gb = ".$intGB." LIMIT 1"

$resResult = mysql_query($strSql);

if ($arrCode = mysql_fetch_array($resResult)) $strRet .= u2utf8($arrCode["code_unicode"]);

else $strRet .= "??";

$i++;

} else {

$strRet .= $strGB{$i};

}

}

return $strRet;

}

function GB2UTF8_FILE($strGB) {

if (!trim($strGB)) return $strGB;

$arrLines = file("gb_unicode.txt");

foreach ($arrLines as $strLine) {

$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));

}

$strRet = "";

$intLen = strlen($strGB);

for ($i = 0; $i < $intLen; $i++) {

if (ord($strGB{$i}) > 127) {

$strCurr = substr($strGB, $i, 2);

$intGB = hexdec(bin2hex($strCurr)) - 0x8080;

if ($arrCodeTable[$intGB]) $strRet .= u2utf8($arrCodeTable[$intGB]);

else $strRet .= "??";

$i++;

} else {

$strRet .= $strGB{$i};

}

}

return $strRet;

}

function EncodeIp($strDotquadIp) {

$arrIpSep = explode('.', $strDotquadIp);

if (count($arrIpSep) != 4) return 0;

$intIp = 0;

foreach ($arrIpSep as $k => $v) $intIp += (int)$v * pow(256, 3 - $k);

return $intIp;

//return sprintf('%02x%02x%02x%02x', $arrIpSep[0], $arrIpSep[1], $arrIpSep[2], $arrIpSep[3]);

}

function GetMicroTime() {

list($msec, $sec) = explode(" ", microtime());

return ((double)$msec + (double)$sec);

}

for ($i = 0; $i < 100; $i++) { // 随机产生100个ip地址

$strIp = mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255);

$arrAddr[$i] = ip2addr(EncodeIp($strIp));

}

$resConn = mysql_connect("localhost", "netnest", "netnest");

mysql_select_db("test");

// 测评MySQL查询的编码转换

$dblTimeStart = GetMicroTime();

for ($i = 0; $i < 100; $i++) {

$strUTF8Region = GB2UTF8_SQL($arrAddr[$i]["region"]);

$strUTF8Address = GB2UTF8_SQL($arrAddr[$i]["address"]);

}

$dblTimeDuration = GetMicroTime() - $dblTimeStart;

// 测评结束并输出结果

echo $dblTimeDuration; echo " ";

// 测评文本文件查询的编码转换

$dblTimeStart = GetMicroTime();

for ($i = 0; $i < 100; $i++) {

$strUTF8Region = GB2UTF8_FILE($arrAddr[$i]["region"]);

$strUTF8Address = GB2UTF8_FILE($arrAddr[$i]["address"]);

}

$dblTimeDuration = GetMicroTime() - $dblTimeStart;

// 测评结束并输出结果

echo $dblTimeDuration; echo " ";

?>

测评两次结果（精确到3位小数，单位是秒）：

MySQL查询转换：0.112

文本查询转换：10.590

MySQL查询转换：0.099

文本查询转换：10.623

可见这次是MySQL方法遥遥领先于文件查询法。但是现在还不急于使用MySQL方法，因为文本文件方法之所以如此耗时，主要因为它每次转换都要把整个gb_unicode.txt读入内存，而gb_unicode.txt又是文本文件，格式如下：

0x2121 0x3000 # IDEOGRAPHIC SPACE

0x2122 0x3001 # IDEOGRAPHIC COMMA

0x2123 0x3002 # IDEOGRAPHIC FULL STOP

0x2124 0x30FB # KATAKANA MIDDLE DOT

0x2125 0x02C9 # MODIFIER LETTER MACRON (Mandarin Chinese first tone)

……

0x552A 0x6458 # <CJK>

0x552B 0x658B # <CJK>

0x552C 0x5B85 # <CJK>

0x552D 0x7A84 # <CJK>

……

0x777B 0x9F37 # <CJK>

0x777C 0x9F3D # <CJK>

0x777D 0x9F3E # <CJK>

0x777E 0x9F44 # <CJK>

文本文件效率较低，于是考虑把文本文件转换为二进制文件，然后用折半法查找这个文件，而不需要把整个文件读入内存。文件格式为：文件头2字节，存储记录数；接着一条接一条记录存入文件，每条记录4字节，前2字节对应GB代码，后2字节对应Unicode代码。转换程序如下：

<?php

$arrLines = file("gb_unicode.txt");

foreach ($arrLines as $strLine) {

$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));

}

ksort($arrCodeTable);

$intCount = count($arrCodeTable);

$strCount = chr($intCount % 256) . chr(floor($intCount / 256));

$fileGBU = fopen("gbu.dat", "wb");

fwrite($fileGBU, $strCount);

foreach ($arrCodeTable as $k => $v) {

$strData = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));

fwrite($fileGBU, $strData);

}

fclose($fileGBU);

?>

执行程序后就获得了二进制的GB->Unicode对照表gbu.dat，并且数据记录按GB代码排了序，便于折半法查找。使用gbu.dat进行转码的函数如下：

function GB2UTF8_FILE1($strGB) {

if (!trim($strGB)) return $strGB;

$fileGBU = fopen("gbu.dat", "rb");

$strBuf = fread($fileGBU, 2);

$intCount = ord($strBuf{0}) + 256 * ord($strBuf{1});

$strRet = "";

$intLen = strlen($strGB);

for ($i = 0; $i < $intLen; $i++) {

if (ord($strGB{$i}) > 127) {

$strCurr = substr($strGB, $i, 2);

$intGB = hexdec(bin2hex($strCurr)) - 0x8080;

$intStart = 1;

$intEnd = $intCount;

while ($intStart < $intEnd - 1) { // 折半法查找

$intMid = floor(($intStart + $intEnd) / 2);

$intOffset = 2 + 4 * ($intMid - 1);

fseek($fileGBU, $intOffset);

$strBuf = fread($fileGBU, 2);

$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});

if ($intGB == $intCode) {

$intStart = $intMid;

break;

}

if ($intGB > $intCode) $intStart = $intMid;

else $intEnd = $intMid;

}

$intOffset = 2 + 4 * ($intStart - 1);

fseek($fileGBU, $intOffset);

$strBuf = fread($fileGBU, 2);

$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});

if ($intGB == $intCode) {

$strBuf = fread($fileGBU, 2);

$intCodeU = ord($strBuf{0}) + 256 * ord($strBuf{1});

$strRet .= u2utf8($intCodeU);

} else {

$strRet .= "??";

}

$i++;

} else {

$strRet .= $strGB{$i};

}

}

return $strRet;

}

把其加到原来的测评程序，对三种方法同时测评2次得到数据（精确到3位小数，单位：秒）：

MySQL方法：0.125

文本文件方法：10.873

二进制文件折半法：0.106

MySQL方法：0.102

文本文件方法：10.677

二进制文件折半法：0.092

可见二进制文件折半法还比MySQL法略有优势。但是上述测评都是对短的地理位置进行转码，如果对较长的文本转码又如何呢？我找来5个Blog的RSS 2.0文件，都是GB2312编码。测评三种方法对5个文件编码耗费的时间，2次测量数据如下（精确到3位小数，单位：秒）：

MySQL方法：7.206

文本文件方法：0.772

二进制文件折半法：5.022

MySQL方法：7.440

文本文件方法：0.766

二进制文件折半法：5.055

可见对长的文本是用文本文件的方法最优，因为转码对照表读入内存后，转码就可以很高效了。既然如此，我们还可以尝试改进一下，把文本文件方法改为：转码对照表从二进制文件gbu.dat读入内存，而不是文本文件。测评数据如下（精度和单位同上）：

从文本文件读入对照表：0.766

从二进制文件读入对照表：0.831

从文本文件读入对照表：0.774

从二进制文件读入对照表：0.833

表明这次改进失败了，从文本文件读入转码对照表更高效。

总结：用PHP对GB编码到UTF-8编码的动态转换，如果每次转换的文本很小，适宜用二进制文件结合折半法转换；如果每次转换的文本较大，适宜用文本文件存储转码对照表，并在转换前一次性把对照表读入内存。

赞 (0)
上一篇12-16
下一篇 2-28

相关推荐

  • php获取参数的几种方法总结

    php获取参数的几种方法总结本篇文章要是对php获取参数的几种方法进行了总结介绍，需要的朋友可以过来参考下，希望对大家有所帮助php获取参数的几种方法总结$value=$_POST["value"];//取得post中的$value=$_R…
    •php高级应用
    2015-03-096804

  • php实现文件编码批量转换

    php实现文件编码批量转换转换文件编码，比如原来是gbk，转换成utf-8的，可以转单个文件也可以转换整个目录的文件，可选是否递归目录有些问题，不能重复转，比如gbk转到utf8,然后有在转成utf8,这样会乱码，我本来试图在转换之前去检测…
    •php文件操作
    2015-03-126624

  • PHP汉字转换拼音的类

    PHP汉字转换拼音的类网络上类似的代码大多只能在gb2312编码下使用，下面这个类同时能在utf-8编码下将汉字转换为拼音，具体的代码和用法如下：<?phpfunctionPinyin($_String,$_Code='gb2312'…
    •php图像处理
    2015-04-2012932

  • 关于MySQL编码问题的经验总结

    关于MySQL编码问题的经验总结以下所描述无理论依据，纯属经验谈。MySQL使用4.1以上版本，管他是什么字符集，一律使用默认。不用去设置MySQL。然后举个使用GB2312和UTF-8的例子。好，你只要保证你的写着INSERTSQL语句的…
    •Mysql
    2015-05-0113980

  • PHP将汉字转换拼音

    PHP将汉字转换拼音PHP将汉字转换拼音是程序员们经常需要操作的任务之一，别看这一小功能却能发挥很大的作用，以下是正确的汉字转拼音方法，大家可以借鉴一下。网络上类似的代码大多只能在gb2312编码下使用，下面这个类同时能在utf-8编码下将…
    •Php 与 Smarty
    2015-05-1716877

  • 提升团队编码效率的几条经验(转)

    提升团队编码效率的几条经验(转)1.定义好团队结构可以按照多种方式来定义团队结构，不过最常见的两种是主程序员团队与无我编程团队。主程序员团队至少由3人组成：一个主程序员、一个高级程序员和一个程序管理员。这种结构非常适合于处理简单和直接的任务…
    •php应用
    2015-07-2215692

  • php生成utf-8编码的xml方法

    php生成utf-8编码的xml方法前段时间在试用php本地测试的时候用的gbk的，默认的还可以用，可是这次换了utf-8编码的了，纠结呀。。生成的xml读不出来了。...其实用php生成UTF-8的文件没有什么特别的，只要把我们执行的那个…
    •php上传下载
    2015-08-056062

  • php5.2 Json不能正确处理中文、GB编码的解决方法

    php5.2Json不能正确处理中文、GB编码的解决方法json_encode对中文的处理是有问题，不能处理GB编码，所有的GB编码都会替换成空字符，下面有个不错的解决方法，大家可以参考下php5.2新增的json功能是非常受欢迎的，但是经…
    •正则表达式
    2016-04-0614473