HandlerSocket是日本人akira higuchi 写的一个MySql的插件。通过这个插件,你可以直接跟MySQL后端的存储引擎做key-value式的交互,省去了MySQL上层的SQL解释、打开关闭表、创建查询计划等CPU开销。按照作者给出的数据可以在数据全部在内存的情况下可以达到75W的QPS查询。
适用场景:
Innodb引擎、按主键、unique key或索引搜索(也就是说它的SQL的where条件必须是这些);支持limit 语句、IN、INSERT/UPDATE/DELETE。
没有主键、unique key或索引搜索不行!
表必须是Innodb引擎
闲话少说,直接上安装和测试结果。
安装:
需要为MySQL安装插件、PHP安装扩展。这里就不再赘述,可以参考此篇文章http://blog.1984fox.com/read.php?30#entrymore,很详细。
API:
谷歌code(http://code.google.com/p/php-handlersocket/)中提供了PHP扩展作者的API,这里我将每个方法的参数具体说明一下(也可以去https://github.com/ahiguti/HandlerSocket-Plugin-for-MySQL/blob/master/docs-en/perl-client.en.txt参考一下perl扩展的API说明,其实实现都是一样的,只不过是不同语言):
实例化:
/* * String $host:MySQL ip; * String $port:handlersocket插件的监听端口,它有两个端口可选:一个用于读、一个用于写 */ $hs = new HandlerSocket($host, $port);
打开一个数据表:
/* * Int $index:这个数字相当于文件操作里的句柄,HandlerSocket的所有其他方法都会依据这个数字来操作由这个 openIndex打开的表, * String $dbname:库名 * String $table:表名 * String $key:表的“主键”(HandlerSocket::PRIMARY)或“索引名”作为搜索关键字段,这就是说表必须有主键或索引 * 个人理解:要被当做where条件的key字段,这样可以认为handlersocket只有一个where条件 * String $column:'column1,column2' 所打开表的字段(以逗号隔开),就是说$table表的其他字段不会被操作 */ $hs->openIndex($index, $dbname, $table, $key, $column);
查询:
/* * Int $index: openIndex()所用的$index * String $operation:openIndex方法中指定的$key字段所用的操作符,目前支持'=', '>=', '<=', '>',and '<';可以理解为where条件 * Array $value * Int $number(默认是1):获取结果的最大条数;相当于SQL中limit的第二个参数 * Int $skip(默认是0):跳过去几条;相当于SQL中limit的第一个参数 */ $retval = $hs->executeSingle($index, $operation, $value, $number, $skip);
插入(注意:此处的openIndex要用$port_wr,即读写端口):
/* * Int $index: openIndex()所用的$index * Array $arr:数字元素数与openIndex的$column相同 */ $retval = $hs->executeInsert($index, $arr);
删除(注意:此处的openIndex要用$port_wr,即读写端口):
/* * Int $index: openIndex()所用的$index * String $operation:openIndex方法中指定的$key字段所用的操作符,目前支持'=', '>=', '<=', '>',and '<';可以理解为where条件 * Array $value * Int $number(默认是1):获取结果的最大条数;相当于SQL中limit的第二个参数 * Int $skip(默认是0):跳过去几条;相当于SQL中limit的第一个参数 */ $retval = $hs->executeDelete($index, $operation, $value, $number, $skip);
更新(注意:此处的openIndex要用$port_wr,即读写端口):
/* * Int $index: openIndex()所用的$index * String $operation:openIndex方法中指定的$key字段所用的操作符,目前支持'=', '>=', '<=', '>',and '<';可以理解为where条件 * Array $value * Int $number(默认是1):获取结果的最大条数;相当于SQL中limit的第二个参数 * Int $skip(默认是0):跳过去几条;相当于SQL中limit的第一个参数 */ $retval = $hs->executeUpdate($index, $operation, $value, $number, $skip);
测试:
新建一个1000w条数据的用户表,id为主键,包括uname、email、add_time字段,使用两台不同的机器做ab压力测试:
1.handlersocket原理
很久以前做的测试了,今天只是为了留个存底的地方,所以拿上来,有很多不严谨的地方望大家多多包涵,也可以留言更正我的错误,谢谢!
都说handlersocket速度不是一般的快,公司也想在这方面研究一番,顺便我也学习下mysql的原理,就做了这个测试:
在介绍handlersocket之前首先来看一下mysql的原理:
前端应用(php python...)通过用户名和密码连接到mysql服务器,在通过mysql的“中间层”进行语法分析和优化等,最后交给存储引擎(myisma和innodb等)。
那么我所理解的handlersocket是怎样的?
我是根据什么猜测(在没有看源代码之前,只能猜测),handlersocket在连接mysql时,不用输入用户名和密码,一定是跳过了验证阶段;handlersocket在执行“sql”语句时,也别具一格,为什么这么说,因为在handlersocket严厉,根本没有所谓的sql语句,他所执行的单纯的是调用函数,例如:
[python] view plaincopyprint?hs.get('huati', 't_topic', ["f_tid", "f_tname"],'13')
在huati数据库,t_topic表查找主键等于13的f_tid和f_tname字段,有这句话可以看出来,完全是函数式的调用,这也省去了mysql的语法解析,也许是他快的主要原因吧!