PHP通过Thrift操作Hbase

HBase是一个开源的NoSQL产品,它是贯彻了GoogleBigTable论文的一个开源产品,和Hadoop和HDFS一起,可用来囤积和处理海量column
family的数据。官方网址是:http://hbase.apache.org

一 、HBase访问接口

1.  Native Java API,最健康和飞跃的走访格局,适合Hadoop MapReduce
Job并行批处理HBase表数据
2.  HBase Shell,HBase的命令行工具,最简便的接口,适合HBase管理选拔
3.  Thrift
Gateway,利用Thrift系列化技术,襄助C++,PHP,Python等多种语言,适合任何异构系统在线访问HBase表数据

4.  REST Gateway,帮忙REST 风格的Http API访问HBase, 解除了语言限制
5.  Pig,可以应用Pig
Latin流式编程语言来操作HBase中的数据,和Hive类似,本质最后也是编译成MapReduce
Job来拍卖HBase表数据,适合做多少总计
6. 
Hive,当前Hive的Release版本尚没有投入对HBase的支撑,但在下一个版本Hive
0.7.0少将会协助HBase,可以应用类似SQL语言来拜会HBase
如果利用PHP操作Hbase,推荐使用非死不可开源出来的thrift,官网是:http://thrift.apache.org/
,它是一个看似ice的中间件,用于不同系统语言间音讯置换。

二、安装Thrift

在Hadoop和Hbase都早就设置好的集群上安装Thrift,Thrift安装在Hmaster机器上

1. 下载thrift

wget http://mirror.bjtu.edu.cn/apache//thrift/0.8.0/thrift-0.8.0.tar.gz

 

2. 解压

tar -xzf thrift-0.8.0.tar.gz

3 .编译安装:

只假如源码编译的,首先要使用./boostrap.sh创造文件./configure
,大家这下载的tar包,自带有configure文件了。((可以查阅README文件))

If you are building from the first time out of the source repository,
you will
need to generate the configure scripts.  (This is not necessary if you
downloaded a tarball.)  From the top directory, do:
./bootstrap.sh

./configure
make ; make install

4. 启动:

# ./bin/hbase-daemon.sh start thrift [–port=PORT]
starting thrift, logging to
/home/banping/hbase/hbase-0.90.3/bin/../logs/hbase-root-thrift-localhost.localdomain.out

Thrift默认监听的端口是9090

行使jps查看过程,看到ThriftServer进程:

 

图片 1

 

三、测试:

1 .php脚本库操作Hbase

PHP通过Thrift访问Hbase的库是在thrift-0.8.0/lib/php/src目录下,其实这一个文件夹下也隐含通过Thrift访问Hbase的PHP扩充源代码。

复制thrift-0.8.0/lib/php到相应的php web目录。然后利用php脚本测试:

 

  1. <?php  
  2.   
  3. ini_set(‘display_errors’, E_ALL);  
  4. $GLOBALS[‘THRIFT_ROOT’] = ‘./php/src’;  
  5.   
  6. require_once( $GLOBALS[‘THRIFT_ROOT’] . ‘/Thrift.php’ );  
  7. require_once( $GLOBALS[‘THRIFT_ROOT’] . ‘/transport/TSocket.php’ );  
  8. require_once( $GLOBALS[‘THRIFT_ROOT’] . ‘/transport/TBufferedTransport.php’ );  
  9. require_once( $GLOBALS[‘THRIFT_ROOT’] . ‘/protocol/TBinaryProtocol.php’ );  
  10. require_once( $GLOBALS[‘THRIFT_ROOT’] . ‘/packages/Hbase/Hbase.php’ );  
  11.   
  12. $socket = new TSocket(‘10.64.60.83’, ‘9090’);  
  13.   
  14. $socket->setSendTimeout(10000); // Ten seconds (too long for production, but this is just a demo 😉  
  15. $socket->setRecvTimeout(20000); // Twenty seconds  
  16. $transport = new TBufferedTransport($socket);  
  17. $protocol = new TBinaryProtocol($transport);  
  18. $client = new HbaseClient($protocol);  
  19.   
  20. $transport->open();  
  21.   
  22. //获取表列表  
  23. $tables = $client->getTableNames();  
  24. sort($tables);  
  25. foreach ($tables as $name) {  
  26.   
  27.     echo( ”  found: {$name}\n” );  
  28. }  
  29.    
  30. //创制新表student  
  31. $columns = array(  
  32.     new ColumnDescriptor(array(  
  33.         ‘name’ => ‘id:’,  
  34.         ‘maxVersions’ => 10  
  35.     )),  
  36.     new ColumnDescriptor(array(  
  37.         ‘name’ => ‘name:’  
  38.     )),  
  39.     new ColumnDescriptor(array(  
  40.         ‘name’ => ‘score:’  
  41.     )),  
  42. );  
  43.   
  44. $tableName = “student”;  
  45. try {  
  46.     $client->createTable($tableName, $columns);  
  47. } catch (AlreadyExists $ae) {  
  48.     echo( “WARN: {$ae->message}\n” );  
  49. }  
  50. //获取表的讲述  
  51.   
  52. $descriptors = $client->getColumnDescriptors($tableName);  
  53. asort($descriptors);  
  54. foreach ($descriptors as $col) {  
  55.     echo( ”  column: {$col->name}, maxVer: {$col->maxVersions}\n” );  
  56. }  
  57.   
  58. //修改表列的数码  
  59. $row = ‘2’;  
  60. $valid = “foobar-\xE7\x94\x9F\xE3\x83\x93”;  
  61. $mutations = array(  
  62.     new Mutation(array(  
  63.         ‘column’ => ‘score’,  
  64.         ‘value’ => $valid  
  65.     )),  
  66. );  
  67. $client->mutateRow($tableName, $row, $mutations);  
  68.   
  69.   
  70. //获取表列的多少  
  71. $row_name = ‘2’;  
  72. $fam_col_name = ‘score’;  
  73. $arr = $client->get($tableName, $row_name, $fam_col_name);  
  74. // $arr = array  
  75. foreach ($arr as $k => $v) {  
  76. // $k = TCell  
  77.     echo (“value = {$v->value} , <br>  “);  
  78.     echo (“timestamp = {$v->timestamp}  <br>”);  
  79. }  
  80.   
  81. $arr = $client->getRow($tableName, $row_name);  
  82. // $client->getRow return a array  
  83. foreach ($arr as $k => $TRowResult) {  
  84. // $k = 0 ; non-use  
  85. // $TRowResult = TRowResult  
  86.     var_dump($TRowResult);  
  87. }  
  88.   
  89. $transport->close();  
  90. ?>  

通过浏览器查看看到项目中的所有表,注解PHP可以经过thrift访问HBase了。

 

2. 使用PHP扩充的法子来使用thrift

俺们使用PHP自带的phpize来生成Thtift的php扩充。该增加的源码结构:

图片 2

hadoop@ubuntu:/usr/local/hbase-0.90.4/thrift-0.8.0/lib/php/src
$ cd ext/thrift_protocol
$ /usr/local/php/bin/phpize
$ ./configure –with-php-config=/usr/local/php/bin/php-config
–enable-thrift_protocol
$ make
$ make install

然后把生成的thrift_protocol.so文件配置到php.ini并重启apache服务。

 

 

网站地图xml地图