php+gridfs+varnish+nginx 搭建分布式图片存储
优势
1 数据迁移方便,所有数据基于mongodb-grids存储,分布式配置,数据迁移等操作非常方便
2 mongodb 稳定性 可靠性 要比其他分布式文件存储性能更好
3 基于varnishd做缓存,有效解决了 从gridfs读取数据需要查询2次的问题,提高了性能
4 使用方便,代码行数寥寥无几,轻松搞定,各项配置也很简单
5 nginx-gridfs 插件可以基于nginx直接使用,无需再用php从mongodb中读取数据生成图片
=============================================
1编译安装php的mongodb扩展
https://github.com/mongodb/mongo-php-driver/downloads
下载最新版
$ cd mongo-php-driver $ phpize $ ./configure --with-php-config=/path/to/php-config $ make $ make install
varnish基本安装配置
下载源码包
http://repo.varnish-cache.org/source/varnish-3.0.2.tar.gz
解压
tar -zxvf varnish-3.0.2.tar.gz cd varnish-3.0.2
提醒务必要先运行
sh autogen.sh
configure 过程遇到的错误
varnish No package 'libpcre' found
解决办法
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig
make 过程 遇到错误
../../libtool: line 1219: libtool: compile: cannot determine name of library object from `': command not found
解决方法
export echo=echo
nodeMQ 基于nodejs和Redis的开源消息队列系统
nodeMQ 是基于Nodejs 和Redis 开发的消息队列系统,目前仅仅是beta版本。
支持简单的put get操作,采用http协议访问。项目地址:https://github.com/lnmp/nodemq
Redis client 采用的是 https://github.com/tristandunn/node-redis-client
基于Redis 数据库,可以方便进行性能调优,和支持分布式的消息队列,nodejs 自身又可作为webserver,二次开发也非常方便,全部代码才100多行,这仅仅是第一个beta版本,后面考虑添加监控运行状态的功能和提升性能
==============================================
使用说明
put 操作
curl "http://10.0.0.106:8000/put?data=xxxxxxxxxx"
get 操作
curl "http://10.0.0.106:8000/get"
===========================================
安装&使用
安装nodejs和Redis之后,
Linux下iostat的使用
iostat 的安装
yum -y install sysstat
Linux 中iostat可以给我们提供丰富的IO状态数据。
1. 基本使用
$iostat -d -k 1 10
参数 -d 表示,显示设备(磁盘)使用状态;-k某些使用block为单位的列强制使用Kilobytes为单位;1 10表示,数据显示每隔1秒刷新一次,共显示10次。
$iostat -d -k 1 10 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 25.13 427.33 2580.17 10664004952 64388205416 sda1 0.01 0.09 0.28 2257560 6934544 sda2 25.11 427.21 2575.95 10661062989 64282879268 sda3 0.01 0.03 3.94 684123 98391604 sdb 0.00 0.00 0.00 512 0
tps:该设备每秒的传输次数(Indicate the number of transfers per second that were issued to the device.)。“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。“一次传输”请求的大小是未知的。
kB_read/s:每秒从设备(drive expressed)读取的数据量;kB_wrtn/s:每秒向设备(drive expressed)写入的数据量;kB_read:读取的总数据量;kB_wrtn:写入的总数量数据量;这些单位都为Kilobytes。
上面的例子中,我们可以看到磁盘sda以及它的各个分区的统计数据,当时统计的磁盘总TPS是25.13,下面是各个分区的TPS。(因为是瞬间值,所以总TPS并不严格等于各个分区TPS的总和)
2. -x 参数
使用-x参数我们可以获得更多统计信息。
iostat -d -x -k 1 10 Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sda 2.34 623.36 4.37 20.76 427.33 2580.16 239.37 0.07 9.81 4.01 10.08 sda1 0.02 0.07 0.01 0.00 0.09 0.28 86.21 0.00 223.94 93.34 0.08 sda2 2.32 622.31 4.37 20.74 427.21 2575.94 239.20 0.05 8.65 4.01 10.07 sda3 0.00 0.98 0.00 0.01 0.03 3.94 834.01 0.03 2865.05 33.26 0.03 sdb 0.00 0.00 0.00 0.00 0.00 0.00 17.66 0.00 0.14 0.12 0.00
rrqm/s:每秒这个设备相关的读取请求有多少被Merge了(当系统调用需要读取数据的时候,VFS将请求发到各个FS,如果FS发现不同的读取请求读取的是相同Block的数据,FS会将这个请求合并Merge);wrqm/s:每秒这个设备相关的写入请求有多少被Merge了。
rsec/s:每秒读取的扇区数;wsec/:每秒写入的扇区数。r/s:The number of read requests that were issued to the device per second;w/s:The number of write requests that were issued to the device per second;
await:每一个IO请求的处理的平均时间(单位是微秒毫秒)。这里可以理解为IO的响应时间,一般地系统IO响应时间应该低于5ms,如果大于10ms就比较大了。
%util:在统计时间内所有处理IO时间,除以总共统计时间。例如,如果统计间隔1秒,该设备有0.8秒在处理IO,而0.2秒闲置,那么该设备的%util = 0.8/1 = 80%,所以该参数暗示了设备的繁忙程度。一般地,如果该参数是100%表示设备已经接近满负荷运行了(当然如果是多磁盘,即使%util是100%,因为磁盘的并发能力,所以磁盘使用未必就到了瓶颈)。
3. -c 参数
iostat还可以用来获取cpu部分状态值:
iostat -c 1 10
avg-cpu: %user %nice %system %iowait %steal %idle
13.59 0.00 7.18 3.96 0.00 75.28
avg-cpu: %user %nice %system %iowait %steal %idle
2.99 0.00 1.50 0.00 0.00 95.514. 常见用法
$iostat -d -k 1 10 #查看TPS和吞吐量信息 iostat -d -x -k 1 10 #查看设备使用率(%util)、响应时间(await) iostat -c 1 10 #查看cpu状态
参考 :http://www.orczhou.com/index.php/2010/03/iostat-detail/
sphinx安装需要c/c++ Compilers
Ubuntu- How To Install C/ C++ Compilers.
以下来自sphinx文档:
2.2. Required tools On UNIX, you will need the following tools to build and install Sphinx: a working C++ compiler. GNU gcc is known to work. a good make program. GNU make is known to work.
安装sphinx 的时候需要安装 C/ C++ Compilers. 所以Google 之:
$ sudo apt-get update $ sudo apt-get upgrade $ sudo apt-get install build-essential $ gcc -v $ make -v
Now, you should able to compile software using C / C++ compilers.


