如何提高网站的访问速度 - 从30秒到3秒的改变
hen...@gmail.com
对web开发应该算一无所知。在比较了java，php，ror，和python后，我选择了基于python的web框架 - django 。到目
前为止，我还认为这是一个明智的决定。Django高效的开发效率让我仅仅用一个月的业余时间，就基本完成了网站的开发。这是一个网络书签的网站，我加
上了一些有意思的特性，让网站显得有些与众不同。
我购买了域名和Dreamhost 的主机空间。Dreamhost支持django，并且第一年的费用只有180元人民币。2006年11月
份，http://www.hpbookmarks.com 上线了。网友们发来了善意的评论，"很有创意"，"点意思"，"一些feature很不
错"。同时，还有一个非常一致的意见就是，"访问速度太慢了"。其实，当时的情况不只是访问速度慢，而且是相当不稳定。很多时候是几个小时网站无法访
问。当时，我并没有在意，因为我有两个自以为"合理"的解释。第一，我用的是国外最便宜的虚拟主机，国内访问慢是很正常的。第二，django的还处于
0.95的状态，效率和稳定性方面有问题也正常。
但是，我慢慢发现上面的解释不过是自己骗自己的借口。很多用dreamhost的网站，访问起来也很快。而且django也已经被成功应用在许多大型的
网站。我开始认真考虑提高网站速度的问题了。毕竟，速度慢的网站很可能在第一次就失去的用户，他们可以永远不会再来了。终于，我进行了下面一步一步的优
化工作，并且取得了一个看起来还不错的结果。
第一步，用Ajax提高用户体验
由于我的网站上链接字体的大小是根据点击次数决定，所以每次点击都要提交到服务器端并记录次数，再在客户端打开网站链接。这在localhost测试的
时候没有发现问题，但是部署到服务器上，会感到明显的等待。解决办法就是用Ajax。用户点击网站链接后就直接打开，再通过Ajax将点击的事件提交到
服务器端记录。这样用户感觉不到任何延时。
第二步，将逻辑移到客户端的javascript中
在开始的时候，"网站标签高亮"和"手气不错"的功能都是提交到服务器端操作，然后返回结果的。后来，我发现其实很多逻辑是可以移到客户端，由
javascript来实现的。Javascript非常强大，可以完成很多复杂的逻辑。将逻辑移到客户端的javascript中，可以很有效的减少
和服务器通讯的次数，获得更好的访问速度。
第三步，解决进程的<defunct>
由于采用的是fastCGI的方式，我配置了django.fcgi。可是，我发现系统进程中，有大量的django.fcgi进程被标记为<
defunct>(失去功能)。这些<defunct>进程会导致服务器有时无法正常访问。我开始尝试用命令来kill掉这些进程，但是很快发现这无法
从根本上解决问题。后来，我看到一个老外在blog上提到一个解决方案，将django.fcgi改名为dispatch.fcgi。原
来，dispatch.fcgi是一个dreamhost的系统进程，它的健壮性是可以得到保障的。果然，我将django.fcgi改名为
dispatch.fcgi后，<defunct>的现象再没有出现。
第四步，优化SQL语句
SQL语句的执行通常也是一个很花费时间的操作。经过检查，我发现我的一条SQL语句，是一个嵌套三层的子表查询。而这条SQL还必须是一个Raw
SQL，即不能采用django的OR Maping。这意味着不能被cache缓存，每次都是真刀真枪的执行。更失败的是，经过我的分析，这条SQL
完全可以不执行。这是一次设计上的失误，标
准的over design(过渡设计)。当时，我是想通过数据库得到一个最精确的统计值。后来发现，这个值完全可以用一个近似的常量代替。优化
SQL，尤其是避免不必要的SQL执行，带来的效果是非常明显的。
第五步，尽量减少页面大小
随着添加网站越来越多，有一天我发现django生成的首页已经达到了80k。我很清楚这是一个非常不能被接受的数字。我开始检查页面，很快发现了线
索。第一，因为偷懒，页面中很多layout是用空格( )实现的。第二，因为为了增加代码可读行，调试方便，每行生成的页面都增加换行符
(\n)。第三，最糟糕的是，大量的用了
inline css。就是将css style直接嵌入标记块中。于是，我立即动手，用css的align解决layout，去掉\n，将
inline css抽象到独立的css文件中。这样下来，在不更改任何内容的情况下，80k变成了57k。
第六步，用gzip进行页面压缩
当我兴高采烈的把页面优化结果贴到了smth bbs上，却被直接泼了盆凉水。原来百分之二十几的优化结果，实在太一般了。ylsdd给我了一个很重要
的线索，deflate。原来apache的 deflate模块可以把文件进行gzip压缩，压缩后的文件传到浏览器后再被解压。主流的浏览器都支持
这种gzip的解压操作。于是，我在apache 的配置文
件中加入了Add OutputFilter DEFAULT html css js的语句。经过测试，css，js这些文本文件的压缩后都只有原来
尺寸的25%。这里，和大家分享一个网站http://www.port80software.com/products/httpzip/
compresscheck 它的作用是检测你的网站是否被压缩，以及压缩比率等。
第七步，回归静态页面
新的问题又来了。原来deflate只支持静态文件的压缩。而我的首页是django动态生成的，deflate模块没有进行压缩。我突然想到，网站的
首页为什么不能是静态页面呢？于是，我增加了一个runtime的api，这个api提供的是和原来一样由django动态生成的页面。我又写了一个
python的程序，通过urllib2模块下载这个动态生成的页面，并保存为index.html。我将网站的root映射到index.html这
个静态页面。最后，通过linux crontab定义一个行为，每五分钟执行一下这个python程序，生成新的index.html。值得一提的
是，由于网络原因，python程序不一定每次都能准确完整的下载动态生成的页面。所以我们必须再进行一个校验算法。当页面大小要超过一定数字，页面中
出现某个校验字符串的情况下，才保存 index.html。这样，每次用户提交的访问，不是由服务器端动态生成页面，极大的节省了服务器端的开销。而
静态页面又可以有效的被deflate压缩。最后结果，首页被压缩为13k，为原来的22%。唯一的区别就是，新提交和推荐的网站不能立即出现在首页。
但是我认为，这应该是可以被接受的。
至此，网站的优化工作基本完成。网站的访问速度从原来30秒以上，缩短到3秒左右，应该说算是一个飞跃。虽然，3秒的速度也不是非常快，但是，考虑到虚
拟主机等客观原因，这个结果我还是满意的。原来感觉我的网站很慢的朋友们，也可以再试试。
以上的优化方案出自我的个人经验，并不一定适合所有网站。但是，它告诉我们一个事实。影响网站访问速度的不仅仅是服务器配置，网络带宽。也许，你糟糕的
设计，低效率的方案也是致命的因素。应当注意的是，优化工作也不能匆匆上手。一定要仔细研究，具体情况具体分析，得到统计数据，找到真正的问题所在，再
开始优化。相信自己，提高网站的访问速度并不是不可能。毕竟，Nothing is Impossible。祝大家成功。
limodou
不错。
--
I like python!
UliPad <<The Python Editor>>: http://wiki.woodpecker.org.cn/moin/UliPad
My Blog: http://www.donews.net/limodou
ch ch
风向标
johnway
最后那条静态化，如果有自己的主机，使用缓存，将缓存作为数据库的一部分替代来考虑，会好些。
大郎
大郎
return"Hello, Henry.3. 通话牛逼的路上一路逛奔。:)"
Albert Lee
hen...@gmail.com
guangqing
gas...@gmail.com
Scaling Python for High-Load Web Sites
http://www.polimetrix.com/pycon/slides/
Zoom.Quiet
>
> pycon2007 上有個相關的slide
>
Great great words!!!
还有嘛??
超值的东西哪!
我们其实也都有各自的小技巧,但是从来没有象老外这样成规模的大量分享哪...
> Scaling Python for High-Load Web Sites
> http://www.polimetrix.com/pycon/slides/
>
>
> >
>
--
'''Time is unimportant, only life important!
http://zoomquiet.org
blog@http://blog.zoomquiet.org/pyblosxom/
wiki@http://wiki.woodpecker.org.cn/moin/ZoomQuiet
scrap@http://floss.zoomquiet.org
douban@http://www.douban.com/people/zoomq/
____________________________________
Pls. use OpenOffice.org to replace M$ Office.
http://zh.openoffice.org
Pls. use 7-zip to replace WinRAR/WinZip.
http://7-zip.org/zh-cn/
You can get the truely Freedom 4 software.
'''
hen...@gmail.com
咱们的con比较少吧,
而且喜欢做presentation的也不多.
On Mar 5, 11:26 am, Zoom.Quiet <zoom.qu...@gmail.com> wrote:
> On 3/5/07, gaso...@gmail.com <gaso...@gmail.com> wrote:
>
> > pycon2007 上有個相關的slide
>
> Great great words!!!
> 还有嘛??
> 超值的东西哪!
> 我们其实也都有各自的小技巧,但是从来没有象老外这样成规模的大量分享哪...
>
> > Scaling Python for High-Load Web Sites
> >http://www.polimetrix.com/pycon/slides/
>
> --
> '''Time is unimportant, only life important!http://zoomquiet.org
lanser
--
Powered by interests.