搜索引擎蜘蛛找到网页后能不能抓取网页

在上一篇文章里我们讲到了如何让搜索引擎蜘蛛找到你的网页，也可以说是你做了一个网站，搜索引擎蜘蛛能不能找到你的网页。那么现在我们来探讨一下搜索引擎蜘蛛找到网页后能不能抓取网页。

网页的URL必须是可以被抓取的，如果网页是由数据库动态生成的，那么URL一般要改写成静态的，也就是说去掉那些URL中问号参数之类的东西，也要去掉SessionID，技术上倒不是搜索引擎不能读取这种URL，但是为了避免陷入无限循环，搜索引擎蜘蛛通常要远离这类URL。

还有如果你的网站整个是Flash文件，在读取内容上也有困难，虽然搜索引擎一直在努力解决读取Flash信息的问题，但目前为止还无法与文字网页相提并论。

还要避免框架结构，网站刚出现的时候，框架结构风行一时，现在还有一些网站在用，这是搜索引擎蜘蛛的大敌。

还有尽量去除不必要的搜索引擎不能读的东西，像音频文件、图片、弹出窗口等。