网站中的网页是否被抓去主要看这些内容是否是重要的页面，是否对用户有价值，而作为搜索引擎他也会去想什么样的页面才是有价值的。
1、网站是否正常并且权重够高
     东莞网站优化员分析一般情况下，只有网站表现正常并且权重高的网站才能获得蜘蛛的亲来和认可，同样的网页内容发表到两个不同的网站，往往会是网站状态更好地那个站收录好一些，有的网站因为作弊被降权或者是因为最近百度不太亲睐，这篇文章就收录不上。
2、网页外链质量和数量
     外链质量数量直接决定了是否会收录这个页面，如果说外链没有或者很少，蜘蛛就可能会谨慎抓取并收录这篇文章。
3、网页更新速度
     更新比较勤的网页被收录的可能性也大大加大，这是因为你更新了网页，搜索引擎会进行一次重新判断，而且一般我们更新了页面，就会有一些最近更新等栏目对这篇文章推荐。
4、与首页点击距离
     就是蜘蛛进入网站之后，他会爬行，一般认为爬行3次是蜘蛛比较常见的爬行习惯，再深入的爬行相对就比较困难了，所以我们建议网页要可以让人进入首页之后点击三次之内达到，要不收录起来就会困难了。
5、文章质量
     如果一个网站文章质量比较高，蜘蛛会慢慢喜欢上这个网站的，收录自然就不成问题。以上信息均由朝阳网络提供,东莞网站推广了解更多此方面信息的朋友们请来这里http://www.114my3.com/