PHP站群 >
蜘蛛池的核心原理到底是什么？
摘要：介绍下蜘蛛池的原理和如何设计
蜘蛛都是些程序而已，仅仅是一些抓取的请求而已，更形象的比喻为抽丝拉取网站的信息。
那么蜘蛛池该如何设计呢？
蜘蛛抓取一般遵循最大广度匹配原则进行下一个网址，扁平化url，所以，只需要不断改变页面区域的url变动就能源源不断的引导蜘蛛爬行下去。