搜索引擎蜘蛛是通過鏈接地址來尋找網頁的。搜索引擎蜘蛛名稱隨搜索引擎的不同而不同。那它的原理是由一個起始鏈接開始抓取網頁內容，同時也采集網頁上的鏈接，并將這些鏈接作為它下一步抓取的鏈接地址，如此循環，直到達到某個停止條件后才會停止。停止條件的設定通常是以時間或是數量為依據，可以通過鏈接的層數來限制網絡蜘蛛的爬取。同時頁面信息的重要性為客觀因素決定了蜘蛛對該網站頁面的檢索。站長工具中的搜索引擎蜘蛛模擬器其實它就是這個原理。基于這蜘蛛工作原理，站長都會不自然的增加頁面關鍵詞出現次數，雖然對密度產生量的變化，但對蜘蛛而言并沒達到一定的變化。這在搜索引擎優化過程中應該要避免的。