有些網站設置了反爬蟲策略,當我們采集速度太快,就會觸發反爬蟲策略,然后網頁彈出驗證碼、訪問錯誤之類的提示信息。
任務編輯器,第三步設置,基本設置
在瀏覽器引擎下,我們只需要設置間隔時間,時間單位是毫秒,1000毫秒=1秒。
注意
在HTTP引擎和JSON引擎下,同時需要設置線程 為 1,如果大于1,間隔時間則無效。
具體間隔時間,可以根據網站,多測試調整,在不觸發反爬蟲策略的同時,最大效率提供抓取速度。
有些網站設置了反爬蟲策略,當我們采集速度太快,就會觸發反爬蟲策略,然后網頁彈出驗證碼、訪問錯誤之類的提示信息。
任務編輯器,第三步設置,基本設置
在瀏覽器引擎下,我們只需要設置間隔時間,時間單位是毫秒,1000毫秒=1秒。
注意
在HTTP引擎和JSON引擎下,同時需要設置線程 為 1,如果大于1,間隔時間則無效。
具體間隔時間,可以根據網站,多測試調整,在不觸發反爬蟲策略的同時,最大效率提供抓取速度。