通過這篇文章,我們學習如何使用Fiddler來抓包獲取網頁請求,采集微信公眾號的全部歷史文章
首先下載安裝Fiddler軟件 下載地址 (選擇普通下載
打開微信客戶端(window版本),找到需要采集的公眾號,點擊右上角的三個點按鈕(聊天信息),點擊**查看歷史消息 **。
然后我們打開Fiddler(需要確認Fiddler是否開啟了https抓包,Options->HTTPS-Decrpt HTTPs Traffic)
下一步,窗口切換到微信公眾號的歷史消息窗口,向下滾動,加載更多消息。
然后我們窗口切換到Fiddler,在請求列表中找到 https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MjM5NzI1MTY0MQ==&f=json&offset=10=
這樣的JSON請求。
鼠標選擇請求,在軟件右側,
- 選擇Inspectors -->Raw
- 全選Raw中的文本,復制 ctrl+c
然后打開爬山虎采集器,編輯 微信公眾號歷史文章采集
,在第一步,點擊 POST請求
,點擊 從剪切板粘貼 Header
。
完成后,我們在網址中找到offset=10這個參數,用鼠標選中10,會自動彈出批量生成網址的窗口,設置起始值為0,最大值為5000,步長為10。 設置完,點擊確定。
然后點擊下一步,下一步,開始采集。