如何爬取58同城工作頁面中實(shí)時(shí)的申請和瀏覽人數(shù)？

許多網(wǎng)頁爬蟲開發(fā)者都遇到過這樣一個(gè)難題：網(wǎng)頁源代碼與實(shí)際顯示內(nèi)容不符。58同城招聘頁面就是一個(gè)典型的例子。 你可能會發(fā)現(xiàn)，直接爬取源代碼得到的申請人數(shù)和瀏覽人數(shù)為0，而頁面上卻顯示著實(shí)時(shí)更新的數(shù)字，且這些數(shù)字與瀏覽器開發(fā)者工具（F12）中的Elements標(biāo)簽頁內(nèi)容一致。這是因?yàn)?8同城使用JavaScript動態(tài)加載數(shù)據(jù)。

解決方法是分析網(wǎng)絡(luò)請求。

步驟：

1. 打開開發(fā)者工具: 在瀏覽器中打開開發(fā)者工具（通常是F12），切換到“網(wǎng)絡(luò)”或“Network”選項(xiàng)卡。

2. 刷新頁面: 刷新58同城招聘頁面，觀察網(wǎng)絡(luò)請求。你會發(fā)現(xiàn)一個(gè)指向類似 https://statisticszp.58.com/position/totalcount/?infoId=27988… 的URL的請求。這個(gè)請求返回的數(shù)據(jù)包含了實(shí)時(shí)申請和瀏覽人數(shù)。 (注意：infoId 部分會根據(jù)具體職位而變化)。

3. 分析json數(shù)據(jù): 該請求返回的是JSON格式的數(shù)據(jù)，例如：

{   "deliveryCount": 1141,   "commentCount": 0,   "infoCount": 4,   "resumeReadPercent": 0,   "referUrl": "",   "nextUrl": "null" }

其中，”deliveryCount” 代表申請人數(shù)，”infoCount” 代表瀏覽人數(shù)。

4. 編寫爬蟲代碼: 你的爬蟲代碼需要：
   • 發(fā)送請求到 https://statisticszp.58.com/position/totalcount/?infoId=… (替換 … 為實(shí)際的 infoId)。
   • 解析返回的JSON數(shù)據(jù)。
   • 提取 “deliveryCount” 和 “infoCount” 字段的值。

通過這種方法，你的爬蟲就能獲取到58同城招聘頁面上準(zhǔn)確的、實(shí)時(shí)的申請和瀏覽人數(shù)，有效避免了直接爬取源代碼帶來的數(shù)據(jù)不準(zhǔn)確問題。 記住，infoId 是動態(tài)變化的，你需要根據(jù)你目標(biāo)職位的頁面信息找到正確的 infoId 值。