Python爬蟲之三：抓取貓眼電影TOP100

運行平臺：windows python版本：Python3.6 ide：sublime Text 其他工具：chrome瀏覽器

1. 獲取單頁內(nèi)容 首先，在Chrome瀏覽器中打開貓眼電影首頁，點擊“榜單”，然后選擇”TOP100榜”，即可查看所需內(nèi)容。

接下來，我們通過編寫代碼來提取網(wǎng)頁的html內(nèi)容。

運行結(jié)果如下：

2. 使用正則表達式提取關(guān)鍵信息 在上圖中，我們已經(jīng)標記了需要提取的內(nèi)容，下面通過代碼實現(xiàn)這一步驟：

運行結(jié)果如下：

3. 存儲獲取的電影信息 在獲取電影信息后，我們需要將這些數(shù)據(jù)保存起來，包括文本信息和電影封面。

保存結(jié)果如下：

4. 下載TOP100所有電影信息 通過點擊標簽頁，我們發(fā)現(xiàn)只是URL發(fā)生了變化：

修改main函數(shù)以動態(tài)改變URL：

至此，我們已經(jīng)成功獲取了TOP100的電影信息和封面。

5. 多線程抓取 雖然此次抓取的數(shù)據(jù)量不大，但為了學(xué)習(xí)，我們使用多進程進行抓取，以應(yīng)對未來可能的大量數(shù)據(jù)抓取。

以下是普通抓取和多進程抓取的時間對比：

以下是完整代碼：

立即學(xué)習(xí)“Python免費學(xué)習(xí)筆記（深入）”；