前言

QQ音樂是中國最大的在線音樂流媒體平臺之一，擁有海量的音樂資源。為了便于對QQ音樂中的音樂進行研究和探索，開發(fā)QQ音樂爬蟲對于相關(guān)的研究者和愛好者來說至關(guān)重要。

爬蟲技術(shù)

QQ音樂爬蟲通常采用以下技術(shù)：HTTP請求：通過HTTP請求獲取QQ音樂網(wǎng)頁的HTML代碼。正則表達式：從HTML代碼中提取音樂的元數(shù)據(jù)，例如歌曲名稱、歌手、專輯、發(fā)行日期等。數(shù)據(jù)解析：將提取到的音樂元數(shù)據(jù)解析為結(jié)構(gòu)化的數(shù)據(jù)格式，如JSON或CSV。

應(yīng)用場景

QQ音樂爬蟲在音樂研究和探索中有著廣泛的應(yīng)用場景，包括：

音樂數(shù)據(jù)采集

QQ音樂爬蟲可以批量采集QQ音樂平臺上的音樂數(shù)據(jù)，包括歌曲、專輯、藝術(shù)家、榜單等。這些數(shù)據(jù)可用于構(gòu)建龐大的音樂數(shù)據(jù)集，為以下研究提供支持：音樂流行趨勢分析：通過分析QQ音樂的播放量、下載量等數(shù)據(jù)，可以了解音樂流行趨勢和用戶偏好。音樂推薦系統(tǒng)開發(fā)：基于用戶歷史行為數(shù)據(jù)，可以開發(fā)個性化的音樂推薦系統(tǒng)。音樂情感分析：通過爬取歌曲的歌詞、評論等文本數(shù)據(jù)，可以分析音樂的情感特征。

音樂資源下載

QQ音樂爬蟲可以下載QQ音樂平臺上的音樂文件，包括MP3、FLAC、APE等格式。這些資源可用于：音樂收藏：將喜愛的音樂下載到本地，以便離線欣賞。音樂分析：下載音樂文件用于音頻處理、音樂信號分析等研究目的。音樂分享：在遵守

---

玩網(wǎng)易云的都是些什么人

網(wǎng)易云音樂除了是一個主流的音樂app之外擁有他自己的特色：強大的推薦算法以及與之匹配的社交功能。通過不同方面分析網(wǎng)易云的用戶特征從而驗證玩網(wǎng)易云的都是些什么人，具體內(nèi)容如下：

男女用戶比例均衡：男女用戶基本都保持在42%這個水平?jīng)]有差異，看來在熱愛音樂這件事上是沒有性別的界限的。

原創(chuàng)音樂人是普通用戶外最大的貢獻者。 網(wǎng)易云用戶的標簽有四種：什么標簽都莫得的普通用戶，達人標簽（通常為某個圈子的視頻或音樂的搬運工），音樂人標簽（原創(chuàng)音樂人），大V（官方認證）。

其中音樂人占比到了3%，其實這個比例很明顯是不正確的，百人中有三個音樂人，那音樂人家生活中會變得非常常見。

之所以占比這么高，是因為爬蟲的邏輯是根據(jù)關(guān)注列表與粉絲列表進行廣度優(yōu)先的關(guān)聯(lián)爬取，所以關(guān)注更多人的用戶，擁有更多粉絲的用戶有更高的概率被抽到，存在幸存者誤差。 從某種程度上來說，所爬到的用戶絕大部分是活躍用戶，而不是一個隨機抽樣。

但是從另外一個角度來看，由于關(guān)聯(lián)爬取的方式使得活躍用戶被爬到的概率變得非常高，所以單獨看音樂人、達人、大V這三個標簽是有參考意義的，因為這兩個活躍用戶群幾乎全部被爬到，遺漏的概率很小。

把普通用戶的數(shù)據(jù)剔除，只留下特殊用戶對比一下，可以看到在特殊用戶群中原創(chuàng)音樂人占絕大多數(shù)，網(wǎng)易云音樂擁有著讓一些知名度較低的音樂人發(fā)表自己的作品，培養(yǎng)自己的粉絲圈的土壤。 想要火，唱民謠。

根據(jù)用戶粉絲數(shù)量排行，第一位是官方賬號“云音樂VIP”，擁有600萬粉絲，這意味著曾經(jīng)購買過會員的用戶約為600萬，考慮到黑膠會員是2018年6月21日推出的，還不到一年，變現(xiàn)能力不錯。

此外網(wǎng)紅薛之謙排在第二席遠遠超過其他人，這個網(wǎng)紅老前輩還是火的不行。

其次創(chuàng)作民謠的歌手在剩下的10個席位中占據(jù)5位：花粥、陳粒、李志、房東的貓、老狼。 由此看來民謠所擁有的用戶基礎(chǔ)是云音樂中最龐大的。 云音樂個人用戶可以發(fā)表自己的歌曲，創(chuàng)作門檻較低的民謠成為大熱也是情有可原。

95后正成為主流，付費意愿與年齡正相關(guān)。 1990出生的用戶數(shù)據(jù)明顯存在異常，按照日期對用戶數(shù)量分組聚合之后找到原因：設(shè)置日期的默認值為1990/01/01。 注冊一個新賬號驗證默認日期確實為該天，將該天的數(shù)據(jù)剔除后更新圖表，90年出生的用戶數(shù)量明顯下降。

數(shù)據(jù)呈現(xiàn)出出生日期小于1998時遞增而大于1998后遞減的趨勢，仔細一想2004年后的小朋友才18歲，大多數(shù)人在這個階段并沒有步入大學(xué)，能長期使用智能設(shè)備的比例不會很高，這部分人群數(shù)量較少是必然的。 總的來說，年輕人明顯更喜歡音樂，愛用網(wǎng)易云音樂這款app。

網(wǎng)易云音樂的主體活躍用戶是當下的大學(xué)生與年輕人，廣大青少年都是潛在活躍用戶。

Vip Ratio從直覺上是隨著年齡的增大而增大的，年齡越大，消費能力越強，購買VIP的比例也就越高。 簡單計算一下Vip Ratio與Age的相關(guān)系數(shù)：相關(guān)系數(shù)約0.83，可以認為Vip Ratio與Age強相關(guān)。

用戶Level分布以7級為中心，等級越高付費意愿越強，10級用戶都是聽歌鬼才。

將Level屬性與平均聽歌數(shù)聚合可以得知每個等級的用戶的聽歌數(shù)的平均值，隨著等級增長對應(yīng)的聽歌數(shù)呈指數(shù)級上升，10級的用戶都是魔鬼，聽歌數(shù)達到了25k。（music count是去重的，意味著單曲循環(huán)一首歌這個數(shù)值不會增長）

將Level屬性與用戶數(shù)量聚合，同時計算Vip比例可以得知主流用戶還是Level 6、7、8這三個群體。 隨著Level的上升Vip的比例有著明顯的上升趨勢，Level10的用戶購買黑膠會員的比例達到了44%，說明用戶粘度的上升會促進用戶去購買Vip。 此外對比自己的數(shù)據(jù)，確認數(shù)據(jù)無誤。

維吾爾族用戶占據(jù)半壁江山，經(jīng)濟發(fā)達地區(qū)用戶付費意愿強。

按照用戶所在地以及Vip比例將數(shù)據(jù)可視化，從用戶數(shù)量來看前三全部被新疆地區(qū)包攬。 其余部分熱門的北上廣深各大城市均在榜單。 而付費比例則是經(jīng)濟越發(fā)達的地區(qū)付費比例更高，結(jié)合年齡越大付費比例越高，意味著付費比例和消費能力相關(guān)密切。

讓人匪夷所思的是新疆用戶居然幾乎占據(jù)了半壁江山。 這個維度的數(shù)據(jù)其實是比較可靠的，因為app的默認設(shè)置是用戶設(shè)備的定位地，從用戶習(xí)慣上來看也很少會有人費力氣去改一個虛假的地址。

隨意抽取一個新疆地區(qū)的用戶驗證，進行不負責任的分析：新疆的用戶由于語系不是漢語，維吾爾族人居多，音樂文化也與華語圈完全不同，他們有著自己獨特亞文化音樂，維語歌曲、俄語歌曲才是維吾爾族的人所普遍接受的。

在這種前提下網(wǎng)易云音樂這個依靠推薦算法建立社交的平臺完美的滿足了這一小眾音樂的需求，相對QQ音樂資本為王的方式，在網(wǎng)易云這個小而美的平臺上維族人能更容易的找到自己喜愛的歌。

同時也可以從維吾爾族人這一典型用戶群體來分析一下網(wǎng)易云主流用戶的特征：有著自己對音樂的判斷，喜歡一些較為小眾的音樂風格，這一點和聽acg，聽古典，聽民謠是共通的。

但是假定這一判斷是正確的情況下，在音樂文化游離于主流音樂體系之外的地區(qū)、國家，網(wǎng)易云音樂app有著非常獨特的潛力。 并且可以聯(lián)想到的是在很多的海外小國家，都有著自己獨特的音樂與文化，在這樣的市場里面網(wǎng)易云是不是有著獨特的優(yōu)勢。

由于維族人的粉絲與關(guān)注對象大多數(shù)都是維族人，關(guān)聯(lián)度很高，而爬蟲在爬取數(shù)據(jù)的時候是根據(jù)這兩個列表進行的廣度優(yōu)先搜索，所以前期的誤差可能會被放大，在地區(qū)這個維度上數(shù)據(jù)也確實有可能存在誤差。

結(jié)合現(xiàn)有的數(shù)據(jù)來看，網(wǎng)易云的主流用戶群即：廣大20歲左右，有著對獨特風格的音樂偏好，且長期使用網(wǎng)易云、擁有較高的賬號等級的人群。 而黑膠會員在擁有較強消費能力的用戶與高粘度用戶中比例較大。

音樂是一個年輕人市場，利用自己的優(yōu)勢想辦法留住年輕人，幫助真正有才華、有溫度的年輕歌手建立出自己的口碑，讓年輕人與優(yōu)秀的音樂對話的網(wǎng)易云音樂，才是那個有溫度的APP。

其次網(wǎng)易云音樂在亞文化地區(qū)中的威力不容小覷，國外應(yīng)該存在許多有著自己獨特音樂文化的小國，或許往這個方向發(fā)力不失為一個不錯的選擇。

怎么用爬蟲獲取音樂

近年來，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，越來越多的人開始使用爬蟲來獲取音樂。 通過爬蟲獲取音樂，不僅可以免費獲取大量的音樂資源，還可以快速地找到自己喜歡的音樂。 下面我們來介紹一下如何用爬蟲獲取音樂。 首先，我們需要選擇一個合適的網(wǎng)站。 目前市面上有很多音樂網(wǎng)站，如酷狗音樂、網(wǎng)易云音樂、QQ音樂等。 我們可以根據(jù)自己的喜好選擇一個合適的網(wǎng)站。 接著，我們需要了解一些基本的爬蟲知識。 爬蟲是一種自動化獲取網(wǎng)頁信息的工具，可以模擬人類操作，自動抓取網(wǎng)頁上的信息，并進行處理和分析。 在使用爬蟲時，我們需要了解網(wǎng)頁的結(jié)構(gòu)和編碼方式。 然后，我們需要選擇一個合適的編程語言。 目前常用的編程語言有Python、Java、JavaScript等。 其中，Python是最為流行的語言之一，因為它簡單易學(xué)、功能強大、支持多種操作系統(tǒng)，并且有豐富的第三方庫和工具。 最后，我們需要編寫爬蟲程序。 在編寫爬蟲程序時，我們需要根據(jù)網(wǎng)頁的結(jié)構(gòu)和編碼方式，使用相應(yīng)的爬蟲框架和庫。 例如，使用Python中的requests庫和BeautifulSoup庫可以輕松地獲取網(wǎng)頁信息，并提取出我們需要的音樂鏈接。 需要注意的是，在使用爬蟲獲取音樂時，我們需要遵守相關(guān)法律法規(guī)，不得侵犯他人的版權(quán)和隱私。 另外，我們還需要注意數(shù)據(jù)的安全和保護，避免泄露個人信息和數(shù)據(jù)。 綜上所述，使用爬蟲獲取音樂可以幫助我們快速地獲取大量的音樂資源，但是也需要我們遵守相關(guān)法律法規(guī)和保護數(shù)據(jù)安全。

如何提取音頻

如何提取網(wǎng)站上的音頻?

提取網(wǎng)絡(luò)中的音頻的方法步驟：打開瀏覽器，點擊“工具”→“Internet選項”。 在打開的“Internet選項”窗口中，點擊“Internet臨時文件”→“刪除文件”按鈕，來消除Internet臨時緩存文件夾。

首先我們先打開一個帶有音頻的網(wǎng)頁。 然后我們選擇開發(fā)者工具。 接著我們選擇刷新下網(wǎng)頁。 點擊其中的【Network】。 在【Filter】填mp3，把音頻文件的鏈接搜出來。 雙擊鏈接，進入單獨音頻界面。

首先，打開一個播放音頻的頁面，這里以Chrome下的網(wǎng)絡(luò)音樂為例。 其次，按下F12，進入開發(fā)者模式按F5刷新，在開發(fā)者選項中找到Network點擊在Network選項卡上點擊Size一般來說最大的文件就是音頻文件。

第一步：打開工將網(wǎng)頁中的音樂準備好，接著將工具打開到界面，可以先試著簡單的了解一下。

可以用爬蟲軟件進行下載，或者使用錄屏軟件錄取聲音，在對錄制的文件進行聲音提取。

錄制。 就是搞個軟件把電腦當前的聲音給錄下來。 保存網(wǎng)頁，在文件菜單中點保存，到保存目錄下面會出現(xiàn)一個這樣一個文件夾，里面應(yīng)該有。 網(wǎng)頁抓取工具。

怎么把的音樂提取出來

錄音：這是最簡單粗暴的方法了，無論是電腦上的視頻還是手機里的視頻，都可以通過錄音的方法錄制背景音樂。

可以使用音頻器提取軟件來提取音樂，首先保存抖音上想要提取音樂的視頻。 打開音頻提取器，點擊加號按鈕，選擇保存的視頻。 點擊向下的三角圖標，點擊輸出格式，選擇mp3格式就可以提取音樂了。

把抖音的音樂提取出來的方法如下：首先打開抖音，點擊右下角的分享按鈕，點擊保存本地，將視頻下載到手機里。 在手機里下載個音頻提取器，然后打開音頻提取器，點擊右上角的+按鈕。

我們可以直接在此目錄下找到已經(jīng)提取的音頻文件。 采用APP識別歌曲首先打開手機qq音樂主界面，選擇-發(fā)現(xiàn)-聽歌識曲。

方法如下：操作工具：vivoX9操作系統(tǒng)：FuntouchOS127軟件：抖音v2首先用戶打開抖音APP程序，找到自己需要下載背景音樂的視頻，點擊視頻的分享按鈕。

怎么提取視頻中的音頻?

選中視頻，點開【格式】，選擇格式，輕擊【保存】，輸入音頻名字，點擊【確認】即可；打開【視頻格式轉(zhuǎn)換工廠】，選中【音頻提取】，選擇視頻，輕擊【完成】即可。

下載并打開“嗨格式視頻轉(zhuǎn)換器”，點擊首頁“音頻提取”，進入對應(yīng)功能界面；進入音頻提取功能頁后點擊“添加文件”上傳需要視頻文件；點擊“轉(zhuǎn)換”或“全部轉(zhuǎn)換”即可。

首先打開手機上的音頻提取軟件。 選擇“音頻提取”功能。 選擇你想要提取音頻的視頻文件。 選擇你想提取的音頻格式，我們常用的是mp3格式，還有其他格式也可以試試，選好格式后，點擊“提取音頻”。

首先將視頻保存到手機上，打開這款工具，在首頁找到【音頻提取】功能。 隨后進入手機相冊，找到保存的視頻，進行勾選，再點擊【下一步】。 等待片刻，就能將視頻里的音頻分離出來了，處理速度非常快，點擊播放試聽。

如何把視頻的音頻提取出來

1、把提前備好的視頻文件通過點擊左上角的【添加文件】藍色按鈕，快速的導(dǎo)入軟件中，準備提取工作；該軟件工作效率很高，支持批量添加和轉(zhuǎn)換；為保證提取音頻的播放，我們選擇設(shè)置轉(zhuǎn)換的格式為兼容性較好的【mp3】音頻格式。

2、首先打開手機上的音頻提取軟件。 選擇“音頻提取”功能。 選擇你想要提取音頻的視頻文件。 選擇你想提取的音頻格式，我們常用的是mp3格式，還有其他格式也可以試試，選好格式后，點擊“提取音頻”。

3、首先將視頻保存到手機上，打開這款工具，在首頁找到【音頻提取】功能。 隨后進入手機相冊，找到保存的視頻，進行勾選，再點擊【下一步】。 等待片刻，就能將視頻里的音頻分離出來了，處理速度非常快，點擊播放試聽。

4、推薦方法一：提詞全能王（APP端）提詞全能王是我個人經(jīng)常使用的一款手機軟件。 它的功能豐富多樣，不僅能夠幫助我們實現(xiàn)邊拍攝邊提詞的操作，還能夠幫助我們很好地處理圖片和視頻。

5、首先，打開手機上面的剪映，并點擊進入。 進入到剪映的界面，點擊上方的“＋”號，導(dǎo)入需要制作的視頻。 點擊視頻，在下方的找到音頻，并點擊進入，找到提取音樂點擊。

在國外怎么用蘋果手機看國內(nèi)的電視劇？

可以使用unblockcn 這個app進行觀看，需要進行下載安裝，具體步驟如下：

1、用safari瀏覽器進入unblockcn官網(wǎng)，點擊”iphone/ipad“進行下載。

2、點擊“下載安裝”。

3、打開UNBLOCKCN app，點擊”用戶中心“注冊會員賬號，賬號必須是郵箱的格式，如果之后忘記UNBLOCKCN密碼，可通過郵箱找回。

4、登錄賬號，在“用戶中心”中，選擇“開通會員”，成為UNBLOCKCN會員。

5、會員套餐月/季/年三種可供選擇。

6、開通會員之后，因為系統(tǒng)存在延時的可能，故需要退出UNBLOCKCN會員賬號，然后重新登錄，重新登錄了之后，需要點擊”線路選擇“，這時會出現(xiàn)8條線路可供選擇，可以任意選擇其中一條完成解鎖。

7、然后將iphone手機的無線局域網(wǎng)按鈕關(guān)閉，并重新打開。

8、最后打開safari瀏覽器，搜索想要觀看的視頻站，這樣就可以無障礙的在國外看國內(nèi)的電視劇等視頻了。

如何利用Python爬取網(wǎng)易云音樂熱門評論

本篇文章給大家分享的內(nèi)容是如何利用Python爬取網(wǎng)易云音樂熱門評論，有著一定的參考價值，有需要的朋友可以參考一下前言最近在研究文本挖掘相關(guān)的內(nèi)容，所謂巧婦難為無米之炊，要想進行文本分析，首先得到有文本吧。 獲取文本的方式有很多，比如從網(wǎng)上下載現(xiàn)成的文本文檔，或者通過第三方提供的API進行獲取數(shù)據(jù)。 但是有的時候我們想要的數(shù)據(jù)并不能直接獲取，因為并不提供直接的下載渠道或者API供我們獲取數(shù)據(jù)。 那么這個時候該怎么辦呢？有一種比較好的辦法是通過網(wǎng)絡(luò)爬蟲，即編寫計算機程序偽裝成用戶去獲得想要的數(shù)據(jù)。 利用計算機的高效，我們可以輕松快速地獲取數(shù)據(jù)。 關(guān)于爬蟲那么該如何寫一個爬蟲呢？有很多種語言都可以寫爬蟲，比如Java，php,python 等，我個人比較喜歡使用python。 因為python不僅有著內(nèi)置的功能強大的網(wǎng)絡(luò)庫，還有諸多優(yōu)秀的第三方庫，別人直接造好了輪子，我們直接拿過來用就可以了，這為寫爬蟲帶來了極大的方便。 不夸張地說，使用不到10行python代碼其實就可以寫一個小小的爬蟲，而使用其他的語言可以要多寫很多代碼，簡潔易懂正是python的巨大的優(yōu)勢。 好了廢話不多說，進入今天的正題。 最近幾年網(wǎng)易云音樂火了起來，我自己就是網(wǎng)易云音樂的用戶，用了幾年了。 以前用的是QQ音樂和酷狗，通過我自己的親身經(jīng)歷來看，我覺得網(wǎng)易云音樂最優(yōu)特色的就是其精準的歌曲推薦和獨具特色的用戶評論（鄭重聲明！！！這不是軟文，非廣告！！！僅代表個人觀點，非喜勿噴！）。 經(jīng)常一首歌曲下面會有一些被點贊眾多的神評論。 加上前些日子網(wǎng)易云音樂將精選用戶評論搬上了地鐵，網(wǎng)易云音樂的評論又火了一把。 所以我想對網(wǎng)易云的評論進行分析，發(fā)現(xiàn)其中的規(guī)律，特別是分析一些熱評具有什么共同的特點。 帶著這個目的，我開始了對網(wǎng)易云評論的抓取工作。 網(wǎng)絡(luò)庫Python內(nèi)置了兩個網(wǎng)絡(luò)庫urllib和urllib2，但是這兩個庫使用起來不是特別方便，所以在這里我們使用一個廣受好評的第三方庫requests。 使用requests只用很少的幾行代碼就可以實現(xiàn)設(shè)置代理，模擬登陸等比較復(fù)雜的爬蟲工作。 如果已經(jīng)安裝pip的話，直接使用pip install requests 即可安裝。 中文文檔地址在此大家有什么問題可以自行參考官方文檔，上面會有非常詳細的介紹。 至于urllib和urllib2這兩個庫也是比較有用的，以后如果有機會我會再給大家介紹一下。 工作原理在正式開始介紹爬蟲之前，首先來說一下爬蟲的基本工作原理，我們知道我們打開瀏覽器訪問某個網(wǎng)址本質(zhì)上是向服務(wù)器發(fā)送了一定的請求，服務(wù)器在收到我們的請求之后，會根據(jù)我們的請求返回數(shù)據(jù)，然后通過瀏覽器將這些數(shù)據(jù)解析好，呈現(xiàn)在我們的面前。 如果我們使用代碼的話，就要跳過瀏覽器的這個步驟，直接向服務(wù)器發(fā)送一定的數(shù)據(jù)，然后再取回服務(wù)器返回的數(shù)據(jù)，提取出我們想要的信息。 但是問題是，有的時候服務(wù)器需要對我們發(fā)送的請求進行校驗，如果它認為我們的請求是非法的，就會不返回數(shù)據(jù)，或者返回錯誤的數(shù)據(jù)。 所以為了避免發(fā)生這種情況，我們有的時候需要把程序偽裝成一個正常的用戶，以便順利得到服務(wù)器的回應(yīng)。 如何偽裝呢？這就要看用戶通過瀏覽器訪問一個網(wǎng)頁與我們通過程序訪問一個網(wǎng)頁之間的區(qū)別。 通常來說，我們通過瀏覽器訪問一個網(wǎng)頁，除了發(fā)送訪問的url之外，還會給服務(wù)發(fā)送額外的信息，比如headers（頭部信息）等，這就相當于是請求的身份證明，服務(wù)器看到了這些數(shù)據(jù)，就會知道我們是通過正常的瀏覽器訪問的，就會乖乖地返回數(shù)據(jù)給我們了。 模擬登陸所以我們程序就得像瀏覽器一樣，在發(fā)送請求的時候，帶上這些標志著我們身份的信息，這樣就能順利拿到數(shù)據(jù)。 有的時候，我們必須在登錄狀態(tài)下才能得到一些數(shù)據(jù)，所以我們必須要模擬登錄。 本質(zhì)上來說，通過瀏覽器登錄就是post一些表單信息給服務(wù)器（包括用戶名，密碼等信息），服務(wù)器校驗之后我們就可以順利登錄了，利用程序也是一樣，瀏覽器post什么數(shù)據(jù)，我們原樣發(fā)送就可以了。 關(guān)于模擬登錄，我后面會專門介紹一下。 當然事情有的時候也不會這么順利，因為有些網(wǎng)站設(shè)置了反爬措施，比如如果訪問過快，有時候會被封ip（典型的比如豆瓣）。 這個時候我們還得要設(shè)置代理服務(wù)器，即變更我們的ip地址，如果一個ip被封了，就換另外一個ip，具體怎么做，這些話題以后慢慢再說。 小技巧 最后，再介紹一個我認為在寫爬蟲過程中非常有用的一個小技巧。 如果你在使用火狐瀏覽器或者chrome的話，也許你會注意到有一個叫作開發(fā)者工具（chrome）或者web控制臺（firefox）的地方。 這個工具非常有用，因為利用它，我們可以清楚地看到在訪問一個網(wǎng)站的過程中，瀏覽器到底發(fā)送了什么信息，服務(wù)器究竟返回了什么信息，這些信息是我們寫爬蟲的關(guān)鍵所在。 下面你就會看到它的巨大用處。 如何爬取評論首先打開網(wǎng)易云音樂的網(wǎng)頁版，隨便選擇一首歌曲打開它的網(wǎng)頁，這里我以周杰倫的《晴天》為例。 如下圖：接下來打開web控制臺(chrome的話打開開發(fā)者工具，如果是其他瀏覽器應(yīng)該也是類似)，如下圖：然后這個時候我們需要點選網(wǎng)絡(luò)，清除所有的信息，然后點擊重新發(fā)送(相當于是刷新瀏覽器),這樣我們就可以直觀看到瀏覽器發(fā)送了什么信息以及服務(wù)器回應(yīng)了什么信息。 如下圖：刷新之后得到的數(shù)據(jù)如下可以看到瀏覽器發(fā)送了非常多的信息，那么哪一個才是我們想要的呢？這里我們可以通過狀態(tài)碼做一個初步的判斷，status code（狀態(tài)碼）標志了服務(wù)器請求的狀態(tài)，這里狀態(tài)碼為200即表示請求正常，而304則表示不正常（狀態(tài)碼種類非常多，如果要想詳細了解可以自行搜索，這里不說304具體的含義了）。 所以我們一般只用看狀態(tài)碼為200的請求就可以了，還有就是，我們可以通過右邊欄的預(yù)覽來粗略觀察服務(wù)器返回了什么信息（或者查看響應(yīng)）。 如下圖：通過這兩種方法結(jié)合一般我們就可以快速找到我們想要分析的請求。 注意圖5中的請求網(wǎng)址一欄即是我們想要請求的網(wǎng)址，請求的方法有兩種：get和post，還有一個需要重點關(guān)注的就是請求頭，里面包含了user-Agent（客戶端信息），refrence（從何處跳轉(zhuǎn)過來）等多種信息，一般無論是get還是post方法我們都會把頭部信息帶上。 頭部信息如下圖：另外還需要注意的是：get請求一般就直接把請求的參數(shù)以 ？parameter1=value1?meter2=value2 等這樣的形式發(fā)送了，所以不需要帶上額外的請求參數(shù)，而post請求則一般需要帶上額外的參數(shù)，而不直接把參數(shù)放在url當中，所以有的時候我們還需要關(guān)注參數(shù)這一欄。 經(jīng)過仔細尋找，我們終于找到原來與評論相關(guān)的請求在這個請求當中，如下圖：點開這個請求，我們發(fā)現(xiàn)它是一個post請求，請求的參數(shù)有兩個，一個是params，還有一個是encSecKey，這兩個參數(shù)的值非常的長，感覺應(yīng)該像是加密過的。 如下圖：服務(wù)器返回的和評論相關(guān)的數(shù)據(jù)為json格式的，里面含有非常豐富的信息（比如有關(guān)評論者的信息，評論日期，點贊數(shù)，評論內(nèi)容等等），如下圖9所示：（其實hotComments為熱門評論，comments為評論數(shù)組）至此，我們已經(jīng)確定了方向了，即只需要確定params和encSecKey這兩個參數(shù)值即可，這個問題困擾了我一下午，我弄了很久也沒有搞清楚這兩個參數(shù)的加密方式，但是我發(fā)現(xiàn)了一個規(guī)律，中 R_SO_4_ 后面的數(shù)字就是這首歌的id值，而對于不同的歌曲的param和encSecKey值，如果把一首歌比如A的這兩個參數(shù)值傳給B這首歌，那么對于相同的頁數(shù)，這種參數(shù)是通用的，即A的第一頁的兩個參數(shù)值傳給其他任何一首歌的兩個參數(shù)，都可以獲得相應(yīng)歌曲的第一頁的評論，對于第二頁，第三頁等也是類似。 但是遺憾的是，不同的頁數(shù)參數(shù)是不同的，這種辦法只能抓取有限的幾頁（當然抓取評論總數(shù)和熱門評論已經(jīng)足夠了），如果要想抓取全部數(shù)據(jù)，就必須搞明白這兩個參數(shù)值的加密方式。 以為沒有搞明白，昨天晚上我?guī)е@個問題去知乎搜索了一下，居然真的被我找到了答案。 @平胸小仙女 這位知友詳細說明了如何破解這兩個參數(shù)的加密過程，我研究了一下，發(fā)現(xiàn)還是有點小復(fù)雜的，按照知友寫的方法，我改動了一下，就成功得到了全部的評論。 這里要對知乎@平胸小仙女 表示感謝。 到此為止，如何抓取網(wǎng)易云音樂的評論全部數(shù)據(jù)就全部講完了。 按照慣例，最后上代碼，親測有效：#!/usr/bin/env python2.7 # -*- coding: utf-8 -*- # @Time : 2017/3/28 8:46 # @Author : Lyrichu # @Email : # @File : NetCloud_ @Description: 網(wǎng)易云音樂評論爬蟲，可以完整爬取整個評論 部分參考了@平胸小仙女的文章來源：知乎 from import AES import base64 import requests import json import codecs import time # 頭部信息 headers = { , Accept-Language:zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3, Accept-Encoding:gzip, deflate, Content-Type:application/x-www-form-urlencoded, Cookie:_ntes_nnid=b04b121e078dee797cdb30e0fd,27; _ntes_nuid=b04b121e078dee797cdb30e0fd; JSessionID-WYYY=yfqt9ofhY%5CIYNkXW71TqY5OtSZyjE%2FoswGgtl4dMv3Oa7%5CQ50T%2FVaee%2FMSsCifHE0TGtRMYhSPpr20i%5CRO%2BO%2B9pbbJnrUvGzkibhNqw3Tlgn%5Coil%2FrW7zFZZWSA3K9gD77MPSVH6fnv5hIT8ms70MNB3CxK5r3ecj3tFMlWFbFOZmGw%5C%3A80; _iuqxldmzr_=32; vjuids=c8ca7976.15a029d006a.0.e63af8; vjlast=..21; __gads=ID=a9eed5e3cae4d252:T=:S=ALNI_Mb5XX2vlkjsiU5cIy91-ToUDoFxIw; vinfo_n_f_l_n3=411a2def7f75a62e.1.1.69.05.42; P_INFO=||1|study|00&99|null&null&null#hub #0#0|&1|study_client|; NTES_CMT_USER_INFO=%7Cm155****4439%7Chttps%3A%2F%%2Fe%%2Ftie%2Fimages%2Fyun%2Fphoto_default_%7Cfalse%7CbTE1NTI3NTk0NDM5QDE2My5jb20%3D; usertrack=c+5+hljHgU0T1FDmA66MAg==; province=027; City=027; _ga=GA1.2..; __utma=.....8; __utmc=; __utmz==baidu|utmccn=(organic)|utmcmd=organic; playerid=; __utmb=.23.10., Connection:keep-alive, Referer:}# 設(shè)置代理服務(wù)器 proxies= { http::https::}# offset的取值為:(評論頁數(shù)-1)*20,total第一頁為true，其余頁為false # first_param = {rid:, offset:0, total:true, limit:20, csrf_token:} # 第一個參數(shù) second_param = # 第二個參數(shù) # 第三個參數(shù) third_param = 00e0b509f6259df8642dbcdfec152b5ff68ace615bb7bb3ab17a876aea8a5aa76d2eec4ee341ffccfe0312ecbdacaf6c9d05c4f7f0c3685b7a46beecce10b424d813cfe4875d3eb97ddefd546b8e289dc6935b3ece0462db0a22b8e7 # 第四個參數(shù) forth_param = 0CoJUm6Qyw8W8jud # 獲取參數(shù) def get_params(page): # page為傳入頁數(shù) iv = first_key = forth_param second_key = 16 * F if(page == 1): # 如果為第一頁 first_param = {rid:, offset:0, total:true, limit:20, csrf_token:} h_encText = AES_encrypt(first_param, first_key, iv) else: offset = str((page-1)*20) first_param = {rid:, offset:%s, total:%s, limit:20, csrf_token:} %(offset,false) h_encText = AES_encrypt(first_param, first_key, iv) h_encText = AES_encrypt(h_encText, second_key, iv) return h_encText # 獲取 encSecKey def get_encSecKey(): encSecKey = aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2ed94a02ca919de7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3fed39e7de08fce26dbc4484a01c76f739ec return encSecKey # 解密過程 def AES_encrypt(text, key, iv): pad = 16 - len(text) % 16 text = text + pad * chr(pad) encryptor = (key, _CBC, iv) encrypt_text = (text) encrypt_text = base64.b64encode(encrypt_text) return encrypt_text # 獲得評論json數(shù)據(jù) def get_json(url, params, encSecKey): data = { params: params, encSecKey: encSecKey } response = (url, headers=headers, data=data,proxies = proxies) return # 抓取熱門評論，返回熱評列表 def get_hot_comments(url): hot_comments_list = [] hot_comments_(u用戶ID 用戶昵稱 用戶頭像地址 評論時間 點贊總數(shù) 評論內(nèi)容) params = get_params(1) # 第一頁 encSecKey = get_encSecKey() json_text = get_json(url,params,encSecKey) json_dict = (json_text) hot_comments = json_dict[hotComments] # 熱門評論 print(共有%d條熱門評論! % len(hot_comments)) for item in hot_comments: comment = item[content] # 評論內(nèi)容 likedCount = item[likedCount] # 點贊總數(shù) comment_time = item[time] # 評論時間(時間戳) userID = item[user][userID] # 評論者id nickname = item[user][nickname] # 昵稱 avatarUrl = item[user][avatarUrl] # 頭像地址 comment_info = userID + + nickname + + avatarUrl + + comment_time + + likedCount + + comment + u hot_comments_(comment_info) return hot_comments_list # 抓取某一首歌的全部評論 def get_all_comments(url): all_comments_list = [] # 存放所有評論 all_comments_(u用戶ID 用戶昵稱 用戶頭像地址 評論時間 點贊總數(shù) 評論內(nèi)容) # 頭部信息 params = get_params(1) encSecKey = get_encSecKey() json_text = get_json(url,params,encSecKey) json_dict = (json_text) comments_num = int(json_dict[total]) if(comments_num % 20 == 0):

---

---

相關(guān)標簽： qq音樂爬蟲下載文件、 QQ音樂爬蟲在音樂研究和探索中的應(yīng)用、

上一篇：如何使用QQ音樂爬蟲創(chuàng)建自己的音樂庫如何使

下一篇：使用QQ音樂爬蟲提高你的音樂體驗使用QQ音樂