Selenium+PhantomJS+python爬取网易云音乐的歌曲评论

最新推荐文章于 2025-04-02 17:22:40 发布

说书人-

最新推荐文章于 2025-04-02 17:22:40 发布

阅读量364

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/NOOBBB/article/details/89361831

版权

爬虫专栏收录该内容

2 篇文章

订阅专栏

爬取网易云音乐的歌曲评论

最开始接触爬虫是在17年的时候了，那时候都毕业两年了，醉心于linux啊，java等技术，没有具体写过爬虫，直到又一次项目需求，才用到了爬虫，当时用的jsoup，哈哈，就是简单的爬取静态网页，然后分析罢了。当时也想爬点有趣的东西，比如网易云音乐的评论··但是我太菜了，当时用java+PhantomJS 也没有成功，一年多以后终于成功了。但是当时没写博客，今天忽然想起那时候写的代码，找了一个小时，才找到，惊出一身冷汗。自己写的代码丢了实在太可怕，所以把核心代码记到这里吧。以作留念。
交代完故事的背景，交代下代码的背景。

代码python2.7版本的，考虑到PhantomJS已经不维护了，但是为了蹭热度还是怎样，选择了2.7
需要把PhantomJS放到path中

#!/usr/bin/env python2
# -*- coding: utf-8 -*-
"""
Created on Tue Oct 16 10:07:41 2018

@author: hepenghui
"""

#coding:utf-8

# =============================================================================
# 爬取网易云音乐单首歌曲的评论
# =============================================================================



import time
from selenium import webdriver
import sys
reload(sys) 
sys.setdefaultencoding('utf8')

def isNextPageExist(driver):
   """
       是否存在下一页按钮
   """
   elem = driver.find_element_by_css_selector(".u-page")
   print elem.find_element_by_css_selector('.js-selected').text
   elems = elem.find_elements_by_tag_name('a')
   for e in elems:
       if '下一页' == e.text:
           return e
       
   return None



driver = webdriver.PhantomJS()
driver.get("https://music.163.com/#/song?id=1313558205")

time.sleep(1)

driver.switch_to.frame(driver.find_element_by_id('g_iframe'))
time.sleep(1)

# 需要爬取的页数
num = 2

# 已爬取评论个数
commentNum = 0
driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
for n in range(num):
    #先爬取
    elements = driver.find_elements_by_css_selector("div[class='cnt f-brk']")
    with open('test.txt', 'a') as f:
        f.write('-----------------------------第'+bytes(n+1)+'页-------------------------  \n')
        for ee in elements:
            commentNum += 1
            f.write(bytes(commentNum)+'-----'+ee.text+'\n')
            
    
    # 判断是否有下一页
    elem = isNextPageExist(driver)
    if elem == None:
        print  '没有下一页了'
        driver.close()
    else:
        print '点击下一页'
        elem.click()
        time.sleep(2)  
    
    
driver.close()

python其实学的很烂，写这段代码的初衷是想讲python爬虫的课，所以选择了python
其实还有几个爬取百度的啊，用微博登录的啊，等，用的是selenium + 火狐，就没放这里，但原理一样的，需要用到的核心代码都在这里了

对了，有空的话，要把代码改成python3的··