Python如何一键爬取你所关心的书籍信息

页面分析

json分析

基本代码

import json
import requests
import pandas as pd
from lxml import etree

bsdf=pd.read_excel('booklistfortest.xlsx') 
blst=list(bsdf['书名'])  #书名列表
#bsdf.head(3)

def getBookInfo(binfo,cc):
    i=0
    rss={}
    k=''
    v=''
    f=0
    clw=[]
    for c in cc:
        if '\n' in c:
            if '\xa0' in c:
                clw.append(c)
        else:
            clw.append(c)
    
    for m in binfo[0]:
        if m.tag=='span':
            mlst=m.getchildren()
            if len(mlst)==0: 
                k=m.text.replace(':','')
                if '\xa0' in clw[i]:
                    f=1#需要m.tag=='a'下的值
                else:
                    v=clw[i].replace('\n','').replace(' ','')
                i+=1
            elif len(mlst)>0:#下面有子span 一种判断是m.attrib=={} 不够精确
                for n in mlst:
                    if n.tag=='span':
                        k=n.text.replace('\n','').replace(' ','') #不至于下面还有span，懒得用递归了
                    elif n.tag=='a':
                        v=n.text.replace('\n','').replace(' ','')
        
        elif m.tag=='a':
            if f==1: #是否可以不用这个if
                v=m.text.replace('\n','').replace(' ','')
                f=0
        elif m.tag=='br':
            if k=='':
                print(i,'err')
            else:
                rss[k]=v
        else:
            print(m.tag,i)
    return rss

rlst=[]
for bn in blst:
    res={}
    r=requests.get('https://book.douban.com/j/subject_suggest?q={0}'.format(bn))
    rj=json.loads(r.text)
    #对rj进行一下验证和筛选
    html=requests.get(rj[0]['url']) #之后再考虑多个返回值的验证
    con = etree.HTML(html.text)
    bname=con.xpath('//*[@id="wrapper"]/h2/span/text()')[0] #和bn比较
    res['bname_sq']=bn
    res['bname']=bname
    res['dbid']=rj[0]['id'] #不需要存url，存id就够了
    #这部分取到info就够了，之后再用高级方法去匹配需要的元素，目前对应不对
    binfo=con.xpath('//*[@id="info"]')
    cc=con.xpath('//*[@id="info"]/text()')
    res.update(getBookInfo(binfo,cc))  #调用上面的函数处理binfo
    bmark=con.xpath('//*[@id="interest_sectl"]/div/div[2]/strong/text()')[0]
    if bmark=='  ':
        bits=con.xpath('//*[@id="interest_sectl"]/div/div[2]/div/div[2]/span/a/text()')[0]
        if bits=='评价人数不足':
            res['评分']=''
            res['评价人数']='评价人数不足'
        else:
            res['评分']=''
            res['评价人数']=''
    else:
        res['评分']=bmark.replace(' ','')
        bmnum=con.xpath('//*[@id="interest_sectl"]/div/div[2]/div/div[2]/span/a/span/text()')[0]
        res['评价人数']=bmnum
    rlst.append(res)
得到的数据可以进行一定的标准化然后进行分析再输出。上面得到的列表rlst=[{'书名':'a','出版社':'b'},{'','','':''}]，可以直接变成dataframe，

outdf=pd.DataFrame(rlst) #转dataframe
outdf.to_excel('out_douban_binfo.xlsx',index=False) #输出数据

bdf=bsdf.merge(outdf,on='书名',how='left') # 数据合并
# 基本统计值
print('一共有{0}本书，{1}个作者，{2}个出版社；'.format(len(bdf),len(set(list(bdf['作
者']))),len(set(list(bdf['出版社'])))))

bdf.loc[bdf['作者']=='吴军',['书名','阅读时间','阅读情况','出版社']]
#output：
'''
                  书名       阅读时间 阅读情况      出版社
103             数学之美 2016-10-20   P5  人民邮电出版社
233             智能时代 2017-06-22   P4    中信出版社
237             硅谷之谜 2017-07-01   P4  人民邮电出版社
383  见识--商业的本质和人生的智慧 2018-10-21   P4    中信出版社
'''
对每月阅读数量进行统计：

import matplotlib.pyplot as plt #绘图用到matplotlib库
%matplotlib inline

bdf['阅读年月']=bdf['阅读时间'].apply(lambda x : x.strftime('%Y-%m'))
read_date=bdf['阅读年月'].value_counts() #每月阅读量，按月计数
read_date=pd.DataFrame(read_date,columns=['阅读年月']) #从Series变为DataFrame
read_date=read_date.sort_index()

plt.figure(figsize=(15,5))
plt.xticks(rotation=90)#设置时间标签显示格式
plt.plot(read_date) #因为jupyter里写了 %matplotlib inline 不用写 plt.show()

import numpy as np
bdf['阅读年']=bdf['阅读时间'].apply(lambda x : x.strftime('%Y'))
bdf['阅读月']=bdf['阅读时间'].apply(lambda x : x.strftime('%m')) #这里也可以用.month .year
r_dd=bdf.loc[:,['阅读年','阅读月']]
r_dd['val']=1 #用以初始化
r_dd=pd.pivot_table(r_dd,values='val',index=['阅读月'],columns=['阅读年'],aggfunc=np.sum).fillna(value=0)
#这部分代码的细节可以看本人github里jupyter notebook文件的输出
r_dd=r_dd.loc[:,['2016','2017','2018']] #因为其他年份月份不全，只取这3年来看
plt.figure()
r_dd.plot(xticks=range(1,13),figsize=(12,5))

b_rank=pd.DataFrame(bdf['评分']) #评分分布（箱线图）
b_rank.boxplot()

#另，评分 top 10：
#bdf.sort_values(by='评分',ascending=False).head(10).loc[:,['书名','作者','阅读时间'
,'阅读情况','出版社','评分']]