如何使用Python爬虫Scrapy爬取中国地震数据

如何使用Python爬虫Scrapy爬取中国地震数据，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

前言

总感觉最近好多地震的新闻，就想着爬一波地震相关的数据来看看。

开发工具

Python 版本：3.6.4

相关模块：

scrapy模块；

jieba模块；

pyecharts模块；

folium模块；

wordcloud模块；

fake_useragent模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

数据爬取

首先新建一个project：

然后打开中国地震台网：

http://news.ceic.ac.cn/index.html

发现使用网站自带的查询功能就可以查询到指定时间和经纬度范围的地震数据：

图片

OK，那就开始写代码吧~

先在items.py文件内定义我们要爬取的数据：

class EarthquakeItem(scrapy.Item):

在spiders文件夹下新建main.py函数写我们爬虫主程序，这里我们爬取的是从2000年1月1日开始至今网站上所有有记录的地震数据(事实上，跑完代码发现网站里只有从2012年开始的地震数据T_T)：

'''main'''

OK，大功告成了，在第一个earthquake文件夹下运行如下命令就行了：

scrapy crawl earthquake -o eqdata.json -t json

爬取的数据将保存在eqdata.json文件内。

关于如何使用Python爬虫Scrapy爬取中国地震数据问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注行业资讯频道了解更多相关知识。