千家信息网

如何采集级联数据(比如最新省市县)呢?

发表于:2026-11-02 作者:千家信息网编辑
千家信息网最后更新 2026年11月02日,概述通常抓取级联数数据情况不多,但要是真需要时,确多了一些麻烦,比如抓取商品分类级别信息等。本内容将讲述如何采集无限级联联数据,并以GoldData来抓取2019年最新的省市县三级为示例。创建数据集在
千家信息网最后更新 2026年11月02日如何采集级联数据(比如最新省市县)呢?

概述

通常抓取级联数数据情况不多,但要是真需要时,确多了一些麻烦,比如抓取商品分类级别信息等。本内容将讲述如何采集无限级联联数据,并以GoldData来抓取2019年最新的省市县三级为示例。

创建数据集

在数据集管理里,添加数据集area。如下图所示:

数据集相当于数据库中的表,只是字段是灵活的,可以随着需要而添加和变更。

创建规则

在规则管理里,添加规则arearule,并将地址http://xzqh.mca.gov.cn/map 填为抓取入口地址。

我们通过分析可知,我们可从http://xzqh.mca.gov.cn/map 获取省级数据,然后通过级级数据请求http://xzqh.mca.gov.cn/selectJson 带有省级名称来获得市级数据,最后再通过市级数据分别请求http://xzqh.mca.gov.cn/selectJson 带有市级数据来获得县级数据。

并且发现请求 http://xzqh.mca.gov.cn/selectJson 是需要发POST请求的,因此我们需要将url加个前缀fake:,然后用规则里用JavaScript去请求URL。

我们在此编写的area数据集,有以下字段:

名称说明
sn取区域编码作为记录唯一字段
name名称
code取区域编码
abbr省名简写
parent_code取父区域编码

因此编写规则如下:

(注:具体规则内容请见文章最后)

然后编写完成后,我们就可以启动抓取器进行抓取。

查看数据

打开数据管理,选择area数据集查看如下图所示:

导出数据

回到数据管理,选择条件,选择需要导出的字段,进行导出。像这里数据比较多,GoldData将会以打包excel文件并压缩为zip文件下载。解压到本地,然后打开excel就可以看到抓取的数据,如下图所示:

结尾

通过这节内容,可以了解了如何通过GoldData 抓取级联数据。但是下一个问题是如何将数据导入自关联列表呢,且看下一往篇将会讲述如何将级联数据融合到数据库自关联表当中。

咐录:

(抓取规则)

[  {    __sample: http://xzqh.mca.gov.cn/map    match0: http\:\/\/xzqh\.mca\.gov\.cn\/map    fields0:    {      __model: true      __node: js      __js:        '''        var exp11=/json\s=\s(.+)\s+\$\(doc/        var ret=exp11.exec(html)        var ss=eval(ret[1])        for(var i=0;i
数据 规则 字段 管理 内容 区域 名称 编码 北京 北京市 选择 地址 数据库 数据管理 文件 省级 关联 省市 信息 入口 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 互联网黑科技 上海挚品互联网科技有限公司 鸠鸠互联网科技 互联网未来科技 亿策互联网科技 西安互联网科技公司 友谊互联网络科技 互联网科技logo 深圳卡尔迅互联网科技有限公司怎么样 互联网经济与金融科技 厦门千工互联网科技有限公司 苏州铭阳互联网科技有限公司 内蒙古九一互联网科技 东莞新华互联网科技学校 深圳市罗太互联网科技有限公司 为客找房互联网科技公司怎么样 山东子淼互联网科技有限公司 福建互联网展示科技馆设计 互联网科技对化妆品行业 互联网科技创业有什么好项目 互联网科技企业 互联网科技名片 华服互联网科技靠谱吗 江苏根荣互联网科技 滨湖区互联网智能科技产品供应 天速互联网络科技有限公司 深圳市优智互联网科技有限公司 无锡工业互联网科技有限公司 版纳互联网科技选哪家 山东亿川互联网科技有限责任公司
0