如何用scrapy框架来登录人人网
发表于:2025-12-05 作者:千家信息网编辑
千家信息网最后更新 2025年12月05日,本篇内容主要讲解"如何用scrapy框架来登录人人网",感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习"如何用scrapy框架来登录人人网"吧!写爬虫之前必要的
千家信息网最后更新 2025年12月05日如何用scrapy框架来登录人人网
本篇内容主要讲解"如何用scrapy框架来登录人人网",感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习"如何用scrapy框架来登录人人网"吧!
写爬虫之前必要的分析

上图就是我们的人人网了,通常我们想要去登录一个网站,有两种思路:①通过抓包工具来抓取post数据,看看里面有没有表单,然后提交表单来进行登录 ②通过观察分析网页html源码来找到form表单标签并且找到相关的提交参数。
经过我的分析,我用F12看了一下抓包数据,是没有发现post数据的(大家可以自己去看一下),竟然这个行不通,我们就直接查看源代码!
从我打箭头的地方可以看到,我们需要传送账户和密码信息的网址是http://www.renren.com/PLogin.do ,然后我们需要传送两个参数email和password。
当我们提交这两个参数过去时,如果登录成功会返回一个登录成功界面的源代码,我们就通过这个源代码来判断是否登录成功!
分析完啦,开始写代码
前面的创建爬虫项目和文件等操作我就不多提了,不会的朋友可以去看我前面写的文章。
我先直接甩代码给大家了,老规矩,解释写在代码注释里了!
loginrr.py:
# -*- coding: utf-8 -*-import scrapyfrom scrapy.http import Request,FormRequestclass LoginrrSpider(scrapy.Spider):name = 'loginrr'allowed_domains = ['renren.com']start_urls = ['http://renren.com/']headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}# 这里我们先编写start_requests方法(会首先执行)def start_requests(self):# 首先访问一遍登录页面(在这里我们可以监测有无验证码,若有则需要添加验证码字段,若无则不需要)# 然后回调parse方法# 设置meta参数,将cookiejar设置为1,表示cookjar开启return [Request("http://www.renren.com/PLogin.do", meta={"cookiejar": 1}, callback=self.parse)]def parse(self, response):# 需要发送的表单,这次没有验证码data = {# 这里输入你们自己的账号密码'email': 'xxxxxx','password': 'xxxxxxxx'}print("正在登陆...")# 通过 FormRequest.from_response方法来进行登录return [FormRequest.from_response(response,# 设置cookie信息meta={"cookiejar": response.meta["cookiejar"]},headers=self.headers,formdata=data,# 回调到next方法callback=self.next,)]def next(self, response):# 打印登录成功后的界面源代码print(response.body)
大家需要注意,在运行之间需要设置setting.py文件,将ROBOTSTXT_OBEY 设置为 False
运行结果:
到此,相信大家对"如何用scrapy框架来登录人人网"有了更深的了解,不妨来实际操作一番吧!这里是网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
登录
方法
人人
成功
参数
源代码
表单
分析
框架
数据
验证
两个
代码
信息
内容
密码
文件
朋友
爬虫
界面
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
奉贤区信息网络技术
校园网络安全周上的讲话
清华大学出版社数据库应用教程
安装服务器数据库笔记本
查看oracle数据库连接数
宁河区全过程网络技术答疑解惑
数据库快还是文本快
kms激活系统如何选择服务器
深圳国网互联网络科技有限公司
csgo移除安全服务器
电网自动化服务器为什么要国产化
拼多多用哪里的服务器
职友集网络技术有限公司
美国火眼系统网络安全防护
网络安全预警通报怎么做
数据库接口连接别的数据库
力控通讯状态实时数据库
数据库中条件大于300
英灵神殿如何看服务器ip
fm22怎么改数据库
java版服务器合集
当今软件开发行业
网络技术基础讲义
数据库快还是文本快
基于sdn框架的网络安全
郓城软件开发有限公司
利强软件开发有限公司
大学计算机网络技术学什么
数据库建表查数据有几种方法
如何查数据库版本