博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python 爬虫 cookie 的保存和加载
阅读量:6818 次
发布时间:2019-06-26

本文共 2448 字,大约阅读时间需要 8 分钟。

  hot3.png

相关库

Cookie (py2) 等于 http.cookie (py3)

cookielib (py2) 等于 http.cookiejar (py3)

python3 处理 cookie

  • 保存到变量
import http.cookiejar, urllib.requestcj = http.cookiejar.CookieJar()opener = urllib.request.build_opener(urllib.request.HTTPCookieProcesser(cj))r = opener.open('http://douban.com')# 此时, cookie 已经保存在 cj 中了for i in cj:    print(i.name, i.value)输出:bid "a3YOzYxKBc9"ll "219731"
  • 保存到文件
import http.cookiejar, urllib.requestcj = http.cookiejar.MozillaCookieJar('cookie.txt')# cj = http.cookiejar.LWPCookieJar() # 可读性更好opener = urllib.request.build_opener(urllib.request.HTTPCookieProcesser(cj))r = opener.open('http://douban.com')cj.save() # 也可以在这里指定保存的文件名 cj.save('new_cookie.txt')# save() 可设置过期参数 ignore_discard=True: 即使将被丢弃也保存. ignore_expires=True: 即使过期也保存# cj.save(ignore_discard=True, ignore_expires=True)
  • 从文件加载 cookie
import http.cookiejar, urllib.requestcj = http.cookiejar.MozillaCookieJar()cj.load('cookie.txt')opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))req = urllib.request.Request('http://douban.com')r = opener.open(req)# 上两句可以这样# r = opener.open('http://douban.com')

python2 处理 cookie

  • 保存到变量
import cookielib, urllib2cj = cookielib.CookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcesser(cj))r = opener.open('http://douban.com')

requests 库处理 cookie

  • 响应中的cookie
>>> r = requests.get('http://douban.com')>>> r.cookies.items()[('bid', '"/cMAIpJIhm0"'), ('ll', '"178229"')]
  • 发送 cookie
>>> url = 'http://httpbin.org/cookies'>>> cookies = dict(cookies_are='working')>>> r = requests.get(url, cookies=cookies)>>> r.text'{"cookies": {"cookies_are": "working"}}'
  • 通过会话Session保持cookie:
s = requests.Session()s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')r = s.get("http://httpbin.org/cookies")print(r.text)# '{"cookies": {"sessioncookie": "123456789"}}'s.cookies['cookie1'] = 'a's.cookies['cookie2'] = 'b'
  • 保存到文件, 从文件加载 requests.cookies.cookielib 相当于 http.cookiejar (py3) 和 cookielib (py2) requests.cookies.RequestsCookieJar 相当于 http.cookiejar.CookieJar (py3) 和 cookielib.CookieJar (py2)
将一个Session实例的cookies属性设置赋值成 一个 CookieJar 实例import http.cookiejars = requests.session  # 或 s = requests.Session()s.cookies = http.cookiejar.LWPCookieJar('mycookie.txt')s.get('http://douban.com')s.save(ignore_expires=True, ignore_discard=True)  # 已保存到 mycookie.txts.cookies.clear()   # 清除s.cookies.load('mycookie.txt') # 从文件加载# s.cookies.revert() # 这个方法等于先清除后加载

转载于:https://my.oschina.net/sukai/blog/662046

你可能感兴趣的文章
SQL Server 造成cpu 使用率高的 6 原因
查看>>
MYSQL <=>运算符
查看>>
unable to access android sdk add-on list
查看>>
Azure Traffic Manager 现可与 Azure 网站集成!
查看>>
由.NET说到WCF(未完成)
查看>>
用motion实现家庭视频监控
查看>>
帝国cms缩略图:网站不同地方生成不同的缩略图
查看>>
python Django Ajax基础
查看>>
aop point-cut表达式
查看>>
第四周 day17 类名称空间,查询顺序等/组合
查看>>
easyui的 getSelections 与 getSelected 对比区别
查看>>
后缀数组模板 UOJ#35. 后缀排序
查看>>
[转]DirectX Rendering Pipeline渲染管线图
查看>>
ImageMaigck不支持中文路径的问题
查看>>
俄罗斯方块
查看>>
ZOJ 2061 - Buy the Ticket
查看>>
博客园定制页面(五)——使用自定义JS脚本(公告栏显示时间)
查看>>
清华申请退学博士作品:完全用Linux工作
查看>>
总结:串和数组的学习
查看>>
Canvas + JavaScript 制作图片粒子效果
查看>>