[OT] 请教一下:每次请求的token都在变的网站可以有什么办法爬取信息吗?

58 views
Skip to first unread message

plectrum

unread,
Oct 5, 2021, 11:45:48 AM10/5/21
to python-cn(华蟒用户组,CPyUG 邮件列表)
想要根据自己记录的一些书单去goodreads获取对应的信息,但是goodreads目前已经不提供api给用户调用了,试着用requests去请求,发现goodreads每一次页面请求里边的 X-CSRF-Token 都在变,这种情况还可以用类似爬虫的方法去解决吗,查了半天没有查到相关的实现方案。。感谢大家!

fei

unread,
Oct 5, 2021, 8:07:44 PM10/5/21
to pyth...@googlegroups.com
是时候换js和无头浏览器去爬了

On Tue, Oct 5, 2021 at 23:45 plectrum <wear...@gmail.com> wrote:
想要根据自己记录的一些书单去goodreads获取对应的信息,但是goodreads目前已经不提供api给用户调用了,试着用requests去请求,发现goodreads每一次页面请求里边的 X-CSRF-Token 都在变,这种情况还可以用类似爬虫的方法去解决吗,查了半天没有查到相关的实现方案。。感谢大家!

--
邮件来自: `CPyUG`华蟒用户组(中文Python技术邮件列表)
规则: http://code.google.com/p/cpyug/wiki/PythonCn
详情: http://code.google.com/p/cpyug/wiki/CpyUg
严正: 理解列表! 智慧提问! http://wiki.woodpecker.org.cn/moin/AskForHelp
---
您收到此邮件是因为您订阅了Google网上论坛上的“python-cn(华蟒用户组,CPyUG 邮件列表)”群组。
要退订此群组并停止接收此群组的电子邮件,请发送电子邮件到python-cn+...@googlegroups.com
要在网络上查看此讨论,请访问https://groups.google.com/d/msgid/python-cn/9eec9765-2f4d-43eb-aeec-d235487ce989n%40googlegroups.com
--
发自移动版 Gmail

韩帅

unread,
Oct 6, 2021, 4:04:52 AM10/6/21
to pyth...@googlegroups.com
最后换成使用selenium去请求了,哈哈,感谢

fei <feii...@sc2l.com> 于2021年10月6日周三 上午8:07写道:
Reply all
Reply to author
Forward
0 new messages