当前位置:首页 > 日记本 > 正文内容

python requests抓取网页简单的重试机制

zhangchap2年前 (2022-04-12)日记本182
def get_api(url,retries=3):
    try:
        r = requests.get(url, headers=headers, timeout=35)
        return r.json()
    except requests.exceptions.ConnectionError:
        if retries > 0:
            time.sleep(1)
            print('访问链接出错,重新抓取')
            return get_api(url, retries - 1)

更多参考:https://blog.csdn.net/u013055678/article/details/54290481

分享给朋友:

相关文章

更换服务器需要设置的几点

此设置只针对个人习惯,因为需要开通的网站及服务器较多,做个记录!就不公开了 此设置只针对个人习惯,因为需要开通的网站及服务器较多,做个记录!就不公开了 此设置只针对个人习惯,因为需要开...

python补全网址代码示例

from urllib.parse import urljoin absurl = urljoin(backend,url) #backend:根...

python xpath语法总结

python xpath语法总结:常用的://1.从任意节点开始/2.从根节点开始//div/p3.div下的p标签//div[@class="hrzz_bottom"]/ul/l...

python jieba分词

import jieba from jieba.analyse import tfidf words = jieba.lcut('...

python 发布文章 随机分类(choice)

from random import choice catid = choice([5,6]) #choice 函数从列表中随机提取...

python 获取当前时间及随机时间戳

import time from random import randint time.strftime('%Y-%m-%d %H:%M:...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。