python爬虫设置定时任务的三种方法
宋雪维
2021-03-25 14:15:48696浏览 · 0收藏 · 0评论
我们在使用python爬虫爬取任务时,遇到很痛进程是不同通时进行的,需要在一定时间进行,如果间隔时间很长,会浪费我们大量的时间,因此设置定时很有必要。本文介绍python爬虫设置定时任务的三种方法:1、使用while true循环挂起(最容易);2、Timer模块(最简单的定时启动);3、方法三:sched模块。
方法一:使用while true循环挂起(最容易)
import os import time import sys from datetime import datetime, timedelta def One_Plan(): # 设置启动周期 Second_update_time = 24 * 60 * 60 # 当前时间 now_Time = datetime.now() # 设置 任务启动时间 plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0) # 设置差值,-1 day, 21:48:53.246576,类似于这样 # time.sleep()需要传入int,所以下面使用.total_seconds() # 主要用来计算差值,返回int,具体功能可以自行查阅相关资料 delta = plan_Time - now_Time first_plan_Time = delta.total_seconds() % Second_update_time print("距离第一次执行需要睡眠%d秒" % first_plan_Time) return first_plan_Time # while Ture代码块,挂起程序,睡眠时间结束后调用函数名进行执行 while True: s1 = One_Plan() time.sleep(s1) # 下面这里是自己定义的函数,想跑代码的可以换成hellow world函数或者注释掉这行测试下 exe_file(D_list) print("正在执行首次更新程序")
注意:一天执行多个任务并且一天需要执行多次。
如果爬虫程序需要在晚上12点和早上6点、9点,下午3点执行四次,并且需要同时执行4个爬虫,还需要考虑到网络是否稳定,如果程序挂掉该怎么处理等等因素。
方法二:Timer模块(最简单的定时启动)
from datetime import datetime from threading import Timer import time # 定时任务 def task(): print(datetime.now().strftime("%Y-%m-%d %H:%M:%S")) def timedTask(): ''' 第一个参数: 延迟多长时间执行任务(秒) 第二个参数: 要执行的函数 第三个参数: 调用函数的参数(tuple) ''' Timer(5, task, ()).start() while True: timedTask() time.sleep(5)
方法三:sched模块
import schedule import time def hellow(): print('hellow') def Timer(): schedule.every().day.at("09:00").do(hellow) schedule.every().day.at("18:00").do(hellow) while True: schedule.run_pending() time.sleep('需要睡眠的周期') Timer()
以上就是python爬虫设置定时任务的三种方法,大家可以根据自己的需求选择合适的方法哟~更多python爬虫知识:python爬虫教程。
(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)
关注公众号,随时随地在线学习