文章 > JavaScript > python爬虫设置定时任务的三种方法

python爬虫设置定时任务的三种方法

Python爬虫

头像

宋雪维

2021-03-25 14:15:48696浏览 · 0收藏 · 0评论

我们在使用python爬虫爬取任务时,遇到很痛进程是不同通时进行的,需要在一定时间进行,如果间隔时间很长,会浪费我们大量的时间,因此设置定时很有必要。本文介绍python爬虫设置定时任务的三种方法:1、使用while true循环挂起(最容易);2、Timer模块(最简单的定时启动);3、方法三:sched模块。

方法一:使用while true循环挂起(最容易)

import os
import time
import sys 
from datetime import datetime, timedelta
def One_Plan():
     # 设置启动周期
     Second_update_time = 24 * 60 * 60
 
    # 当前时间
    now_Time = datetime.now()
    # 设置 任务启动时间
    plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0)  
    # 设置差值,-1 day, 21:48:53.246576,类似于这样
    # time.sleep()需要传入int,所以下面使用.total_seconds() 
    # 主要用来计算差值,返回int,具体功能可以自行查阅相关资料
    delta = plan_Time - now_Time
    first_plan_Time = delta.total_seconds() % Second_update_time
    print("距离第一次执行需要睡眠%d秒" % first_plan_Time)
    return first_plan_Time
 
# while Ture代码块,挂起程序,睡眠时间结束后调用函数名进行执行
while True:
 
    s1 = One_Plan()
    time.sleep(s1)
    # 下面这里是自己定义的函数,想跑代码的可以换成hellow world函数或者注释掉这行测试下
    exe_file(D_list)
    print("正在执行首次更新程序")

注意:一天执行多个任务并且一天需要执行多次。

如果爬虫程序需要在晚上12点和早上6点、9点,下午3点执行四次,并且需要同时执行4个爬虫,还需要考虑到网络是否稳定,如果程序挂掉该怎么处理等等因素。

方法二:Timer模块(最简单的定时启动

from datetime import datetime
from threading import Timer
import time
 
# 定时任务
def task():
    print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
 
def timedTask():
    '''
    第一个参数: 延迟多长时间执行任务(秒)
    第二个参数: 要执行的函数
    第三个参数: 调用函数的参数(tuple)
    '''
    Timer(5, task, ()).start()
 
while True:
    timedTask()
    time.sleep(5)

方法三:sched模块

import schedule
import time
 
def hellow():
    print('hellow')
 
def Timer():
    schedule.every().day.at("09:00").do(hellow)
    schedule.every().day.at("18:00").do(hellow)
 
    while True:
        schedule.run_pending()
 
        time.sleep('需要睡眠的周期')
 
 
Timer()

以上就是python爬虫设置定时任务的三种方法,大家可以根据自己的需求选择合适的方法哟~更多python爬虫知识:python爬虫教程

(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

关注公众号

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图 底部广告图按钮