Skip to content

Commit

Permalink
Configura execução uma vez por dia (#988)
Browse files Browse the repository at this point in the history
Estamos com um problema com a Zyte: os raspadores que duravam cerca de 1
minuto para executar, estão levando de 10 a 30 inesperadamente, fazendo
com que a execução completa dos 161 raspadores leve mais de 12 horas.

Um ticket foi aberto para encaminhar a situação, mas temporariamente,
estamos reduzindo a execução de raspadores para uma vez por dia já que
uma das ondas não está sendo adequadamente executada pela anterior estar
durando muito.
  • Loading branch information
trevineju authored Oct 21, 2023
2 parents 5f5350e + 14f9366 commit 77f6732
Showing 1 changed file with 1 addition and 2 deletions.
3 changes: 1 addition & 2 deletions .github/workflows/periodic_crawl.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -2,8 +2,7 @@ name: Daily execution of Spiders

on:
schedule:
# Execute twice a day at 8AM/6PM (BRT)
- cron: "0 11 * * *"
# Execute once a day at 6PM (BRT)
- cron: "0 21 * * *"

jobs:
Expand Down

0 comments on commit 77f6732

Please sign in to comment.