Skip to content

Commit

Permalink
Verifica se a razão request/item é menor ou igual ao valor configurado (
Browse files Browse the repository at this point in the history
#1040)

- No spider de Maringá-PR, existem 2 requests que sempre são realizados,
não importa a quantidade de items, e para cada item, podemos ter até 3
requests (alguns redirecionamentos para obter a URL de download do PDF).
No caso de 1 item retornado, a razão request/item estava em 5 (que é a
razão considerada aceitável). Porém o monitor estava verificando se o
resultado era "menor" que a razão e não "menor e igual". Isso estava
gerando muitos falsos positivos.
  • Loading branch information
Giulio Carvalho authored Nov 22, 2023
2 parents 73ba23d + 349606b commit 760547e
Showing 1 changed file with 1 addition and 1 deletion.
2 changes: 1 addition & 1 deletion data_collection/gazette/monitors.py
Original file line number Diff line number Diff line change
Expand Up @@ -27,7 +27,7 @@ def test_requests_items_ratio(self):
ratio = n_requests_count / n_scraped_items
percent = round(ratio * 100, 2)
allowed_percent = round(max_ratio * 100, 2)
self.assertLess(
self.assertLessEqual(
ratio,
max_ratio,
msg=f"""{percent}% is greater than the allowed {allowed_percent}%
Expand Down

0 comments on commit 760547e

Please sign in to comment.