Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[WIP] Novo spider: São Paulo - SP #1143

Draft
wants to merge 2 commits into
base: main
Choose a base branch
from

Conversation

trevineju
Copy link
Member

@trevineju trevineju commented May 13, 2024

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Esta branch foi criada pelo @valeriow para integrarmos o raspador de São Paulo-SP ao QD. Já faz alguns meses que Valerio começou e precisaria continuar. O ponto em que ele parou é o de tentar contornar as barreiras para raspagem que tem no site:

"eles parecem ter um sistema de proteção contra raspagem automatizada. Aparentemente eles aumentam o tempo de resposta em determinadas situações e às vezes ligam um captcha...
uma vez obtida a base histórica (diários antigos), acho que a raspagem incremental diária não seria um problema. Para obter a base histórica podemos tentar usar alguns artifícios técnicos: usar proxies, diminuir o fluxo das requisições, entre outros."

@trevineju trevineju changed the title Novo spider: São Paulo - SP [WIP] Novo spider: São Paulo - SP May 13, 2024
@trevineju trevineju linked an issue May 29, 2024 that may be closed by this pull request
@trevineju trevineju marked this pull request as draft May 29, 2024 14:25
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

[Revisão retroativa] São Paulo-SP
2 participants