Skip to content
This repository has been archived by the owner on Oct 22, 2024. It is now read-only.

Amélioration de l'import des donnés SIRENE #375

Merged
merged 3 commits into from
Oct 10, 2024
Merged

Conversation

ikarius
Copy link
Contributor

@ikarius ikarius commented Sep 9, 2024

Dans l'optique d'une plus grande automatisation et de l'amélioration des performances de la procédure d'import SIRENE actuelle :

  • les données de production ne sont plus effacées avant validation explicite,
  • l'import est effectué sur une table de travail sans indexes (bien plus rapide),
  • les indexes sont recréés en fin de procédure.

L'analyse de la base est optionnelle et déclenchable via un argument --analyze.

La table de travail peut-être activée manuellement en fin d'import via l'argument --activate.

Au final, le résultat est le même sur un poste local après avoir "activé" l'import : ./manage.py import_sirene --activate mais plus rapide et on dispose d'une sauvegarde des anciennes données SIRENE en cas de problème.

Il est possible de rétablir l'ancienne table de production via l'argument --rollback.

Dans un deuxième temps, la connexion à la base de production sera directe et la table temporaire directement créée sur site (PR à venir).

La documentation actuelle reste en partie valable mais devra être remaniée.

@ikarius ikarius changed the title sirene: amélioration de l'import des donnés SIRENE Amélioration de l'import des donnés SIRENE Sep 9, 2024
@ikarius ikarius self-assigned this Sep 9, 2024
@ikarius ikarius force-pushed the upgrade-sirene-import branch 2 times, most recently from e1890ae to 364c2d2 Compare September 9, 2024 07:48
@ikarius ikarius requested a review from ggounot September 9, 2024 07:58
- Les données de production ne sont plus effacées avant validation
explicite,
- l'import est effectué sur une table de travail sans indexes (bien plus
rapide),
- les indexes sont recréés en fin de procédure.

L'analyse de la base est optionnelle et déclenchable via un argument
`--analyze`.

La table de travail peut-être activée manuellement en fin d'import via
l'argument `--activate`.
Copy link
Contributor

@jbuget jbuget left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Des micro questions ou pensées mais rien de bloquant pour moi. Bravo pour cette PR (et les decriptions / explications qui l'accompagnent)

🚀 LGTM

dora/sirene/backup.py Show resolved Hide resolved
dora/sirene/backup.py Show resolved Hide resolved
dora/sirene/backup.py Show resolved Hide resolved
@ikarius
Copy link
Contributor Author

ikarius commented Oct 10, 2024

Je prends note des points remontés en discussions et je verrais si je les adopte dans la prochaine PR (qui permettra d'ajouter certaines options pour la MAJ SIRENE).
Mais pour l'import de ce mois-ci, je passe cette PR en production

@ikarius ikarius merged commit 81a430a into main Oct 10, 2024
6 checks passed
@ikarius ikarius deleted the upgrade-sirene-import branch October 10, 2024 08:38
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants