|
Comment valider et traiter 40 millions de données annuellement
et ce, en temps réel ? CGI relève le défi pour le
système de climatologie du ministère de l’Environnement
du Québec
À l’instar de tous les services de météorologie
au monde, le service de climatologie du ministère de l’Environnement
du Québec faisait face à un problème de volume excessif
de données à traiter et à valider et ce, dans des
délais extrêmement réduits. En effet, 74 000 données
quotidiennes, issues des 250 sites d’échantillonnage dispersés
à travers le Québec, permettent au Service de climatologie
d’assurer son mandat auprès de ses différents clients
internes et externes. Or, le traitement de ces données, autrefois
gérées par 5 systèmes différents, n’était
ni fiable ni rapide… deux qualités pourtant essentielles pour
assurer un service efficace dans ce domaine! C’est alors que CGI
a été appelé à la rescousse.
L’équipe de CGI, composée de 11 personnes, s’attelle
à la tâche : chacun des appareils de mesure installés
sur les 250 sites doit désormais livrer des données dont
les météorologues puissent être certains de l’exactitude
; et ces données doivent ensuite être intégrées,
en temps réel, dans une chaîne d’information qui permet
de produire les résultats requis, approuvés par les météorologues,
avec rapidité. Sinon, n’est-ce pas, autant recourir à
l’Almanach !
Le défi
Tout projet de nature météorologique doit d’abord et
avant tout pallier l’incapacité : celle de vérifier
et de valider, à chaque heure et de visu, le bon fonctionnement
des milliers d’appareils disséminés sur un vaste territoire.
Un système intégré de validation et de transformation
des données recueillies reste donc au cœur même de la
problématique de ce secteur. Il dote, en quelque sorte, les météorologues
d’un signal d’alerte rapide en cas de dysfonctionnement de l’équipement.
Le second défi consistait, bien entendu, à accélérer
de façon substantielle, le traitement de cet important volume de
données.
Le Service de climatologie du ministère de l’Environnement
fonctionnait auparavant avec 5 systèmes informatiques différents,
recoupant des informations de natures différentes. Le défi
de l’équipe CGI, en collaboration avec les météorologues,
était donc de concevoir et de mettre en œuvre un système
unique, dont l’architecture, à partir du système de
bases de données Oracle, permettait d’intégrer, en
temps réel, des données différentes et incluait un
mécanisme d’autovalidation des résultats.
La stratégie
La polyvalence de l’équipe, qui a recruté au sein même
de CGI les diverses expertises requises par le projet, a certes constitué
l’une des clés du succès. La problématique liée
aux instruments de mesure, au volume extraordinaire de données
et à l’intégration de 5 systèmes en un seul
a pu ainsi être abordée par des experts dans chacun des domaines.
Une stratégie visant à résoudre la problématique
de validation des données a d’abord été élaborée
et s’est appuyée sur la validation en valeurs absolues et
par comparaison périphérique des instruments. Dans le nouveau
système, les données de chacune des stations voisines sont
désormais comparées entres elles et tout écart important
signale automatiquement le dysfonctionnement des appareils de terrain.
L’équipe de CGI a revu l’ensemble du processus d’intégration
des données en temps réel, en veillant à solutionner
les problèmes lors de chacune des étapes de traitement.
L’une de ces étapes cruciales du processus, celle de la saisie
de données, particulièrement problématique puisqu’elle
était source d’erreurs, a notamment été revue
et réintégrée au système global afin d’accroître
sa fiabilité et sa rapidité.
La technologie
- Oracle 7.3 ; Windows NT ; Excel 5.0 ; Word 6.0 ;
Powerbuilder 5.0.04 ; PFC ; ObjectCycle ; ArcView-spatial
analyst/Avenue ; Access ; AMC Designor (PowerDesignor).
Les résultats
Après une mise en service et un rodage de quelques mois, où
les experts de CGI ont œuvré au transfert technologique et
à la formation du personnel, le système mis en place s’est
avéré efficace bien au-delà des premières
estimations. « CGI a réussi une performance remarquable
dans la mise en place du nouveau système. Au seul chapitre du volume
de données traitées en temps réel, le défi
était extraordinaire, a déclaré Paul Lamb, pilote
du projet au sein du ministère. Après un an et demi d’opération,
les résultats se révèlent excellents. CGI a certainement
su solutionner nos problèmes. »
|
