Datenbankzugriffe parallelisieren mit ØMQ

Vortrag am 10. Oktober 2014 beim Austrian Perl Workshop 2014

Abstract

Die volkswirtschaftliche Datenbank des WIFO besteht seit 1973 und enthält eine bunte Mischung wirtschaftswissenschaftlicher Daten in Form von Zeitreihen.

Nach der Umstellung von einer hierarchischen Datenbank auf Unisys auf eine relationale Datenbank (Oracle) unter Unix Anfang der 90er-Jahre steht nun der zweite große Rewrite an.

Für typische Querys müssen potentiell große Teile der Datenbank durchsucht werden, das Datenmodell erlaubt aber eine effiziente Parallelisierung.

Querys werden daher in einfachere Querys aufgespaltet, diese werden parallel von mehreren Worker-Prozessen abgearbeitet und die Ergebnisse schließlich wieder kombiniert.

Die Kommunikation zwischen den beteiligten Prozessen erfolgt über ØMQ, ein sprachunabhängiges, low-level Framework für Interprozesskommunikation.

Slides

Video

HD Video (32 minutes) on Youtube