Eine NoSQL-Datenbank für numerische Daten

Vortrag am 24. September 2011 beim Linuxwochenende 2011

Abstract

Die volkswirtschaftliche Datenbank des WIFO besteht seit 1973 und enthält eine bunte Mischung wirtschaftswissenschaftlicher Daten in Form von Zeitreihen.

Nach der Umstellung von einer hierarchischen Datenbank auf Unisys auf eine relationale Datenbank (Oracle) unter Unix Anfang der 90er-Jahre steht nun der zweite große Rewrite an.

Mit der Neuimplementation wollen wir den Sprung von einer reinen Zeitreihendatenbank mit hierarchischem Katalog zu einer multidimensionalen Datenbank vollziehen. Als Pilotprojekt wurde eine Datenbank mit ca. 2 Milliarden Datenpunkten für das FIW erstellt, dabei zeigte sich, dass RDBMs für diese Art der Daten nur mäßig geeignet sind. Verbreitete NoSQL-Datenbanken wiederum sind auf die Speicherung von Dokumenten ausgelegt und haben einen relativ hohen Overhead pro Record.

Daher haben wir uns entschlossen, ein eigenes Datenbanksystem speziell für diesen Anwendungszweck zu entwickeln. In diesem Vortrag wird der Entwurf präsentiert.

Slides

Video