Grundlagen der Verarbeitung von großen Datenmengen und Datenströmen

• Applicant: Professorin Dr. Nicole Schweikardt
• Subject Area: Security and Dependability, Operating-, Communication- and Distributed Systems
• Term: from 2005 to 2014
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5448445

Die effiziente Verarbeitung extrem großer Datenmengen wird - nicht zuletzt weil Sekundär- und Tertiär-Speicherplatz in den letzten Jahren zu sehr preiswerten Ressourcen geworden sind - zu einer immer wichtigeren Herausforderung für die Informatik. Solch große Datenmengen treten in vielen Anwendungsbereichen auf, etwa als Sammlung wissenschaftlicher Ergebnisse (z.B. Medizindatenbanken wie Medline und Swiss-Prot), in Form von Sensordaten oder als Börsenticker. Häufig liegen die Daten dabei nicht in einer klassischen, effizient bearbeitbaren Datenbank, sondern nur in semistrukturierter Form vor, z.B. als XML-Dokument. Solche semistrukturierten Daten können auf natürliche Weise durch Bäume repräsentiert werden. Wegen der großen Datenmenge kann in der Regel nicht die Baumrepräsentation der gesamten Daten im Hauptspeicher eines Rechners vorgehalten werden, sondern nur ein gewisser Ausschnitt. In vielen Anwendungen sind die Daten sogar nur nach und nach, als Datenstrom zugänglich, etwa beim Börsenticker, der mit der Zeit immer wieder neue Informationen sendet. Zur effizienten Verarbeitung solcher Daten sind daher neue, über die aus der klassischen Datenbankverarbeitung bekannten hinausgehende Techniken erforderlich.Das Ziel des hier vorgestellten Projekts ist die Erforschung der theoretischen Grundlagen der Verarbeitung solch großer, semistrukturierter Datenmengen hinsichtlich Anfrageoptimierung, Eigenschaften von Anfragesprachen und prinzipieller Grenzen der Datenstromverarbeitung. Besonders berücksichtigt werden soll dabei ein Szenario, bei dem es nicht möglich ist, eine für die effiziente Bearbeitung geeignete Repräsentation der gesamten Daten im Hauptspeicher vorzuhalten. Wichtige Maße für die Komplexität von Anfragen sind daher die Größe des Speicherplatzes sowie der durch Speicherzugriffe verursachte Aufwand, der zur Bearbeitung einer Anfrage nötig ist.

• DFG Programme: Independent Junior Research Groups