Detailseite
SPP 1736: Algorithmen für große Datenmengen
Fachliche Zuordnung
Informatik, System- und Elektrotechnik
Förderung
Förderung von 2014 bis 2023
Webseite
Zur Homepage
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 237179235
Computersysteme durchdringen alle Bereiche menschlicher Aktivität. Immer schneller erheben, verarbeiten und versenden sie riesige Datenmengen untereinander. Als Konsequenz leben wir in einer Big-Data-Welt, in der das Informationsvolumen exponentiell zunimmt und die eigentlichen Probleme nicht mehr in der Akquise hinreichend vieler Daten, sondern eher in der Handhabung ihrer Fülle und ihres ungestümen Wachstums liegen. Da der Geschwindigkeitszuwachs einzelner Prozessorkerne im Wesentlichen zum Stillstand gekommen ist, setzt die Hardwareindustrie auf immer mehr Berechnungskerne pro Board oder Grafikkarte und investiert in neue Speichertechnologien. Das bedeutet, dass unsere Algorithmen massiv parallel werden und auf Datenlokalität setzen müssen. Immer öfter wird es auch gar nicht mehr möglich sein, tatsächlich alle verfügbaren Daten zu betrachten. Um diesen Herausforderungen erfolgreich zu begegnen, braucht es neue algorithmische Ideen. Das Schwerpunktprogramm soll dazu die Expertise aus verschiedenen Gebieten bündeln. Einerseits müssen aktuelle Hardwareentwicklungen und technologische Herausforderungen adäquat in bessere Berechnungsmodelle einfließen. Andererseits sollen sowohl allgemeine als auch anwendungsspezifische algorithmische Probleme, die sich aus der Größe der Daten ergeben, identifiziert und klassifiziert werden. Vor diesem Hintergrund möchten wir einen Baukasten verbesserter Algorithmen und Datenstrukturen für große Datenmengen entwickeln, bei dem es nicht nur um theoretische Resultate geht, sondern der volle Algorithm-Engineering-Zyklus durchlaufen werden soll. Konkrete algorithmische Herausforderungen beinhalten das Ausnutzen von Parallelität (Multicores, GPUs, Clouds) und Speicherhierarchien (Festplatten, Flashspeicher, Caches), der Umgang mit kontinuierlichen massiven Datenaktualisierungen, die Verarbeitung komprimierter und verschlüsselter Daten, Approximation und Online-Verarbeitung bei beschränkten Ressourcen oder die Reduktion des Energieverbrauchs durch algorithmische Maßnahmen. Was unsere Initiative von den meisten früheren Arbeiten unterscheidet, ist der Ansatz, nicht nur bestimmte isolierte Probleme anzupacken, sondern Verbundlösungen für gleich mehrere Aspekte zu suchen. Beispielsweise soll für eine konkrete Big-Data-Anwendung untersucht werden, wie durch die gemeinsame Ausnutzung von Parallelität, Speicherhierarchien, Besonderheiten der Daten und neuer algorithmischer Techniken eine bessere Gesamtperformanz erreicht werden kann. Von Anfang an wird durch Kooperationen mit Anwendungsfeldern (z.B. aus der Biologie oder Informationswissenschaft) sichergestellt, dass neben theoretischer Grundlagenforschung auch anwendungsrelevante Fragen zum Nutzen mehrerer Communities bearbeitet werden.
DFG-Verfahren
Schwerpunktprogramme
Internationaler Bezug
Schweiz
Projekte
- Abstraktionsunterstütztes Clustering in sozialen Online-Netzwerken und Interaktionsströmen (Antragstellerinnen / Antragsteller Brandes, Ulrik ; Wagner, Dorothea )
- Algorithmen zur Lösung zeitabhängiger Routing-Probleme mit exponentieller Ausgabegröße (Antragsteller Skutella, Martin )
- Algorithmische Fundierung des Genom-Assembly: Streaming und External-Memory-Techniken (Antragsteller Reusch, Ph.D., Thorsten ; Rosenstiel, Ph.D., Philip Caspar ; Srivastav, Anand )
- Big-Data-DynAmO: Dynamische, approximative, and online Methoden für große Datenmengen (Antragsteller Meyer, Ulrich )
- DisDaS: Verteilte Datenströme in dynamischen Umgebungen (Antragsteller Meyer auf der Heide, Friedhelm )
- Effiziente Semantische Suche auf Big Data (Antragstellerin Bast, Hannah )
- ENES: Energieeffizientes Scheduling (Antragstellerin Albers, Susanne )
- FINCA: Schnelle inexakte kombinatorische und algebraische Löser für große Netzwerke (Antragsteller Meyerhenke, Henning )
- GraBaDrug: Graph-basierte Methoden für das rationale Wirkstoffdesign (Antragstellerinnen / Antragsteller Koch, Oliver ; Mutzel, Petra )
- Kompetitive Exploration großer Netze (Antragsteller Klimm, Max )
- Koordinationsfonds (Antragsteller Meyer, Ulrich )
- MASS-TEXT: Textindizes für massive Datenmengen (Antragsteller Fischer, Johannes Christian )
- Phasenübergänge und Durchschnitts-Feld-Theorien für die effiziente Berechnung von erwarteten Eigenschaften des "Festgelegten Grad-Sequenz-Zufallsgraphenmodells" (Antragstellerin Zweig, Katharina A. )
- Scaling Up Generic Optimization (Antragsteller Giesen, Joachim )
- SecOBig: Sicherheitserhaltende Operationen für Big Data (Antragsteller Fischlin, Marc ; May, Alexander )
- Skalierbare Kryptographie (Antragsteller Kiltz, Eike )
Sprecher
Professor Dr.-Ing. Ulrich Meyer