Resource-Efficient Fault and Intrusion Tolerance
Final Report Abstract
Zentrale Zielsetzung des Projekts „Betriebsunterstützung für ressourceneffiziente, einbruchstolerante Systeme (REFIT)“ war die Erforschung neuer Ansätze und Techniken, die es byzantinisch fehlertoleranten (BFT) Systemen erlauben Ressourcen zu sparen bzw. die ihnen zur Verfügung stehenden Ressourcen effizienter und effektiver als bisher zu nutzen. Das REFIT-Projekt war eine Kooperation der Verteilte-Systeme-Gruppen der Friedrich-Alexander-Universitat Erlangen-Nürnberg (FAU) und der TU Braunschweig (TUB). Auf diese Weise konnten vor allem auf den folgenden drei Gebieten signifikante Fortschritte erzielt werden: Mechanismen zur Steigerung der Ressourceneffizienz. Ein im Rahmen von REFIT entwickelte Herangehensweise ermöglicht es BFT-Systemen je nach Bedarf zwischen zwei Betriebsmodi zu wechseln: Befindet sich ein System im Normalmodus, so reduziert es seinen Ressourcenverbrauch auf ein Maß, das ausschließlich Fortschritt garantiert, solange alle aktiven Komponenten und das Netzwerk zwischen ihnen ordnungsgemäß funktionieren. Ist dies nicht mehr der Fall, wechselt das BFT-System in einen Fehlerbehandlungsmodus und belegt zusätzliche Ressourcen, um die aufgetretenen Probleme zu tolerieren. Basierend auf dieser Grundidee entstanden in REFIT Protokolle, die bereits vorhandene Ressourcen für Performanzsteigerungen nutzen bzw. BFT-Systeme, die durch ihre geringere Größe in der Lage sind Ressourcen einzuparen. Geoadaptive BFT-Systeme. Georeplizierte BFT-Systeme bieten aufgrund ihrer Verteilung über mehrere Standorte einen hohen Grad an Robustheit, ihre Realisierung stellt allerdings aufgrund erhöhter Latenzen und den sich häufig andernden Umgebungscharakteristika oftmals eine große Herausforderung dar. Eine im REFIT-Projekt durchgeführte Studie zeigte, dass eine Standardtechnik zur Antwortzeitminimierung in solchen Systemen, das Rotieren der Anführerrolle unter den beteiligten Replikaten, weit weniger wirkungsvoll ist als bis dato allgemein angenommen. Ausgehend von dieser Erkenntnis wurde eine neue Architektur fur Cloud-basierte BFT-Systeme entwickelt, bei der im Unterschied zu früheren Herangehensweisen keine Ausführung komplexer Protokolle über Weitverkehrsnetzwerke mehr erforderlich ist. Neben niedrigen Antwortzeiten ermöglicht die Systemarchitektur außerdem eine effiziente Erstellung von Sicherungspunkten sowie eine einfache Einbindung zusätzlicher Replikatstandorte. Beides ist essentiell für die Fähigkeit eines georeplizierten BFT-Systems, sich dynamisch an variierende Zugriffsmuster anzupassen. Plattformgewahre Replikatarchitekturen. Traditionelle Ansätze zur Implementierung von BFT-Replikaten setzen auf eine Struktur, die die vollständige Auslastung einer größeren Anzahl von Rechenkernen auf einem Server de facto verhindert. Mit Hilfe der in REFIT entwickelten Technik der konsensusorientierten Parallelisierung ist es dagegen nun möglich, die auf Mehrkernrechnern zur Verfügung stehenden Rechenressourcen effektiv zur Ausführung von BFT-Protokollen einzusetzen. Auf diese Weise gelang es beispielsweise erstmals die Schallmauer von 1.000.000 geeinigten Anfragen pro Sekunde zu durchbrechen; der vorherige Höchstwert fur den Durchsatz von BFT-Systemen betrug ca. 83.000 Anfragen pro Sekunde. Da BFT-Systeme in der Praxis üblicherweise nicht rund um die Uhr Spitzenlasten bewältigen mussen, beinhaltet die in REFIT konzipierte Replikatarchitektur zusätzlich Mechanismen zur Einsparung von Energie in Phasen mit geringerer Auslastung. Diese stützen sich unter anderem auf Features moderner Prozessoren und erlauben es einem Replikat, den eigenen Stromverbrauch bedarfsabhängig und zielgerichtet zu steuern. Experimente zeigten, dass der in REFIT hierfür realisierte Ansatz keine Leistungseinbußen nach sich zieht und dabei höhere Energieersparnisse ermöglicht als bisher verfügbare Techniken.
Publications
- “State Transfer for Hypervisor-Based Proactive Recovery of Heterogeneous Replicated Services”. In: Proceedings of the 5th “Sicherheit, Schutz und Zuverlässigkeit” Conference (SICHERHEIT ’10). 2010, Seiten 61–72
Tobias Distler, Rüdiger Kapitza und Hans P. Reiser
- “Increasing Performance in Byzantine Fault-Tolerant Systems with On-Demand Replica Consistency”. In: Proceedings of the 6th European Conference on Computer Systems (EuroSys ’11). 2011, Seiten 91–105
Tobias Distler und Rüdiger Kapitza
(See online at https://doi.org/10.1145/1966445.1966455) - “SPARE: Replicas on Hold”. In: Proceedings of the 18th Network and Distributed System Security Symposium (NDSS ’11). 2011, Seiten 407–420
Tobias Distler, Rüdiger Kapitza, Ivan Popov, Hans P. Reiser und Wolfgang Schröder-Preikschat
(See online at https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.457.7566) - “CheapBFT: Resource-efficient Byzantine Fault Tolerance”. In: Proceedings of the 7th European Conference on Computer Systems (Euro- Sys ’12). 2012, Seiten 295–308
Rüdiger Kapitza, Johannes Behl, Christian Cachin, Tobias Distler, Simon Kuhnle, Seyed Vahid Mohammadi, Wolfgang Schröder-Preikschat und Klaus Stengel
(See online at https://doi.org/10.1145/2168836.2168866) - “Consensus-Oriented Parallelization: How to Earn Your First Million”. In: Proceedings of the 16th Middleware Conference (Middleware ’15). 2015, Seiten 173–184
Johannes Behl, Tobias Distler und Rüdiger Kapitza
(See online at https://doi.org/10.1145/2814576.2814800) - “Resource-efficient Byzantine Fault Tolerance”. ¨ In: IEEE Transactions on Computers 65.9 (2016), Seiten 2807–2819
Tobias Distler, Christian Cachin und Rüdiger Kapitza
(See online at https://doi.org/10.1109/TC.2015.2495213) - “SAREK: Optimistic Parallel Ordering in Byzantine Fault Tolerance”. In: Proceedings of the 12th European Dependable Computing Conference (EDCC ’16). 2016, Seiten 77–88
Bijun Li, Wenbo Xu, Muhammad Zeeshan Abid, Tobias Distler und Rüdiger Kapitza
(See online at https://doi.org/10.1109/EDCC.2016.36) - “Agora: A Dependable High-Performance Coordination Service for Multi-Cores”. In: Proceedings of the 47th International Conference on Dependable Systems and Networks (DSN ’17). 2017, Seiten 333–344
Rainer Schiekofer, Johannes Behl und Tobias Distler
(See online at https://doi.org/10.1109/DSN.2017.23) - “Hybrids on Steroids: SGX-Based High Performance BFT”. In: Proceedings of the 12th European Conference on Computer Systems (EuroSys ’17). 2017, Seiten 222–237
Johannes Behl, Tobias Distler und Rüdiger Kapitza
(See online at https://doi.org/10.1145/3064176.3064213) - “Scalable Byzantine Fault Tolerance on Heterogeneous Servers”. In: Proceedings of the 13th European Dependable Computing Conference (EDCC ’17). 2017, Seiten 34–41
Michael Eischer und Tobias Distler
(See online at https://doi.org/10.1109/EDCC.2017.15) - “Empya: Saving Energy in the Face of Varying Workloads”. In: Proc. of the 6th Int’l Conf. on Cloud Engineering. 2018, Seiten 134–140
Christopher Eibel, Thao-Nguyen Do, Robert Meißner und Tobias Distler
(See online at https://doi.org/10.1109/IC2E.2018.00036) - “Strome: Energy-Aware Data-Stream Processing”. In: Proceedings of the 18th International Conference on Distributed Applications and Interoperable Systems (DAIS ’18). 2018, Seiten 40–57
Christopher Eibel, Christian Gulden, Wolfgang Schröder-Preikschat und Tobias Distler
(See online at https://doi.org/10.1007/978-3-319-93767-0_4) - “Towards Low-Latency Byzantine Agreement Protocols Using RDMA”. In: Proceedings of the 1st Workshop on Byzantine Consensus and Resilient Blockchains (BCRB ’18). 2018, Seiten 146–151
Signe Rusch, Ines Messadi und Rüdiger Kapitza
(See online at https://doi.org/10.1109/DSN-W.2018.00054) - “Troxy: Transparent Access to Byzantine Fault-Tolerant Systems”. In: Proceedings of the 48th International Conference on Dependable Systems and Networks (DSN ’18). 2018, Seiten 59–70
Bijun Li, Nico Weichbrodt, Johannes Behl, Pierre-Louis Aublin, Tobias Distler und Rüdiger Kapitza
(See online at https://doi.org/10.1109/DSN.2018.00019) - “Bloxy: Providing Transparent and Generic BFT-Based Ordering Services for Blockchains”. In: Proceedings of the 38th International Symposium on Reliable Distributed Systems (SRDS ’19). 2019, Seiten 305–314
Signe Rusch, Kai Bleeke und Rüdiger Kapitza
(See online at https://doi.org/10.1109/SRDS47363.2019.00043) - “Deterministic Fuzzy Checkpoints”. In: Proceedings of the 38th International Symposium on Reliable Distributed Systems (SRDS ’19). 2019, Seiten 153–162
Michael Eischer, Markus Büttner und Tobias Distler
(See online at https://doi.org/10.1109/SRDS47363.2019.00026) - “Scalable Byzantine Fault-tolerant State-Machine Replication on Heterogeneous Servers”. In: Computing 101.2 (2019), Seiten 97–118
Michael Eischer und Tobias Distler
(See online at https://doi.org/10.1007/s00607-018-0652-3) - “Low-Latency Geo-Replicated State Machines with Guaranteed Writes”. In: Proceedings of the 7th Workshop on Principles and Practice of Consistency for Distributed Data (PaPoC ’20). 2020
Michael Eischer, Benedikt Straßner und Tobias Distler
(See online at https://doi.org/10.1145/3380787.3393686)
