Seminar Apache Flume

Grundlagen von Apache Flume

• Architektur von Apache Flume
• Datenfluss-Modus
• Ausfallsicherheit
• Wiederherstellbarkeit

Einrichten von Apache Flume

• Einrichten und Konfigurieren eines Agenten
• Starten eines Agenten
• Umgebungsvariablen verwenden
• Protokollierung von Rohdatenströmen
• Installieren von Plugins von Drittanbietern

Ingesting von Daten aus externen Ressourcen

• Avro-RPC-Mechanismus verwenden
• Ausführen von Befehlen
• Untersuchen von Netzwerkströmen

Einstellen des Multi-Agenten-Flusses

Konsolidieren von Ereignissen in einem einzigen Kanal

Definieren eines Flussmultiplexers

Durchfluss-Konfiguration

• Definieren des Flusses
• Einzelne Komponenten einrichten
• Hinzufügen mehrerer Flows zu einem Agent
• Einrichten eines mehrstufigen Flusses
• Auffächern des Flows von einer einzelnen Quelle auf mehrere Channels

Implementieren einer Flume-Quelle

• Avro-Quelle verwenden
• Verwenden der Thrift-Quelle
• Exec-Quelle verwenden
• JMS-Quelle verwenden
• Spooling-Verzeichnis verwenden Quelle
• Taildir verwenden Quelle
• Twitter 1% Firehose verwenden Quelle
• Kafka-Quelle verwenden
• Verwenden von NetCat TCP Quelle
• Verwenden von NetCat UDP Quelle
• Sequence Generator verwenden Quelle
• Verwenden von Syslog TCP Quelle
• Multiport-Syslog-TCP-Quelle verwenden
• Syslog UDP-Quelle verwenden
• HTTP-Quelle verwenden
• Stress-Quelle verwenden
• Verwendung von Legacy-Quellen
• Benutzerdefinierte Quelle verwenden
• Scribe-Quelle verwenden

Implementieren einer Flume-Senke

• HDFS-Senke verwenden
• Hive-Senke verwenden
• Logger-Senke verwenden
• Avro-Senke verwenden
• Verwendung von Thrift Sink
• IRC-Senke verwenden
• File Roll Sink verwenden
• Null Sink verwenden
• HBaseSinks verwenden
• MorphlineSolrSink verwenden
• ElasticSearchSink verwenden
• Kite Dataset Sink verwenden
• Kafka-Senke verwenden
• HTTP-Sink verwenden
• Benutzerdefinierte Senke verwenden

Implementieren einer Flume-Kanalschnittstelle

• Speicher-Kanal verwenden
• JDBC-Kanal verwenden
• Kafka-Kanal verwenden
• Datei-Kanal verwenden
• Spillable Memory-Kanal verwenden
• Pseudo-Transaktions-Channel verwenden
• Einen benutzerdefinierten Channel verwenden

Flume-Channel-Selektoren verwenden

• Verwenden des Selektors für Replikations-Channel
• Verwenden des Multiplexing-Channel-Selektors
• Verwendung eines benutzerdefinierten Channel-Selektors

Implementieren von Flume-Sink-Prozessoren

• Verwenden des Defauult-Sink-Prozessors
• Verwendung des Failover-Sink-Prozessors
• Verwendung des Lastausgleichs-Sink-Prozessors
• Verwenden eines benutzerdefinierten Sink-Prozessors

Ereignis-Serialisierer verwenden

Verwenden von Flume-Abfängern

• Verwenden des Timestamp-Interceptors
• Verwenden des Host-Interceptors
• Verwenden des Static Interceptors
• Verwenden des Remove Header Interceptors
• Verwenden des UUID-Abfängers
• Verwenden des Morphline-Abfängers
• Suchen und Ersetzen Abfangjäger verwenden
• Verwenden des Regex-Filter-Interceptors
• Verwenden des Regex-Extraktions-Interceptors

Verstehen der Flume-Eigenschaften

Sicherheitskonfigurationen im Apache Flume

Überwachung und Berichterstellung in Apache Flume

Verwendung von Tools im Apache Flume

• Verwenden des Datei-Channel-Integritätswerkzeugs
• Verwendung des Event Validator Tools

Wir schulen die jeweils letzte, verfügbare Version der Software in unseren Seminaren.