Code Competition 04/2016: Big Data Champion

Daten mit Splunk auswerten und gewinnen!

{ABOUT}

Die aktuelle Code Competition wird in Zusammenarbeit mit unserem Partner doIT Solutions GmbH realisiert. Das doIT-Team hat sich für Dich eine besonders spannende und fordernde Aufgabenstellung überlegt. Wir freuen uns auf Deine Abgabe! In diesem Sinne: do IT!

{INPUT}

In der heutigen vernetzten Welt fallen permanent Unmengen an Maschinendaten an, die noch zu einem großen Teil völlig ungenutzt sind. Weshalb werden diese Daten heutzutage noch so wenig genutzt?
Zum einen liegt es an der schieren Menge. Programme und Sensoren schreiben permanent Logs, in denen sie ihren Zustand festhalten. Zum anderen sind die geschriebenen Informationen in dem Log oft nur kurze Zeit gültig, woraus das Erfordernis entsteht, die Daten möglichst schnell auszuwerten, um Entscheidungen rechtzeitig treffen zu können. Außerdem gibt es eine große Anzahl an unterschiedlichen Formaten, in denen Loginformationen abgespeichert werden und von Zeit zu Zeit ändert sich das Format, in denen die Daten repräsentiert werden.
Daher liegt die Kunst diese noch ungenutzten Daten nutzbar zu machen darin, die Daten aus den unterschiedlichsten Quellen zusammenzuführen, die relevanten Informationen zu extrahieren und miteinander zu korrelieren. Teilweise genügt es, Daten aus nur einer Quelle zu filtern und zu aggregieren, um eine Information zu erzeugen. Oft ist es jedoch notwendig, die Daten aus verschiedenen Quellen zu korrelieren, um aus den ansonsten nutzlosen Daten Informationen zu gewinnen.

Das Tool unserer Wahl hierfür heißt Splunk>. Hierbei handelt es sich um ein leistungsstarkes Werkzeug, das es einem ermöglicht Log- und Event-Daten zentral abzuspeichern und durchsuchbar zu machen. Mit einer Suchsprache, die ähnlich einfach wie die von herkömmlichen Suchmaschinen aber zugleich so leistungsstark wie SQL ist, kann auch ein neuer Anwender schnell Informationen finden und visualisieren. Splunk verfügt über viele Reporting-Funktionen und mit wenigen Handgriffen lassen sich Dashboards erstellen, auf denen sich die verschiedensten interaktiven Grafiken oder Tabellen einbinden lassen.

{REQUIREMENTS}

Bei dieser Code Challenge ist deine Kreativität gefragt!
Unter “Mögliche Datenquellen” findest Du eine Liste von APIs, die Du nutzen sollst um daraus interessante und nützliche Informationen zu gewinnen. Wir erwarten von Dir, dass Du wenigstens ein Dashboard erstellst, das aus wenigstens zwei unterschiedlichen von uns bereitgestellten Datenquellen die Daten aufbereitet und visualisiert. Wie Du die Daten visualisierst ist vollständig Dir selbst überlassen und auch wenn Du noch zusätzliche Datenquellen benötigst, darfst Du diese in Deinen Visualisierungen gerne nutzen, solange die Daten frei verfügbar sind.
Solltest Du die Daten mit einem Skript aufarbeiten wollen, kannst Du das gerne in einer verbreiteten Programmiersprache Deiner Wahl machen (bitte Skript mit einreichen). Du musst aber keine kompletten Programme in C, Java oder dergleichen schreiben!
Deine Dashboards erstellst Du in einer eigenen App (nutze dafür die kostenlose Splunk Enterprise Testversion), die Du dann an unser Expertenteam einsendest. Wir werden die Dashboards dann bewerten und denjenigen küren, der auf die kreativste Art und Weise die Daten aufbereitet und ansprechend visualisiert hat.

{REVIEW}

Folgende Punkte werden bewertet:

• Informationsgehalt/Nutzwert Deines Dashboards
• Sinnvolle Extrahierung der Informationen aus den Daten
• Technische Umsetzung
• “Coolness” der Darstellung 😉
• Tip: Überrasche uns mit interessanten und verrückten Erkenntnissen und Korrelationen aus den Daten 😉