Qu’est-ce que ELK ?

Temps de lecture : 5 mn

ELK est un outil d’analyse de logs composé de 3 logiciels open source, développés par la société Elastic : Elasticsearch, Logstach et Kibana.

Cet analyseur de logs ambitionne de répondre à des interrogations métier tels que :

• Quelle est l'efficacité de la dernière campagne publicitaire ?
• Combien d’utilisateurs ont réalisé telle transaction cette semaine ?
• Pourquoi la performance de la database est-elle dégradée depuis 2 jours ?
• Quel est le meilleur moment pour effectuer la maintenance du système ?
• etc.

Les fichiers log contiennent des informations essentielles pour répondre à ces questions. Cependant, parvenir à les analyser est un exercice compliqué et fastidieux qui équivaut bien souvent à chercher une aiguille dans une botte de foin !

ELK veut faciliter et accélérer la recherche et l’analyse de grands ensembles de données.

Elasticsearch va permettre d’extraire les données, Logstash normalise toutes sortes de données temporelles et Kibana apporte un insight.

Bien qu’Elasticsearch, Logstash et Kibana aient été conçus pour fonctionner ensemble, chacun d’entre eux est un outil distinct.

ElasticSearch est un moteur de recherche et d’analyse qui utilise le format JSON. Son objectif est d’extraire efficacement les données à partir de sources de données structurées ou non structurées en temps réel. Elasticsearch utilise Lucene pour fournir les capacités de recherche en texte intégral les plus puissantes disponibles dans n'importe quel produit open-source.

Logstash est un outil pour la saisie, le traitement et la sortie des données logs. Sa fonction est d’analyser, filtrer et découper les logs pour les transformer en documents formatés à destination d’Elasticsearch.

Kibana est un tableau de bord interactif et paramétrable qui permet de visualiser les données stockées dans ElasticSearch. Kibana apporte un insight sur les tendances et les modèles sous toutes formes de diagrammes et courbes. Ce dashboard peut être partagé et associé à des visualisations de données pour une communication rapide et intelligente.

Quelle alternative à ELK ?

L’implémentation d’ELK consistue un véritable projet à part entière dont les délais s’étalent de manière générale sur plusieurs mois ou plusieurs années.

La mise en place d’ELK impose également une part conséquente de développement interne. Ce type de projet impose le déploiement d’une infrastructure On Premise d’envergure et pose la question de l’évolutivité des capacités machine et stockage. Enfin la présence d’une équipe de Data Scientists semble indispensable puisque la solution n’intègre nativement aucun algorithme de Machine Learning.

A contrario, des outils SaaS hébergés dans le Cloud (Cloud Public, Cloud privé, Cloud Hybride) existent. Rapides à déployer, ces solutions peuvent s’installer en seulement quelques heures. Les mises à jour sont automatiques et la montée en charge peut être évolutive.

Oracle Log Analytics collecte, agrège, indexe, corrèle et analyse l’ensemble des logs de manière efficace et intelligente grâce à ses algorithmes de Machine Learning. La solution propose des tableaux de bord prédéfinis mais aussi personnalisables. Grâce à la visualisation de la topologie de l’application, les fichiers logs pertinents peuvent être localisés précisément. Oracle Log Analytics exploite des algorithmes de Machine Learning afin d’identifier rapidement les entrées «intéressantes» des fichiers Logs.Vous pouvez identifiez en un clic les erreurs, les liens et les tendances parmi des milliers de logs et ainsi diagnostiquer efficacement les incidents grâce à un rapide troubleshooting. Analyser les logs devient alors une tâche efficace et qui permet de trouver rapidement la racine du problème.

Contrairement à ELK, Oracle Log Analytics intègre nativement des algorithmes qui permettent une analyse rapide, efficace et synthétique. Intégrer des algorithmes de Machine Learning dans la solution permet de retrouver rapidement l’aiguille perdue dans la botte de foin.

Pourquoi les algorithmes de Machine Learning sont-ils nécessaires à l’analyse des logs ?

Le Machine Learning ou l’Apprentissage Automatique est l’un des champs d’application de l’Intelligence Artificielle. A partir de données collectées, les algorithmes peuvent découvrir des anomalies, des divergences, des corrélations, des tendances et établir des prédictions. La force du Machine Learning consiste à réaliser de façon rapide et précise des analyses difficilement réalisables par l’être humain.

- Analyser les logs est un travail semblable à chercher une aiguille perdue dans une botte de foin. Sans l’exploitation du Machine Learning, les équipes devraient réaliser un travail colossal durant un temps particulièrement long. Avec la solution Oracle Log Analytics qui intègre le Machine Learning à sa solution, analyser les logs devient une tâche rapide et efficace.

- Oracle Log Analytics permet de regrouper en un clic plusieurs millions de lignes de logs insignifiantes regroupées en quelques lignes pertinentes.