Des outils puissants pour la visualisation et l'analyse des données Elasticsearch

L'objectif est de transformer les données en informations et les informations en perspicacité. ― Carly Fiorina

À propos de Kibana

Kibana est un logiciel de visualisation de données qui fournit une interface basée sur un navigateur pour explorer les données Elasticsearch et naviguer dans Elastic Stack - une collection de produits open source (Elasticsearch, Logstash, Beats et autres).

Alors que Logstash et Bits fournissent des données à Elasticsearch, Kibana ouvre la fenêtre dans Elastic Stack , vous permettant de suivre l' état de santé de votre cluster , d'effectuer des analyses de journaux et de séries chronologiques , de détecter les anomalies dans les données avec un apprentissage automatique non supervisé , de découvrir des relations à l'aide de graphiques et, plus important encore, extrayez des informations à partir des données Elasticsearch avec des visualisations qui peuvent être combinées dans un tableau de bord interactif personnalisé .

Aujourd'hui, j'aimerais vous montrer comment créer un superbe tableau de bord et un rapport tabulaire basé sur les données d'Elasticsearch.

Retroussez vos manches et commençons!

Où commencer

La page d' accueil est l'endroit où tout commence.

Ici, vous pouvez décider des actions à entreprendre ensuite. La fonctionnalité disponible peut être divisée en deux sections logiques:

  • Visualiser et explorer les données. Ici, vous pouvez créer un nouveau tableau de bord, une visualisation ou une présentation, créer un modèle d'apprentissage automatique, analyser les relations dans vos données à l'aide de graphiques , etc.
  • Gestion de l' Elastic Stack : configurez vos espaces, analysez les logs d'une application, configurez les paramètres de sécurité, etc.

Nous nous concentrerons sur le processus de création de visualisations et de leur ajout au tableau de bord.

Comment créer un tableau de bord dans Kibana

Laissez-moi vous donner une idée de la facilité avec laquelle il est possible de configurer un tableau de bord riche et de commencer à créer des rapports.

La première étape essentielle à franchir est d' importer vos données dans Kibana. Plusieurs options d'ajout de données sont à votre disposition - vous pouvez choisir celle qui vous convient le mieux:

À des fins de démonstration, j'ai sélectionné les exemples de données.

Pour concevoir vos premières visualisations de données et les combiner dans le tableau de bord, ouvrez la page Visualiser . Ici, vous pouvez créer, modifier et afficher les visualisations existantes.

Ce qui vous frappera immédiatement, c'est l'abondance de types de visualisation parmi lesquels vous pouvez choisir.

Après avoir sélectionné celui dont vous avez besoin, choisissez un modèle d'index comme source afin d'informer Kibana de votre index. Choisissons `kibana_sample_data_flights` et commençons à créer un histogramme horizontal.

Vous pouvez maintenant appliquer une agrégation de métrique pour l'axe Y et une agrégation de compartiment pour l'axe X. Voici une liste de toutes les agrégations disponibles pour les graphiques.

En option, vous pouvez personnaliser les couleurs de la visualisation.

Le filtrage est une autre fonctionnalité puissante d'Elasticsearch et de Kibana. Il fournit un moyen de visualiser uniquement un sous-ensemble sélectionné de documents.

Découvrez comment appliquer des filtres aux champs en fonction de conditions logiques:

Comme vous le voyez, Kibana fournit un moyen simple de filtrer les données via l'interface confortable. Parallèlement à cela, vous pouvez choisir comment filtrer les données - soit en utilisant le langage de requête Kibana (une syntaxe de requête simplifiée) ou Lucene .

Pour permettre aux utilisateurs finaux de filtrer les données de manière interactive, vous pouvez ajouter des widgets de contrôle - des éléments spéciaux du tableau de bord qui permettent de filtrer les données simplement en cliquant dessus.

Une autre fonctionnalité que je voudrais souligner est le filtrage avancé par dates et la possibilité de définir des intervalles de temps pour actualiser les données dans le tableau de bord.

La bonne chose est que les visualisations sont réutilisables . Après l'avoir créé, vous pouvez enregistrer votre résultat et l'ajouter au tableau de bord à tout moment, ainsi que le partager avec vos collègues s'ils ont accès à votre instance Kibana.

Après avoir organisé tous les éléments de visualisation sur une seule page, vous pouvez exporter le tableau de bord final au format PNG ou PDF . C'est ce qui rend les tableaux de bord portables: il est facile de les partager entre les services en un rien de temps.

Regardons un exemple de tableau de bord que vous pouvez créer:

À mon avis, les principales caractéristiques qui rendent chaque tableau de bord spécial sont l' interactivité et l' expressivité . Avec lui, vous pouvez communiquer efficacement les mesures commerciales.

Impression personnelle

Les visualisations dans Kibana exécutent idéalement les tâches pour lesquelles elles sont conçues. De plus, toutes les visualisations sont accrocheuses et vous pouvez les personnaliser en fonction de vos idées de conception. L'ensemble du processus de création d'un tableau de bord dans Kibana est censé être rapide et efficace - et cela est dû à l'interface conviviale et intuitive de Kibana.

D'un autre côté, j'ai senti que certaines fonctionnalités manquaient ici.

Lorsque vous travaillez avec des données, l'une des techniques d'exploration efficaces que vous pouvez appliquer consiste à découper et découper vos données en dés avant de connaître les aspects des données auxquels il faut prêter attention. À mon avis, le widget de table de données n'est pas la meilleure option - il présente les données dans un tableau plat qui ne prend pas en charge une vue multidimensionnelle des données. Mais jouer avec les données doit se faire de manière interactive et rapide.

Et c'est là qu'un contrôle de tableau croisé dynamique entre en jeu. Après avoir recherché les solutions disponibles, mon choix s'est porté sur un plugin open-source appelé Flexmonster. Il gère la connexion à l' index Elasticsearch et permet de créer des rapports tabulaires basés sur les données de ses documents. Parallèlement à cela, l'intégration à Kibana est fluide - la seule chose requise pour commencer est d'installer un plugin en exécutant une ligne de code dans la ligne de commande. Vous pouvez trouver plus de détails sur GitHub. Avant de l'utiliser, je vous recommande de vous assurer que vos instances Kibana et Elasticsearch sont de la même version.

Une fois que vous avez configuré un outil, vous êtes prêt à utiliser toutes les fonctionnalités disponibles pour rechercher des informations détaillées.

Fonctionnalités d'analyse et de reporting

Flexmonster Pivot offre un accès rapide aux fonctionnalités de reporting les plus essentielles. Sa barre d'outils permet de se connecter à la source de données, de charger des rapports précédemment enregistrés, d'exporter des rapports au format PDF , Excel , HTML , CSV et images. De plus, j'ai réussi à basculer rapidement entre deux modes différents - la grille et les graphiques. Les options de mise en forme des cellules incluent la mise en forme conditionnelle et numérique . La liste des champs mérite une attention particulière - ici, vous pouvez sélectionner des hiérarchies vers des lignes, des colonnes, des mesures et des filtres de rapport. Il existe également le champ de saisie de recherche qui est utile si l'index contient une longue liste de champs.

L'une des fonctionnalités que j'aimerais souligner est la possibilité de faire glisser et déposer les hiérarchies directement sur la grille. Ainsi, vous pouvez modifier complètement la tranche via l'interface utilisateur.

La fonction d'exploration en amont est une autre solution : elle permet de savoir quels enregistrements se trouvent derrière les valeurs agrégées.

Travailler avec un tableau croisé dynamique

Laissez-moi vous montrer comment créer un rapport basé sur les données Elasticsearch:

En testant l'outil, j'ai réussi à agréger et à filtrer les données, à trier les valeurs sur la grilleet enregistrez les résultats pour continuer à travailler avec le rapport plus tard. De plus, l'exportation fonctionne bien - il est facile de partager les rapports avec les coéquipiers.

Rassembler tout cela

Aujourd'hui, j'ai couvert les avantages de Kibana pour la visualisation des données Elasticsearch. Vous avez été en mesure de vous assurer que les tableaux de bord peuvent renforcer le processus d'analyse.

À mon avis, un tableau croisé dynamique est un bon outil qui vous permet de profiter de l'exploration des données avant de trouver les réponses à des questions complexes.

Flexmonster complète bien les fonctionnalités disponibles de Kibana - les rapports que vous créez avec lui sont perspicaces, personnalisables et peuvent être facilement partagés entre les services.

En travaillant ensemble, les deux outils ont tout le potentiel pour booster votre narration.

Je vous encourage à essayer une telle combinaison.

Et après?

  • Reporting avec Kibana
  • Créer une visualisation dans Kibana
  • Tableau croisé dynamique pour Elasticsearch
  • Comment ajouter un tableau croisé dynamique à Kibana