Archives du mot-clé big data

Pentaho v7 « Une nouvelle route »

A l’occasion de Pentaho v7 et comme à l’accoutumé, je souhaite partager avec vous au delà des nouvelles fonctionnalités ma vision de cette nouvelle route pour Hitachi-Pentaho.

En effet lors de notre rachat par Hitachi, nombre d’entre vous ont eu des doutes sur l’avenir communautaire de Pentaho. Pedro Alves qui est au « board » de Pentaho et qui s’occupe de la défense des intérêts de la communauté ne peut pas être mieux placé pour cela. Et il a joué un rôle majeur sur cette nouvelle version.
Dans le même temps c’est un nouveau virage pour Pentaho. La version v7 propose essentiellement des nouvelles fonctionnalités disponibles en version Enterprise seulement.
= Une organisation qui innove

La plus importante est basé sur l’analyse graphique (et donc pas seulement en mode tabulaire) des données à TOUTES les étapes de PDI (ETL de Pentaho). Cette nouvelle fonction majeure est classée « Enterprise » car elle n’intercède en rien le fait de transformer une donnée avec PDI mais bien qu’elle permet de nouveau processus au sein des entreprises. Il s’agit d’optimiser le « Time To Market » en donnant aux préparateurs de données tous les moyens d’analyser et de modéliser (au niveau logique) les données avant même de les mettre à disposition du business. etlvizDans l’ETL, une visualisation sous forme d’histogramme permet par exemple de plus facilement se rendre compte de l’absence de données sur une certaine période de temps par exemple. La vision tabulaire proposée par la concurrence ne permet que de vérifier qu’une donnée à bien été transformée comme vous le souhaitiez. Si le préparateur souhaite faire valider son analyse, il lui est possible de la publier sur la console utilisateur afin d’obtenir la validation d’un acteur métier.
= Un ETL tourné vers les métiers

Avec Pentaho v7 on poursuit notre démarche permettant de mieux s’organiser face à notre métier qui évolue rapidement. Comment pourrions-nous accompagner tous les nouveaux cas d’usage Big Data en conservant les mêmes relations entre l’IT et les métiers?

De plus sachez que prochainement vous pourrez utiliser notre ETL en mode client Web!  Cela permettra certainement de définir des nouveaux groupes d’utilisateurs métiers ayant par exemple une liste prédéfinie de connecteur et leur permettant de développer tous les processus « basique ».
= Un ETL accessible aux métiers

etlbusiness
Notre groupe Hitachi intègre également les solutions Pentaho dans son offre Lumada destinée aux industriels. Aussi on discutera de plus en plus facilement avec les machines.

Pentaho v7 est donc la poursuite de nos innovations mais également j’en suis persuadé une orientation forte vers une nouvelle route Hitachi-Pentaho pour accompagner nos mutations technologiques.
Pentaho v7 est déjà une plateforme analytique complète intégrant les fonctions:
– Ingestion/Collecte (nombreux connecteurs et fonction Metadata Injection)
– Transformation/Enrichissement prédictif (Weka, R, Python, Scala)
– Modélisation logique/Sécurité (y compris avec Hadoop)
– Publication vers les métiers (Datamart As A Service, Data As A Service)
– Console utilisateur/Analyse embarquée dans vos applications (API, OEM, Multi-tenant)
= Une plateforme analytique complète

pipeline

Mais comme vous l’avez compris, au delà de vous fournir les fonctions que vous attendez, Pentaho v7 est une plateforme d’avenir qui tout en restant ouverte et modulable vous accompagnera demain vers les solutions analytique que ni vous ni moi ne connaissons encore.

Cette nouvelle route est la démonstration d’une stratégie analytique pour vous aider à construire vos propres stratégies.

DATA LAKE IS NOT ONLY SQL

Read it in English

Pour les plus de 40 ans 😉 Oracle a toujours été la référence du stockage que ce soit pour le transactionnel ou l’analytique.

Depuis la mouvance Big Data et après sa plus grande compréhension, de nombreux projets se lancent enfin concrètement et les marches ne sont pas faciles à franchir. Je veux partager avec vous un constat que je considère comme une problématique assez fréquente.

datalakeComme depuis toujours on souhaite avoir des performances pour que toutes requêtes prennent vie en quelques millisecondes. Aujourd’hui cette offre de performance existe dans l’écosystème Big Data mais revêt 2 pivots essentiels en terme de choix, Hadoop et NoSql.

Pour moi le premier est un cluster de traitement de la donnée et le file système idéal qui remplace entre autres nos anciennes staging area. Aujourd’hui ce stockage brut massif se dénomme Data Lake lorsqu’on ne l’applique plus exclusivement aux données destinées à être traitées par votre Datawarehouse. Le Data Lake a vraiment cet objectif d’être un espace de stockage universel bien au-delà du périmètre des responsables décisionnels. C’est un espace centralisé ou nativement le hardware permet déjà de retrouver un grand nombre d’informations par les seules metadata initiales stockées au moment de leur ingestion.
De plus son mode cluster en mode distribué, comme d’autres, est un générateur de puissance de traitement sans fin au regard des moyens d’infrastructure que vous lui allouez.

NoSql offre dans le même temps des modes de modélisation des données très souple et évolutif tout en conservant d’excellente performance en terme de requête car le maître mot reste « base de données ». Mais quelque soit la souplesse de ces modèles dont le plus en vogue est la structure Json, cela reste un concept de formatage des datas ayant donc son propre mode d’ingestion. Les offres disponibles savent elles aussi rendre la gestion de grands volumes sans limite en mode distribué.

Au temps de l’IoT cette conceptualisation est moins présente car l’urgence est de collecter et stocker pour rendre disponible à tout moment si besoin. Dans ce domaine Hadoop poursuit son règne. Cela n’interdit pas d’alimenter des processus temps réels avec des orchestration de Apache Kafka qu’il supporte. Au delà vous pourrez choisir de traiter la data en mode stream ou batch avec Spark ou MapReduce.

Aussi voir des projets aujourd’hui se lancer exclusivement sur un concept NoSql revient à mon sens à s’interdire de futur projet analytique. Si ces solutions répondent aux objectifs d’un projet c’est parfait et c’est leur objectif. Vous pouvez ainsi économiser sur toutes les évolutions que vous souhaitez apporter à un outil transactionnel ou de reporting dédié. Si vous souhaitez ajouter une information, ou même démultiplier une information existante en plusieurs attributs, NoSql vous aidera largement a réaliser cela quasi instantanément. Mais à mon sens, NoSql ne peut pas être confondu avec une architecture Data Lake.

Ces Big questions très familières au projet Big Data, ne doivent pas cacher qu’aujourd’hui on travaille sur le repositionnement de la donnée. On a commencé par faire de l’analyse sur des projets prioritaires et aujourd’hui on est en mesure de définir des architectures « globales » en terme d’analytique facilitant le management « driver » par la data. La richesse de votre analyse de demain naîtra du croisement de multiples sources et si vos premiers choix sont trop réducteurs, vous serez moins réactif.

A l’heure où dans votre espace digital privé vous pouvez retrouver toutes informations textes, images, musiques, …etc… d’un simple clic, nos entreprises ne peuvent plus se contenter de définir la liste des « domaines » réservés à l’analyse. Certes la confidentialité doit toujours être gérée (et c’est le cas) mais les défis sont de pouvoir rapidement écouter les flux manipulés par l’entreprise pour qu’à n’importe quelle étape on puisse retrouver et analyser des données. Au rythme toujours incessant des nouveautés dans le Big Data les choix initiaux ne sont pas simples mais néanmoins pas neutres.

 

 

 

 

Pentaho 2015

Au delà de cette invitation au prochain Pentaho World ce mois d’octobre 2015 à Orlando, une envie de vous informer de ce que je considère comme de bonnes nouvelles.

Comme vous pouvez le constater, Pentaho se focalise sur l’analyse des Big Data et de l’analyse embarquée. Ces prochains mois, à travers notre version 5.4 et notre majeure de l’année la v6.0 de cet automne , vous découvrirez une nouvelle génération de concepts.

Comme évoqué sur de nombreux blogs, le Big Data n’est vraiment plus réservé qu’aux grandes entreprises. Très souvent elles transforment cela en un projet d’infrastructure alors que comme tout l’IT l’important est le temps gagné et la simplicité. Oui j’ai bien dit la simplicité!

Aujourd’hui vous prenez du temps à modéliser, et je ne vous dirais pas que ce n’est pas important, mais désormais vous pouvez modéliser autant de fois que vous le souhaitez. Une erreur détectée après quelques semaines? Rien de grave, avec les solutions NoSql, enrichissez votre modèle au rythme de vos besoins. Avec Hadoop régénérer vos outputs à votre envie. Ne vous relancez pas dans un cycle long d’interface de rechargement!

Cet ODS que vous ne respectiez pas toujours est désormais natif à travers les solutions Big Data qui vous offre un Data Lake quasi sans limite, permanent et auto sécurisé.

Alors là oui vous travaillerez main dans la main avec votre administrateur Hadoop de l’équipe Infra pour le convaincre d’ajouter des Nodes. En fait il aura déjà anticipé cette action sans avoir à se préoccuper des projets impactés.

Pentaho vous permet d’utiliser tous ces outils simplement à travers le plus que génial Pentaho Data Integration. Vous le découvrirez bientôt encore plus joli! et encore plus simple à Clusteriser pour dispatcher vos traitements sur différents serveurs ou paralléliser une action massive.Spoon2015

Alors vous serez en mesure avec Analyzer de proposer une interface à vos analystes. Vous pourrez customiser votre console comme autant d’applications souhaitées.
Why not un projet = une console… mais chacun partageant les mêmes Metadata sécurisées si vous le souhaitez.
Bien entendu nos API de plus en plus riches, vous permettent également de positionner vos meilleures analyses directement dans l’application métier de vos utilisateurs facilitant la conduite du changement.

Car changement oui il en a un. Vous le percevez tous dans votre vie quotidienne et l’AppleWatch, que je ne n’adore pas, utilise un concept qui lui a de beaux lendemains. C’est ce que l’on appelle l’internet des objets. Une nouvelle étape qui comme toutes celles que nous vivons en ce moment va se déployer comme une traînée de poudre. C’est pourquoi Hitachi Data System est un excellent choix pour nous. L’infrastructure et le logiciel d’analyse de données. Ce mix permettra à Pentaho de bénéficier d’encore plus de moyens sans renier son ADN open-source.

Car Oui, vu que la liste des invités au jeu de l’analyse de données s’élargie (tous les constructeurs d’objets!) il n’a jamais été aussi important de partager au delà des standards des objets ouverts facilitant les interconnexions.

Ne remettez pas en cause votre architecture BI, optimisez la! Encapsulez-la à l’image du Cloud et des Big Data et comme toujours concentrez-vous sur les datas 😉

Pentaho_HDS_4

Seb @opentoile

Streamline Data Refinery

Dans un environnement Big Data la réplication des données peut être lourde de conséquence. Aussi il est nécessaire de pouvoir exploiter les données directement depuis leurs sources et de produire des solutions d’analyses à vos « clients ».

Le concept de « Streamline Data Refinery » de Pentaho répond à ces besoins. Nous vous proposons en effet de préparer à l’avance des interfaces pouvant accéder facilement à telle ou telle information représentant un indicateur ou des axes d’analyses innovants.

SDR

L’utilisateur pourra ainsi sélectionner librement à travers un formulaire les informations qu’ils souhaitent analyser ponctuellement. Celles-ci seront combinées ensemble par la génération d’un schéma d’analyse Mondrian, et automatiquement publiées sur l’écran de l’utilisateur à travers notre outil Ad’Hoc Pentaho Analyzer.

On parle donc bien là de proposer à l’utilisateur de générer un cuble Olap d’analyse à la demande! 

Bien entendu les données proposées peuvent avoir plusieurs sources distinctes (DWH, Fichiers HDFS, NoSql, …) .

Data Lake on demand

Dashboard MongoDB & Pentaho

Vous avez succombé aux charmes de MongoDB ?
Vous aimeriez bien visualiser vos données aisément ?

Voici un exemple de Dashboard réalisé en 20min sans compter la création des collections Mongo
MAIS SANS DEPLACER LES DONNEES
Tout s’affiche directement depuis votre base magique = MongoDB+Pentaho!

MongoTweetDash

 

 

I’m on the Map !

Le point indiquant Marseille
représente mes tweets signés
opentoile 😉

 

Définition de « Big Data »

Vous cherchez la définition de « Big Data » ?

= Toutes vos données

Pentaho a la réponse « All your Data » #PWorld2014

 

 

 

 

——- PETITE HISTOIRE DE L’ANALYSE DES DONNÉES ——–

  • On a commencé par ajouter des codes analytiques dans les ERP comptable
  • On a ajouté derrière de beaux Datawarehouse et des outils de reporting
  • On s’est concentré sur les services ayant de l’argent = La finance
  • On a frustré les autres services
  • On s’est dit on va étendre le périmètre!
    • Ah mince tous les services ne bénéficient pas de code analytiques référencés dans l’ERP!
    • Ah mince ça coûte cher d’étendre le Datawarehouse
  • On nous a dit qu’il y avait des Appliances pour cela
    • Euh en fait on l’a dit qu’aux grosses compagnies car les autres étaient censés ne pas être intéressés ou ne pas avoir le budget adéquat
    • Euh en fait ils ne peuvent traiter que ce qui est déjà dans votre ERP
  • Les spécialistes des réseaux sociaux (Facebook & Co …) n’y trouvaient pas leur compte
  • Ces nouveaux géants ont donc travailler sur des projets OpenSource
  • Ils ont crées ce que l’on nomme aujourd’hui le BIG DATA
  • Les spécialistes de l’analyse de données OpenSource ont été des acteurs privilégiés pour adapter leurs solutions à ces nouveaux éco-systèmes
    • Certains ont focalisés seulement sur le collaboratif, le InMemory, …
    • Mais les besoins des utilisateurs n’ont pas changés, ce qu’ils veulent c’est pouvoir analyser toutes leurs données
  • C’est pourquoi aujourd’hui Pentaho propose le concept de RAFFINERIE DE DONNEES
    • Stockage = Hadoop et/ou NoSql
      • Economique et puissant (ScaleUp / ScaleDown)
      • Un dynamisme OpenSource ultra dynamique laissant les timides à la traine
    • Sélection de vos thématiques de recherche = Pentaho Stream Data Refinery
      • Une véritable interface Web à la « Google » pour identifier vos besoins
      • Un moyen pour tous de rechercher les données qui les interesse
    • Préparation et modélisation de vos données = Pentaho Data Integration
      • Lecture en directe des données utiles depuis Hadoop
      • Stockage en mode décisionnel dans une base analytique de votre choix (Attention je parle de vraie base en colonne et pas d’un énième système propriétaire qui doit pré-calculer ses index magiques)
    • Visualisation de vos données avec Pentaho Analyzer OU directement dans votre application préférée
      • Une interface Web 100%HTML5 utilisable par votre assistante si vraiment vous êtes frileux mais je dirai que l’on est jamais mieux servi que par soi-même (Après tout vous avez bien réussi à vous servir d’Excel!)
      • Vous utilisez majoritairement une application dans votre entreprise?, alors embarquons Pentaho Analyzer directement dans votre applicatioon préférée

 

TOUTES LES DONNÉES pour TOUS LES UTILISATEURS (pas de licence nommée!)