27/05/2015

Spring pour Apache Hadoop 2.2

L’équipe du développement du stack open source alternatif à Java EE met à disposition sa bibliothèque pour Apache Hadoop en version 2.2 RC1.

Cette livraison devrait être la seule release candidate pour la branche 2.2 de la librairie, la version en disponibilité générale 2.2 GA devrait être disponible dans deux semaines environ.

Les changements et améliorations de la version 2.2

Les changements et améliorations les plus notables pour cette livraison sont les suivantes :

  • Le support obligatoire pour l’exécution avec JDK 6, Java 7 et postérieurs a été retiré
  • Améliorations pour l’écriture HDFS afin de supporter les écritures synchronisées et une nouvelle option de délai d’interruption
  • Ajout du support de Pivotal HD 3.0
  • Mise à jour Cloudera CDH 5 vers la version 5.3.3
  • Mise à jour d’Hortonworks HDP 2.2 vers la version 2.2.4.0
  • Mise à jour du SDK Kite vers la version 1.0
  • Mise à jour de Spring project vers la dernière version en cours

L’équipe continue à fournir des versions spécifiques des artéfacts avec leurs dépendances transitives vers la librairie Spring IO

  • 2.2.0.RC1 (par défaut - Apache Hadoop stable 2.6.0)
  • 2.2.0.RC1-phd21 (Pivotal HD 2.1)
  • 2.2.0.RC1-phd30 (Pivotal HD 3.0)
  • 2.2.0.RC1-cdh5 (Cloudera CDH5)
  • 2.2.0.RC1-hdp22 (Hortonworks HDP 2.2)

Vers Spring pour Hadoop 2.3

Au menu de la prochaine version 2.3, le support de Hive sera le plus gros morceau. L’équipe souhaite mettre à jour les fonctionnalités Hive utilisées pour la branche 1.x d’Apache Hive, notamment Hiveserver v1. A cette occasion le code supportant Hive sera supprimé, comme les espaces de noms pour la configuration XML. Ces fonctionnalités seront remplacées avec une nouvelle implémentation utilisant un client JDBC. Il y aura donc des changements nécessaires de configuration pour la migration de Hiveserver v1 vers Hiveserver v2. Les utilisateurs de Hive v1 devront donc continuer d’utiliser les versions 2.2.x et précédentes de Spring pour Hadoop.

L’équipe annonce aussi travailler sur les fonctionnalités suivantes pour la branche de développement 2.3 :

  • Un meilleur support de la configuration Java
  • Un support basique pour l’exécution des tâches en lot des applications Spark
  • Un meilleur support de boot au travers des différents modules
  • Amélioration de la sécurité (notamment les interactions avec YARN Boot CLI)
  • Améliorations pour une intégration transparente avec les éléments du Cloud Spring ( comme spring-cloud-cluster)

La page du projet Spring pour Hadoop est disponible ici.

 

Source : spring.io

Actualités