Red Hat, Inc. a annoncé des avancées dans Red Hat OpenShift AI, une plateforme hybride ouverte d'intelligence artificielle (IA) et d'apprentissage automatique (ML) construite sur Red Hat OpenShift qui permet aux entreprises de créer et de fournir des applications basées sur l'IA à l'échelle à travers des clouds hybrides. Ces mises à jour soulignent la vision de Red Hat pour l'IA, en apportant l'engagement de Red Hat pour le choix des clients dans le monde des charges de travail intelligentes, du matériel sous-jacent aux services et aux outils, tels que Jupyter et PyTorch, utilisés pour construire sur la plateforme. Cela permet d'accélérer l'innovation, d'augmenter la productivité et d'intégrer l'IA dans les opérations commerciales quotidiennes grâce à une plateforme open source plus flexible, plus évolutive et plus adaptable qui permet d'utiliser des modèles prédictifs et génératifs, avec ou sans l'utilisation d'environnements en nuage.

Les clients sont confrontés à de nombreux défis lorsqu'ils font passer les modèles d'IA de l'expérimentation à la production, notamment l'augmentation des coûts du matériel, les préoccupations en matière de confidentialité des données et le manque de confiance dans le partage de leurs données avec des modèles basés sur le SaaS. L'IA générative (GenAI) évolue rapidement et de nombreuses organisations s'efforcent d'établir une plateforme d'IA de base fiable pouvant fonctionner sur site ou dans le nuage. Selon IDC, pour exploiter avec succès l'IA, les entreprises devront moderniser de nombreuses applications et environnements de données existants, faire tomber les barrières entre les systèmes et plateformes de stockage existants, améliorer la durabilité de l'infrastructure et choisir avec soin où déployer les différentes charges de travail entre le cloud, le centre de données et les sites périphériques.

Pour Red Hat, cela montre que les plateformes d'IA doivent être flexibles pour soutenir les entreprises au fur et à mesure qu'elles progressent dans leur parcours d'adoption de l'IA et que leurs besoins et ressources s'adaptent. La stratégie d'IA de Red Hat offre une flexibilité dans le nuage hybride, la possibilité d'améliorer les modèles de base pré-entraînés ou curatés avec les données de leurs clients et la liberté d'activer une variété d'accélérateurs matériels et logiciels. Les fonctionnalités nouvelles et améliorées de Red Hat OpenShift AI répondent à ces besoins grâce à l'accès aux dernières innovations en matière d'IA/ML et au soutien d'un vaste écosystème de partenaires centrés sur l'IA.

La dernière version de la plateforme, Red Hat OpenShift AI 2.9, répond à ces besoins : Model serving at the edge étend le déploiement de modèles d'IA à des sites distants à l'aide d'OpenShift à nœud unique. Il fournit des capacités d'inférence dans des environnements à ressources limitées avec un accès réseau intermittent ou aérien. Cette fonctionnalité de prévisualisation technologique offre aux entreprises une expérience opérationnelle évolutive et cohérente, du cœur de réseau au cloud et à la périphérie, et inclut une observabilité prête à l'emploi.

Amélioration du service de modèles avec la possibilité d'utiliser plusieurs serveurs de modèles pour prendre en charge à la fois le prédictif et le GenAI, y compris la prise en charge de KServe, une définition de ressource personnalisée Kubernetes qui orchestre le service pour tous les types de modèles, vLLM et le serveur d'inférence de génération de texte (TGIS), des moteurs de service pour les LLM et le runtime Caikit-nlp-tgis, qui gère les modèles et les tâches de traitement du langage naturel (NLP). L'amélioration du service de modèles permet aux utilisateurs d'exécuter des modèles prédictifs et de GenAI sur une seule plateforme pour de multiples cas d'utilisation, réduisant ainsi les coûts et simplifiant les opérations. Cela permet un service de modèle prêt à l'emploi pour les LLM et simplifie le flux de travail de l'utilisateur.

Charges de travail distribuées avec Ray, en utilisant CodeFlare et KubeRay, qui utilise plusieurs nœuds de cluster pour un traitement des données et un entraînement des modèles plus rapides et plus efficaces. Ray est un cadre pour accélérer les charges de travail d'IA, et KubeRay aide à gérer ces charges de travail sur Kubernetes. CodeFlare est au cœur des capacités de charges de travail distribuées de Red Hat OpenShift AI, fournissant un cadre convivial qui aide à simplifier l'orchestration et la surveillance des tâches.

Les capacités centrales de mise en file d'attente et de gestion permettent une utilisation optimale des nœuds et l'allocation des ressources, telles que les GPU, aux bons utilisateurs et aux bonnes charges de travail. Amélioration du développement de modèles grâce à des espaces de travail de projet et des images de workbench supplémentaires qui offrent aux scientifiques des données la flexibilité d'utiliser des IDE et des boîtes à outils, y compris VS Code et RStudio, actuellement disponibles en tant qu'aperçu technologique, et CUDA amélioré, pour une variété de cas d'utilisation et de types de modèles. Des visualisations de surveillance des modèles pour les performances et les mesures opérationnelles, améliorant l'observabilité des performances des modèles d'IA.

De nouveaux profils d'accélérateurs permettent aux administrateurs de configurer différents types d'accélérateurs matériels disponibles pour le développement de modèles et les workflows de service de modèles. L'utilisateur dispose ainsi d'un accès simple et en libre-service au type d'accélérateur approprié pour une charge de travail spécifique. Outre Red Hat OpenShift AI qui sous-tend watsonx.ai d'IBM, des entreprises de tous les secteurs s'équipent de Red Hat OpenShift AI pour stimuler l'innovation et la croissance de l'IA, notamment AGESIC et Ortec Finance.