NVIDIA NIM fait parti de la palteforme AI Enterprise du fondeur. NIM se composent de conteneurs dédiés à l'inférence en s'appuyant sur l'accélération GPU et une architecture microservices. NIM peut s'exécuter sur le cloud, un datacenter et les stations de travail. Il expose des API pour faciliter son intégration. Il inclut aussi TensorRT et TensorRT-LLM. 

Google annonce le support de NIM dans sa plateforme Google Kubernetes Engine (GKE). La solution est accessible via Google Cloud Marketplace et le déploiement se fait via la console Google Cloud. Les derniers LLM sont disponibles sur NIM tels que les derniers Llama, Mistral. 

Annonce : https://cloud.google.com/blog/products/containers-kubernetes/nvidia-nims-are-available-on-gke/?hl=en