Description
Ollama est un projet open source qui vise à rendre les grands modèles de langage (LLM) accessibles à tous. Il fournit un moyen simple de créer, d'exécuter et de gérer des LLM, ainsi qu'une bibliothèque de modèles pré-construits qui peuvent être facilement utilisés dans une variété d'applications. Ses avantages: - API simples - Bibliothèque de modèles pré-construits - Flexible - Open source Aujourd'hui je vous le présente, combiné à une interface graphique nommée Open WebUI ! 📱 Suivez moi ! 💻 ►lhub.to/GuiPoM 🔗 Les liens et commandes 🔗 ► Ollama: ollama.com/ ► Open WebUI: openwebui.com/ ► Docker compose de documentation: github.com/open-webui/open-webui/blob/main/docker-compose.yaml ► Ollama pour Windows (preview) : ollama.com/blog/windows-preview 📃 Sommaire 📃 Ollama est un projet open source qui vise à rendre les LLM accessibles à tous Le coût des LLM, la sécurité et la confidentialité: Ollama résoud une partie de ces problèmes ! Exemple d'utilisation: la domotique via Assist de Home Assistant Exemple d'utilisation: une aide au développement logiciel Dans cette vidéo: déployer Ollama et Open WebUI pour expérimenter sur votre matériel. Il vous faudra quand même de grosses ressources surtout pour les modèles performants. On va utiliser encore une fois Portainer et un déploiement via Docker Compose Le projet Ollama: github.com/ollama/ollama Le projet Open WebUI: github.com/open-webui/open-webui On va s'inspirer du fichier docker compose disponible à titre de documentation, composé de deux services, ollama et open-webui On déploie les conteneurs et on observe les logs qui indiquent les capacités matérielles détectées On accède au server Open WebUI et on crée un nouveau compte local Première connexion à Open WebUI et découverte de l'interface: vous ne devriez pas être perdu si vous utilisez déjà ChatGPT Ollama et sa bibliothèque de modèles supporté par le projet: installation et utilisation de tinyllama l'API Ollama On améliore les performances avec l'accélération AVX, AVX2 et surtout Cuda ! Et en production ? diun, réseau docker, et utilisation du reverse proxy SWAG si on veut rendre disponible ce service sur internet, ou aux autres machines ? Vous pouvez tester des LLMs très efficaces comme Mixtral, mais il vous faudra du matériel très performant