Supabase

Supabase a récemment amélioré ses fonctions Edge en intégrant des capacités d’inférence AI. Cette intégration permet l’exécution de modèles d’IA dans le cadre des fonctions Edge de Supabase. Les utilisateurs ont maintenant accès à une API intégrée dans Edge Runtime, ce qui simplifie le processus d’exécution des tâches d’inférence avec un minimum d’efforts de codage requis.

La mise à jour récente simplifie la génération d’embeddings et facilite l’utilisation de grands modèles de langage (LLMs) tels que llama2 et mistral pour des charges de travail d’IA générative. Ces fonctionnalités seront introduites progressivement à mesure que davantage de ressources GPU seront disponibles. Auparavant, lors de la semaine de lancement de l’entreprise, l’ajout de l’inférence AI à l’aide de Transformers.js a marqué un développement important, bien qu’il ait rencontré des défis concernant les temps d’initialisation et la nécessité d’augmenter les limites du CPU pour améliorer l’expérience des développeurs.

Avec les nouvelles améliorations, les démarrages à froid sont efficacement gérés en utilisant Ort, et le support des LLM est étendu avec l’aide d’Ollama. Les fonctions Edge bénéficient désormais d’une intégration transparente avec pgvector, ce qui permet une génération automatique d’embeddings chaque fois que de nouvelles données sont insérées dans une base de données – un outil efficace pour gérer des tâches intensives en données en dehors de l’infrastructure principale de la base de données.