Un framework pour développer des extensions navigateur
Google a commencé à distribuer son modèle Gemini Nano directement dans Chrome.
Le modèle fonctionne totalement en local avec une API dédiée:
const ts = ai.createTextSession()
const gemi = await ts
const output = gemi.prompt('Tell me you best programmer joke')C'est une grande avancée car il sera maintenant beaucoup plus simple de créer des applications utilisant des LLM directement en utilisant les API du navigateur.
Par contre en faisant cela, Google va encourager la fragmentation du web par navigateur avec des sites web qui ne fonctionneront que sur Chrome car exploitant des API non standards.
J'espère qu'une standardisation de ce genre d'API arrivera sous peu, comme cela a été le cas pour la reconnaissance vocale avec les Web Speech API
Firefox n'a pas dit son dernier mot, ces derniers mois ils ont progressivement amélioré les perfs du navigateur jusqu'à dépasser Chrome aujourd'hui 😄
Un article très complet et très intéressant sur le fonctionnement de HTTP/3 et de QUIC.
Un projet d'assistant IA capable de réaliser des tâches en manipulant les interfaces des sites web.
Le navigateur Opera qui avait la côte au début des années 2010, notamment sur mobile, ne serait plus que l'ombre de lui même.
Pire que ça, il est à fuir avec des dérives inquiétantes depuis son rachat par des entreprises chinoises avec notamment application de prêt à des taux >500% dans les pays en voie de développement.
Une lib qui permet d'enregistrer et de rejouer les sessions navigateur.
Voir aussi https://github.com/openreplay/openreplay
Une extension basée sur Ublock Origin qui clique automatiquement sur les pubs bloquées pour coûter de l'argent aux annonceurs et fausser les statistiques.
Un autre exemple de navigation avec un GPT4V.
Le problème jusqu'ici était que le HTML est une représentation unidimensionnel textuelle d'une interface graphique bidimensionnelle.
Cela couplé au fort niveau de bruit contenu dans le HTML rendait impossible la navigation dans des applications complexes de type SaaS.
L'utilisation de GPT4V avec des tags visuels permet au modèle de comprendre quelles sont ses possibilités d'interaction.
L'histoire de Microsoft qui pousse IE très fort depuis sa création
Firefox est à 2.2% de part de marché.
En dessous de 2% de trafic sur les sites du gouvernement US, il ne sera plus officiellement supporté.
Un projet soutenu par Firefox qui sauvegarde les sites que vous visitez puis les utilise dans un RAG local construit avec PrivateGPT.
Cela permet de chercher dans les sites qu'on a pu visiter plutôt que tout internet.
Une expérimentation de manipulation automatique du browser avec GPT-4V en renfort pour la compréhension des interfaces.
Google Chrome essaye automatiquement toutes les requêtes en HTTPS et si jamais ça échoue alors il fallback sur HTTP.
Plus d'info https://github.com/dadrian/https-upgrade/blob/main/explainer.md
Un très bon récapitulatif du fiasco de Brave.
Entre publicités intrusives, crypto hype et comportements douteux, aucune raison d'utiliser ce Chromium maquillé pour le pire
Un article plus détaillé sur les possibilités que commence à offrir les LLM pouvant fonctionner en local dans le navigateur.
On est encore loin de l'adoption pour les utilisateurs standards car il faut:
- lancer chrome avec des flags spéciaux
- télécharger le modèle (plusieurs Go)
- une carte graphique puissante
J'en parlais ici aussi https://links.aschen.tech/shaare/Ov51-w
Les LLM commencent à arriver dans les navigateur en utilisant la technologie WebGPU.
Ils ont aussi porté StableDiffusion https://mlc.ai/web-stable-diffusion/
Une amélioration du mode headless dans Chrome.
Avant cette mise à jour (112), le mode headless était enfaite un autre programme et avait donc un fonctionnement légèrement différent de chrome.
Une extension navigateur qui permet de manipuler les site web avec le langage naturel.
Voir aussi:
Une IA qui est capable de manipuler le navigateur depuis des instructions en langage naturel.
Par exemple, elle est capable de rechercher une location sur un site comme Airbnb simplement depuis une demande comme "trouver une maison pour 6 personnes à Houston pour maximum 600$"