OpenAI dépenserait jusqu'à 635 000€ par jour pour les infrastructures nécessaires au fonctionnement de ses API pour ses modèles.
Ça fait quand même 230 millions par an !
Après OpenAI a levé 11 milliards en tout déjà donc ils ont un peu de cash flow pour tenter de dominer le marché mais avec la montée des LLM Open Source c'est pas gagné.
Virus Total va intégré un modèle d'IA qui est capable d'expliquer ce que fait un code.
Ça permet de comprendre ce que fait la suite d'instruction d'un malware analysé sur VirusTotal.
Bien sur le modèle n'est capable d'analyser que le langage naturel donc il ne faut pas s'attendre à ce genre de rapport sur des fichiers binaires mais sur les langages interprété cela fonctionne (Python, Javascript, PowerShell, etc)
Pas étonnant.
Les chiffres sont juste dingues:
- 2240 milliards de dollars en 2022 ce qui représente 2.2% du PIB mondial (l'éducation c'est 4%)
- USA (877 ou 39%), Chine (292 ou 13%) et Russie (86 ou 4%) représentent 56% des dépenses mondiales d'armement à eux 3
- Europe 345 milliards (15% du mondiale) avec 30% d'augmentation depuis 2013
Pour l'Europe:
elles ont dépassé le niveau qui était le leur en 1989, soit à la veille de la fin de la Guerre Froide
Délit d'initié sur la vente de NFT par un manager de la plus grosse plateforme de NFT (OpenSea)
6 techniques avancées d'utilisation de Typescript:
- types mappés: itération sur les clés ou types conditionnels
- décorateurs
- namespaces
- mixins (ça me rappelle Ruby :D)
- type guards
- utility types
Analyse détaillé du leak du Pentagon.
Excellent article technique sur la manière dont Prisma à amélioré les performances au démarrage de son ORM.
La majorité du chemin a été achevé en simplifiant le protocol de communication interne en passant à du simple JSON.
Sinon on retrouve des choses assez classiques en terme d'optimisation, du lazy loading, pas de couche de chiffrement superflue et d'autres choses.
L'article décrit aussi le cycle de démarrage d'une lambda AWS.
De bons conseils pour rentrer dans un projet ayant déjà une grosse codebase.
J'aime notamment l'idée de prendre de petits commits récents et d'essayer de les reimplementer soit même
Un article sur les bonnes pratiques autour de la code review.
C'est souvent une part importante dans le Time To Deploy d'une équipe et l'auteur donne des conseils pour accèlérer ce processus:
- garder les PRs petites: <200 lignes de code
- faire les reviews rapidement: mettre un place un outil de notification aide beaucoup sur ce point
- automatiser le maximum: tests, lint
- utiliser des stacked diffs pour découper plus facilement une PR (pas dispo sur Github malheureusement)
- utiliser la méthode Ship/Show/Ask qui permet d'éviter la nécessité de reviews dans certaines situations
Plus j'entends parler du Stacked Diff/Trunk Based développement et plus ça donne envie d'essayer. Graphite semble proposer ce genre de fonctionnement et intègre Github
Un article qui revient sur "l'Open Source washing" que l'on a pu voir avec la publication du code source de l'algorithme de Twitter.
Au final le code source seul ne suffit pas, les données sur lesquelles il est appliqué sont également nécessaire.
Un article qui compare l'arrivée de l'IA avec celle du cloud il y a 17 ans et les premiers services d'AWS.
J'aime notamment le parallèle à propos des croyances limitantes du cloud comme "les gouvernements ne seront jamais dans le cloud" et celles qu'on peut avoir à propos de l'IA "il y aura toujours un humain dans la boucle" (par exemple)
Un guide entier pour apprendre les différentes techniques d'attaques possible sur les LLM via notamment l'injection de prompt.
Le guide présente aussi des techniques de défense
Un guide sur les différentes techniques de Prompt Engineering
Un article explicatif de ce qu'est vraiment le Prompt Engineering et surtout des méthodes pour avancer de manière scientifique dans l'élaboration de prompts.
Typiquement l'auteur utilise des scripts Python et LangChain pour évaluer la performance de ses prompts.
C'est important de pouvoir mesurer la précision des réponses fournies par un prompt en utilisant un modèle ainsi que le nombre de tokens utilisés afin de pouvoir faire des comparaisons et prendre une décision justifié par son business modèle.
Un autre article plus technique sur le sujet https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
Un autre projet pour créer un LLM entièrement open source (code du modèle + jeux de données + poids entrainés).
Pour l'instant ils ont réalisé la première étape qui est de constitué un jeux de données open source en suivant les instructions données dans la publication scientifique de LLaMa.
Ils ont des données, principalement en anglais, qui proviennent de:
- Commoncrawl
- C4
- Github
- ArXiv
- Wikipédia
- StackExchange
- des livres
Plus d'info et les liens de DL chez HuggingFace
D'ici quelques semaines le modèle devrait être entrainé (avec LLaMa) et disponible en open source comme Cerebras et StableLLM
Exploration du contenu d'un des plus gros jeux de données utilisé pour entrainer les IA.
Il contient des données récupérées depuis le web depuis des sites comme Wikipédia ou patent.google.com ou encore des sites de ebooks piratés.
Cela pose beaucoup de question de copyright sur la légitimité de l'utilisation de ce jeux de données pour entrainer des IA commerciales sans compensation pour les créateurs de contenu.
De même pour les différents biais induit dans les IA par leur entrainement sur des contenus reflétant majoritairement la culture occidentale
Du jamais vu niveau collecte d'informations sur les citoyens par des organismes gouvernementaux !
Un décret force les entreprises opérant en Biélorussie à fournir des API pour qu'entre autre le KGB puisse faire des recherches en live dans les bases de données.
Des applications permettant de visualiser une conversation avec ChatGPT sous la forme de nœuds dans d'un graph ou de card sur un tableau blanc.
C'est beaucoup plus pratique de traiter l'exploration d'un sujet comme ça plutôt que de devoir remonter sans cesse dans l'historique du chat.
Un projet communautaire et collaboratif pour créer un modèle entraîné comme ChatGPT
Un article plus détaillé sur les possibilités que commence à offrir les LLM pouvant fonctionner en local dans le navigateur.
On est encore loin de l'adoption pour les utilisateurs standards car il faut:
- lancer chrome avec des flags spéciaux
- télécharger le modèle (plusieurs Go)
- une carte graphique puissante
J'en parlais ici aussi https://links.aschen.tech/shaare/Ov51-w