Un Agent capable de manipuler les interfaces graphiques d'un smartphone Android.

Ils utilisent GPT4 pour la réflexion et GPT4V pour la reconnaissance d'image. En connectant l'Agent à un smartphone avec ADB, ils sont capable d'exécuter des actions de clique ou de swipe.

L'Agent inclue un mode "exploration" ou il va interagir en autonomie avec l'application afin de découvrir les fonctionnalités.

Cela ouvre beaucoup de nouvelles possibilités, notamment autour du testing des applications Android.

Une usurpation d'identité 100% online via un crack de mot de passe email et un changement d'opérateur téléphonique, ça fait peur!

Toutes les bonnes astuces pour se libérer de la publicité et du tracking sur votre ordiphone ("smartphone") Android