Le 25 mars 2021, des Développeurs & Data Scientists de tous les niveaux ont participé à notre évènement, le Crack The Captcha Challenge. Un concours qui consistait à cracker 10 000 captchas par programmation en 2 heures ! Découvrez dans cet article les éléments de réponse à ce challenge.
Pour cette édition du Crack The Captcha Challenge, aucune méthode particulière n’était imposée pour résoudre automatiquement les quelques 10 mille captchas inconnus. On aurait pu les faire à la main (avec l’aide de toute la famille), hacker le site pour récupérer les solutions du jeu, utiliser des logiciels de reconnaissance de caractère (OCR). Mais le challenge présenté ici était un cas parfait d’utilisation du machine learning et notamment des réseaux de neurones. HOG + SVM, réseaux à couches denses (MLP), convolué (CNN), attention network, LSTM (RNN), les méthodes de résolution ne manquent, alors essayons !
Pas si simple de créer from scratch et d’utiliser un réseau de neurones en moins de deux heures, commençons très simplement par un réseau basique à une couche cachée dense. Mais pour cela il va nous falloir préparer les données.
L’ensemble des exemples de code présentés dans la suite sont des extraits du fichier développé pendant le live: demo.py
Entrainer un réseau
Pour l’entrainement, il va nous falloir travailler sur les entrées appelées X et les sorties attendues Y appelées labels. Pour faciliter la tâche du réseau de neurones, je vais découper l’image pour extraire des lettres / chiffres. La tâche d’apprentissage reviendra à classifier ces lettres. Pour résoudre mes captchas, je n’aurai qu’à découper les lettres, prédire leurs labels et fusionner ces résultats pour récupérer le captcha complet.
Pour chaque image, je vais convertir chaque lettre en un vecteur de taille fixe :
[pastacode lang= »python » manual= »%23%20Get%20the%20label%20contained%20in%20the%20filename%0Aword%2C%20level%2C%20ext%20%3D%20filename.split(%22.%22)%0A%0A%23%20Load%20current%20image%0Aimage%20%3D%20cv2.imread(os.path.join(path%2C%20filename))%0A%0A%23%20Transform%20in%20gray%20%0Aimage%20%3D%20cv2.cvtColor(image%2C%20cv2.COLOR_BGR2GRAY)%0A%0A%23%20Separate%20the%20letters%0Afor%20i%2C%20letter%20in%20enumerate(word)%3A%0A%20%20%20%20X.append(image%5B0%3A35%2C%20(i%20*%2020)%3A((i%20%2B%201)%20*%2020)%5D.flatten())%0A%20%20%20%20Y.append(letter)%0A%0A%23%20Normalize%20X%20vector%20-%20get%20values%20between%200%20and%201%0AX%20%3D%20np.array(X%2C%20dtype%3Dnp.float)%20%2F%20255.0%20%20%23%20Normalization » message= » » highlight= » » provider= »manual »/]
Les labels ont aussi besoin d’être transformés / encodés. On ne peut pas dire au réseau que la résponse est un R par exemple, il faut lui donner un nombre ou un vecteur à atteindre pour cette lettre. Le plus courant pour la classification à plusieurs classes (ici classes = lettres), est d’encoder nos différentes lettres en un vecteur binaire. Si par exemple, je n’ai que les lettres A, B, C, D, j’ai quatre classes à identifier et je peux encoder comme cela :
A -> [1, 0, 0, 0]
B -> [0, 1, 0, 0]
C -> [0, 0, 1, 0]
D -> [0, 0, 0, 1]On pourrait coder une fonction d’encodage à la main mais c’est un processus classique en machine learning alors autant réutiliser les implementations existantes (présentes dans scikit-learn par exemple)
[pastacode lang= »python » manual= »%23%20Create%20an%20encoder%20based%20on%20my%20labels%0Alb%20%3D%20sklearn.preprocessing.LabelBinarizer().fit(Y)%0A%23%20Transform%20all%20my%20labels%20in%20binary%20vectors%0AY%20%3D%20lb.transform(Y)%0A%23%20Just%20get%20the%20number%20of%20classes%0Anb_labels%20%3D%20len(lb.classes_) » message= » » highlight= » » provider= »manual »/]
Maintenant nous avons nos vecteurs images X et nos labels Y prêts à être utilisés par un réseau. il va nous falloir décrire les différentes couches (layers) et les différents hyperparamètres, une tâche délicate ! Restons simples avec seulement une couche cachée de 128 neurones. C’est parti !
[pastacode lang= »python » manual= »model%20%3D%20k.models.Sequential()%0Amodel.add(k.layers.Dense(128%2C%20input_dim%3D(20%20*%2035)%2C%20activation%3D’relu’))%0Amodel.add(k.layers.Dense(nb_labels%2C%20activation%3D%22softmax%22))%0A%0Amodel.compile(loss%3D%22categorical_crossentropy%22%2C%20optimizer%3D%22adam%22%2C%20metrics%3D%5B%22accuracy%22%5D)%0Amodel.fit(X%2C%20Y%2C%20validation_split%3D0.2%2C%20batch_size%3D128%2C%20epochs%3D20%2C%20verbose%3D1) » message= » » highlight= » » provider= »manual »/]
Quoi, c’est tout ?! Et oui, la description d’un réseau très simple avec Keras est un jeu d’enfant. C’est ici que vous pouvez vous amuser à enrichir l’architecture du modèle. Plus de couches ? plus de neurones ? des couches de convolutions ? c’est à vous de voir. Moi je reste sur ce petit réseau pour le moment. Il y a beaucoup à dire sur le choix des différents hyper-paramètres, et de la structure du réseau, mais c’est par l’expérimentation que la plupart des modèles sont créés.
A ce stade, nous avons un modèle complet caché sous la variable model. Utilisons-la pour cracker tous les captchas inconnus !
Inférence sur le jeu de test
La phase où l’on applique le réseau sur des données (sans l’entrainer) s’appelle l’inférence. C’est simplement l’utilisation du modèle.
Pour être cohérent avec mon apprentissage, il me faut traiter l’information des images de la même manière que ce que j’ai pu faire pour l’entrainement, ce bout de code ne va donc pas vous déboussoler :
[pastacode lang= »python » manual= »%23%20Load%20current%20image%0Aimage%20%3D%20cv2.imread(os.path.join(path%2C%20filename))%0A%0A%23%20Transform%20in%20gray%20%0Aimage%20%3D%20cv2.cvtColor(image%2C%20cv2.COLOR_BGR2GRAY)%0A%0A%23%20Separate%20the%20letters%0Afor%20i%20in%20range(4)%3A%0A%20%20%20%20X.append(image%5B0%3A35%2C%20(i%20*%2020)%3A((i%20%2B%201)%20*%2020)%5D.flatten())%0A%0AX%20%3D%20np.array(X%2C%20dtype%3Dnp.float)%20%2F%20255.0%20%23%20Normalization » message= » » highlight= » » provider= »manual »/]
Il ne reste plus qu’à prédire les labels et les fusionner pour récupérer le captcha final :
[pastacode lang= »python » manual= »prediction%20%3D%20model.predict(X)%0Aletters%20%3D%20labels.inverse_transform(prediction)%0Acaptcha%20%3D%20%22%22.join(letters) » message= » » highlight= » » provider= »manual »/]
Après avoir enregistré les résultats dans un CSV pour tous les captcha de niveau 1, on obtient plus de 50% de réussite sur l’ensemble du jeu ! Les niveau 1 représente 62% de l’ensemble des données, la classification du niveau 1 marche drôlement bien 🙂
Pourquoi ne pas utiliser Tesseract ?
Il faut noter qu’il est intéressant de tester les capacités du logiciel Tesseract sur ce challenge. Tesseract est un logiciel de reconnaissance de caractère (OCR pour Optical Character Recognition) très performant qui est souvent utilisé pour numériser des documents scannés. Après installation on peut tester facilement en ligne de commande :
[pastacode lang= »python » manual= »tesseract%20data%2Ftest%2F1.level1.png%20stdout » message= » » highlight= » » provider= »manual »/]
A noter, après une analyse du jeu d’entrainement, toutes les lettres ne sont pas présentes. Et il est possible de configurer Tesseract pour ne reconnaitre que certaines lettres.
[pastacode lang= »python » manual= »tesseract%20data%2Ftest%2F1.level1.png%20stdout%20-c%20tessedit_char_whitelist%3D012345689ACDEFHKLMPQRSTUVXYZ » message= » » highlight= » » provider= »manual »/]
Pour réaliser l’ensemble du jeu de test, il est possible d’utiliser tesseract avec pytesseract
Pas encore de commentaires