Entraîner un modèle de langage causal de zéro (PyTorch)

Ici nous entraînons un modèle à générer du code Python. Le Python utilisant des fonctions basées sur des mots anglais, nous gardons un gpt-2 anglais dans l'optique d'obtenir de meilleures performances que ce que l'on pourrait s'attendre en utilisant un gpt-2 en français.

Installez les bibliothèques 🤗 Datasets et 🤗 Transformers pour exécuter ce notebook.

Vous aurez besoin de configurer git, adaptez votre email et votre nom dans la cellule suivante.

Vous devrez également être connecté au Hub d'Hugging Face. Exécutez ce qui suit et entrez vos informations d'identification.