Automatic Segmentation of Texts and Corpora

Cyril Labbé (1) , Dominique Labbé (2) , Pierre Hubert (3)

1 SIGMA - Systèmes d’Information - inGénierie et Modélisation Adaptables
2 PACTE - Pacte, Laboratoire de sciences sociales
3 UPMC - Université Pierre et Marie Curie - Paris 6

Le découpage des grands corpus de textes est l'une des questions cruciales posées aux études littéraires. Il est proposé une double méthode. L'analyse de la croissance du vocabulaire (type-token ratio) met en lumière les principaux changements de rythme. Ces résultats sont complétés par l'étude de la diversité du vocabulaire. Un algorithme de segmentation, associé à un test de validité, indique le découpage optimal. La méthode est appliquée aux oeuvres de Racine, Corneille et aux discours du Général de Gaulle.

Mots clés: Type; token ratio; Segmentation; Croissance du vocabulaire; Diversité du vocabulaire; Test de validité; Sheffé; Racine; de Gaulle

Domaines: Science politique

Cyril Labbé, Dominique Labbé, Pierre Hubert. Automatic Segmentation of Texts and Corpora. Journal of Quantitative Linguistics, 2004, 11, pp.193-213. ⟨halshs-00290976⟩