Récupérer tous les mots affichés dans une page web

moijhd · 13-06-2009 11:26:56

Bonjour,

je souhaite recupérer tous les mots affichés dans une page web, c'est-à-dire tous les mots, sans les balises le formatage, mais avec les accents et autres caractères spéciaux.

Je propose la fonction suivante :

function AjouterMots($filename){

  $file_tab = file($filename);

  $file_str = str_replace(array("\n", "\r", "\t", '.', ',', '!', '?'), array('', '', '', ' ', ' ', ' ', ' '), strip_tags(implode($file_tab)));;

  $file_tab = explode(' ', $file_str);

  $file = fopen('fichier.txt','a+');

  foreach($file_tab as $mot){

    fputs($file, trim($mot)."\r\n");  

  }

  fclose($file);

}

On suppose que les pages webs sont encodées en 'dur', c'est-à-dire que le " é " afiché dans le navigateur est un " é " dans la source.
J'ai le problème suivant : les caractères spéciaux ne sont pas récupérés correctement.
Problèmes d'encodage ?

Merci

mcAllan · 13-06-2009 12:11:12

Salut,

Quand tu dis que les caractères spéciaux ne sont pas récupérés correctement, qu'as tu à la place ?
é ?

moijhd · 13-06-2009 13:12:31

Justement non

Exemple :
" catÃ©gories " pour " catégories " (et j'ai bien vérifié que dans la source apparait " catégories ")

mcAllan · 13-06-2009 13:20:51

C'est donc bien un problème d'encodage.
Et ce n'est souvent pas simple à régler
Est ce qu'un "charset" est mentionné dans la source ?
Ensuite pour convertir, tu as la fonction iconv.
Bon courage...

moijhd · 13-06-2009 13:35:52

charset=UTF-8

Quel type de convertion utliser ?

Le problème peut-il venir de l'utilisation des fonctions tels que strip_tags() ?

=> Après un nouveau test...le problème vient de la lecture de plusieurs pages...c'est-à-dire que je boucle ma fonction et c'est ce qui semble poser problème.

En effet, si je ne traite qu'une seule page, cela fonction bien.

D'autres idées ?
Je suppose que toutes les pages sont encodées de la même façon.

Dernière modification par moijhd (13-06-2009 13:43:21)

mcAllan · 13-06-2009 13:50:33

moijhd a écrit :

Le problème peut-il venir de l'utilisation des fonctions tels que strip_tags() ?

Normalement non.

moijhd a écrit :

=> Après un nouveau test...le problème vient de la lecture de plusieurs pages...c'est-à-dire que je boucle ma fonction et c'est ce qui semble poser problème.

C'est étonnant.

Tente une conversion vers iso-8859-1...

As tu essayer d'ouvrir le fichier créé avec différent éditeurs de textes ?

moijhd · 13-06-2009 13:57:54

Très affreux : j'ai donc deux fichiers textes fichier.txt (9MO) et fichier1.txt (9ko), quand j'ouvre les deux avec WordPad, j'obtiens la même chose (avec le " é " moche) mais quand j'ouvre avec Bloc-Note, j'obtiens fichier.txt avec le " é " moche et le fichier1.txt avec le " é " é !

mcAllan · 13-06-2009 14:01:43

Hé bé
Tu peux essayer aussi de forcer l'écriture du fichier en mode binaire (bien qu'il me semble que ce soit l'option par défaut).
$file = fopen('fichier.txt','a+b');

moijhd · 13-06-2009 14:06:50

No changes

mcAllan · 13-06-2009 14:08:58

Tu peux aussi utiliser la fonction : utf8_decode qui te convertira directement la chaine en ISO.

moijhd · 13-06-2009 14:12:19

J'ai déjà utlisé cela dans tous les sens je crois

Je vais re-regarder ça un peu tout seul, voir si je ne peux pas inverser des étapes, en ajouter...

Merci pour votre aide.

Maskime · 24-06-2009 20:43:28

Ce que je pense :
L'encodage de la page web que tu récupère est en UTF-8 le système sur lequel tu exécute PHP est paramétré pour fonctionner en ISO et c'est pour ça que lorsque tu écris dans un fichier il doit le faire par défaut en ISO => Ã©
essaye comme ça :

function AjouterMots($filename){

  $file_tab = file($filename);

  $file_str = str_replace(array("\n", "\r", "\t", '.', ',', '!', '?'), array('', '', '', ' ', ' ', ' ', ' '), strip_tags(implode($file_tab)));;

  $file_tab = explode(' ', $file_str);

  $file = fopen('fichier.txt','a+');

  foreach($file_tab as $mot){

    //Look here

    $sToPut = utf8_decode(trim($mot));

    fputs($file, $sToPut."\r\n"); 

  }

  fclose($file);

}

PHP|Débutant :: Forums

Advertisement

#1 13-06-2009 11:26:56

Récupérer tous les mots affichés dans une page web

#2 13-06-2009 12:11:12

Re : Récupérer tous les mots affichés dans une page web

#3 13-06-2009 13:12:31

Re : Récupérer tous les mots affichés dans une page web

#4 13-06-2009 13:20:51

Re : Récupérer tous les mots affichés dans une page web

#5 13-06-2009 13:35:52

Re : Récupérer tous les mots affichés dans une page web

#6 13-06-2009 13:50:33

Re : Récupérer tous les mots affichés dans une page web

#7 13-06-2009 13:57:54

Re : Récupérer tous les mots affichés dans une page web

#8 13-06-2009 14:01:43

Re : Récupérer tous les mots affichés dans une page web

#9 13-06-2009 14:06:50

Re : Récupérer tous les mots affichés dans une page web

#10 13-06-2009 14:08:58

Re : Récupérer tous les mots affichés dans une page web

#11 13-06-2009 14:12:19

Re : Récupérer tous les mots affichés dans une page web

#12 24-06-2009 20:43:28

Re : Récupérer tous les mots affichés dans une page web

Pied de page des forums