#1 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 20/12/2018 21:34:34

Bonjour,

Il semblerait qu'il n'y ait plus non plus de programme ni sur le site ni dans l'application telerama après le 27 décembre.
Le script fonctionne donc très bien, il n'a juste rien à récupérer.

#2 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 01/12/2018 03:35:47

Bonjour,

J'ai effectivement oublié d'informer les utilisateur du forum qu'il y avait des nouvelles versions sur github qui corrige ce problème et qui ajoute la possibilité de supprimer certains tags html dans la description.
La dernière, v1.35: https://github.com/zubrick/tv_grab_fr_t … /tag/v1.35

#3 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 30/09/2017 19:06:53

Merci à patrick-g pour quelques corrections et deux nouvelles options: --show-url et --save-json qui peuvent s'avérer utiles.
v1.31: https://github.com/zubrick/tv_grab_fr_t … r_telerama

#6 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 15/09/2017 20:33:33

C'est mergé et une nouvelle version a été ajoutée: https://raw.githubusercontent.com/zubri … r_telerama

@hamelg: Merci pour le reverse engineering, beau boulot

#7 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 13/09/2017 19:49:04

Il semblerait que les erreur 503 et l'empressement des gens à réduire le délai entre les requêtes ne soient pas passées inaperçues.
tv_grab_fr_telerama ne fonctionne plus, car il reçoit maintenant une erreur 401
Je sais pourquoi je set le user agent, que je mets un délai de 2 secondes et que je ne récupère pas tout d'un coup.
Si l'api avait été hébergée sur mon serveur, avec le nombre de 503 et les requêtes surdimensionnées que certains ont fait, ça aurait été bloqué plus tôt. Donc on va dire que c'est de bonne guerre.

Plus qu'à trouver une autre solution

#8 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 06/09/2017 20:40:00

lhebui a écrit :

Je ferai bien le truc suivant :

./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 1 && ./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 8

Naturellement, je ne suis pas sûr et demande une validation par les pro.

Désolé mais je ne maitrise pas les modifs de wiki. Ce serait bien de faire la modif de version avec un lien dans le wiki pour le grabber de Telerama en version 1.27.

l'option --days donne le nombre de jour à récupérer. Dans ce cas il faut mettre 1 les deux fois.
Ensuite il faut utiliser l'option --offset. --offset 0 veut dire aujourd'hui, --offset 1 veut dire demain, et ainsi de suite.
par exemple

--offset 1 --days 2

veut dire demain et apprès demain

J'ai modifié la page de comparaison des grabbers, je ne sais pas s'il y en a d'autres à modifier pour avoir le lien correct vers la dernière version.

@Snouf: désolé, je n'avais pas vu que tu avais un repo ailleurs, j'aurais pu continuer sur celui ci

#9 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 03/09/2017 22:07:37

lhebui a écrit :

Bonjour,

Je viens de vérifier le fonctionnement de la version 1.27. Tout est revenu comme avant.

Il a fallu tout de meme que je mette les pattes dans mythconverg pour changer  c3.telerama.rf en c3.api.telerama.fr par exemple et ceci pour toutes les chaines. Pas de pb avec phpmyadmin.

Par contre, certaines chaines ne sont pas récupérées comme TF1, D8, W9, LCP et les dernières chaines apparues sur la tnt. J'ai regardé et j'ai vu dans le fichier xml C1.api.telerama.fr et dans mythconverg, j'ai c1.api.telerama.fr .... Pb de casse ?

Pourquoi pas le meme pb sur France 2 et France 3 ?

bon, de toute façon, je repars et je pourrai effectuer les modifs que la semaine prochaine ...

Salut,
comme dit plus haut, les numéros de chaines ne sont plus les mêmes avec leur nouvelle api, c'est pour cela que j'ai changé le format des ids, pour ne pas se retrouver avec un programme faux.
Il faut donc refaire un --configure avec le graber et mettre les bons ids.
TF1 est par exemple le 192 maintenant.

#10 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 02/09/2017 21:27:25

@GiPé: Je l'ai supprimé parce que je l'avais ajouté pour faire un essai de contenu modifié et j'ai oublié de le supprimer, donc c'est définitif comme il est maintenant.

#11 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 02/09/2017 20:45:29

Ok, moi je n'ai pas autant de chaines, mais peut-être que monter le délai à 2 secondes aide.

J'avais aussi modifié pour la critique, mais ta version est plus propre.
J'ai tout mis dans la 1.27: https://raw.githubusercontent.com/zubri … r_telerama

Si tu as un compte github, je peux te mettre dans le projet, comme ça tu peux modifier, ça sera plus simple.

#12 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 02/09/2017 19:46:02

GiPé a écrit :

Bonjour à tous,

Je n'ai pas dans W9 un film de l'après-midi à 16h20 : "Trouver l'amour à Valentine" ni dans le JSON ni dans le XML (normal), mais il est bien dans mon application iphone.

Du coup j'aurais pu le rater sad

Trêve de plaisanterie, cela fait un trou dans le programme... Avez-vous constaté le même problème ? Une idée ?

Tu utilises mon grabber? parce que moi il m'aurait sans problème enregistré "Trouver l'amour à Valentine" (il est dans mon xml de 16h20 à 18h10), mais comme j'avais pas regardé mon programme je l'ai loupé aussi ;-)

#13 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 02/09/2017 14:24:57

Hello,

Merci pour vos retours. J'ai donc fait comme hamelg le suggère, et ça fonctionne aussi pour moi.
C'est étrange, il me semblait pas avoir modifié ça
J'ai également corrigé le flag stereo.

Nouvelle version 1.26: https://raw.githubusercontent.com/zubri … r_telerama

#14 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 01/09/2017 19:41:09

GiPé: Je viens de corriger ça sur github

patrick-g: Quand j'ai vu ton message, j'étais plein d'espoir, car il me semble que c'est déjà toi qui avait réglé ça la dernière fois. Mais malheureusement, sans succès cette fois. Du coup, si je ne convertis pas et que je ne supprime pas les caractère spéciaux, j'ai les mêmes erreurs que Jean-Loup, que je n'avais pas avant.

#15 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 01/09/2017 07:40:37

J'avais encore un bug pour le dernier élément de la page, je crois que c'est réglé. Version dispo sur github.
Dans tous mes essais, je ne suis jamais tombé sur une 503, je prend une page/jour/chaine et ça marche très bien.

Définitivement un truc étrange avec cet encodage. mythfilldatabase, lorsqu'il appel directement tv_grab_fr_telerama, produit des erreurs d'encodage. Par contre, si je grab dans un fichier xml et que je l'importe avec --file dans mythfilldatabase, l'encodage est nickel.
Vous avez aussi ça ou je suis le seul?

En me basant sur la page https://www.mythtv.org/wiki/Mythfilldatabase j'ai modifié un peu leur script (il n'y a pas 20 jours dispo, donc on s'arrête à 8). Je l'ai aussi mis sur github.
Je perd pas espoir de trouver une solution plus propre, mais en attendant, ça fera l'affaire.

#16 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 31/08/2017 22:46:02

J'ai corrigé le problème des trous pour certaines chaines, liés à l'encodage des caractères spéciaux, principalement les guillemets qui entraient en conflict avec la syntaxe du json.
La dernière version est dispo là: https://github.com/zubrick/tv_grab_fr_telerama

J'ai toujours un problème d'encodage que je ne comprends pas. Le xml a bien l'air d'être en utf8, mais mythfilldatabase ne doit pas le comprendre, parce que je n'ai toujours pas le bon encodage dans mon mythtv, ce qui veut dire que l'encodage est différent de l'ancienne version. Si quelqu'un a une idée...

#17 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 31/08/2017 21:42:33

sdrik a écrit :
zubrick a écrit :

Merci Metaplop, j'ai rajouté ta ligne.
J'ai créé un github. Si tu as fait des ajouts intéressants, ça peut être bien de les mettre dedans.
D'ailleurs, vu que tu as l'air de t'y connaître en caractères spéciaux, si tu as une idée pour l'encodage, je suis preneur.

Pour ce qui est des erreurs 503.
503 est l'erreur http pour forbidden, je penses donc que c'est plutôt un problème de rate limiting sur leur api que de vrais erreurs qui reverrai plutôt une erreur 500.
Est-ce que vous avez beaucoup de trous avec la version 1.23 qui essaie une deuxième fois en cas de 503?

Non, c'est le 403 pour forbidden.
503 c'est un serveur web frontal qui reçoit une erreur d'un serveur web backend : soit c'est de la surcharge, soit c'est un bug dans un backend qui renvoie une réponse vide au frontal.
Quand c'est persistant sur certaines pages de certaines chaines, j'aurais plutôt tendance à dire que c'est le deuxième cas. Quand ça disparaît en attendant quelques secondes, c'est le premier.
Et je confirme que plus on avance en date, moins il y a d'erreur.

Ouais, t'as totalement raison pour la 503, courte nuit, longue journée, plus les yeux en fasse des trous.
Moi en tout cas, j'en ai plus vraiment. J'ai par contre des problèmes de décodage du json

#18 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 31/08/2017 20:52:45

Merci Metaplop, j'ai rajouté ta ligne.
J'ai créé un github (https://github.com/zubrick/tv_grab_fr_telerama). Si tu as fait des ajouts intéressants, ça peut être bien de les mettre dedans.
D'ailleurs, vu que tu as l'air de t'y connaître en caractères spéciaux, si tu as une idée pour l'encodage, je suis preneur.

Pour ce qui est des erreurs 503.
503 est l'erreur http pour forbidden, je penses donc que c'est plutôt un problème de rate limiting sur leur api que de vrais erreurs qui reverrai plutôt une erreur 500.
Est-ce que vous avez beaucoup de trous avec la version 1.23 qui essaie une deuxième fois en cas de 503?

#19 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 31/08/2017 00:19:16

La version qui ne crash pas avec les erreurs 503 (il essaie encore une fois et skip la chaine pour ce jour si ça rate encore):
http://www.number6.ch/tools/tv_grab_fr_telerama_1.23

Toujours le problème d'encoding, mais on dirait que c'est plus un problème d'interprétation de mythfilldatabase, parce que dans ma console utf8, les accents sont nickel...

#20 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 30/08/2017 23:53:57

C'est bien ce que j'ai fait, mais après c'est peut-être le decode du json qui pose problème.
Quoi qu'il en soit, les erreurs 503 font tout planter, donc avec une chaine c'était concluant, mais avec plus, ça le fait pas :-(

#21 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 30/08/2017 23:00:37

Hello,

J'ai avancé un peu, mais j'ai toujours un problème d'encodage de caractères.
En attendant, voici une version intermédiaire pour au moins avoir un peu de contenu :

http://www.number6.ch/tools/tv_grab_fr_telerama_1.22

Les numéros des chaines ne sont pas les mêmes, j'ai donc changé les id pour quelque chose du genre C1.api.telerame.fr pour éviter de mettre le mauvais contenu sur la mauvaise chaine.

Dites moi si vous avez d'autres problèmes.

#22 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 30/08/2017 08:29:42

J'ai regardé un peu, c'est en bonne voie, il faut juste que j'adapte les variables, mais je devrais arriver à un truc fonctionnel au plus tard demain

#23 Re : Xmltv » tv_grab_fr_telerama 1.21 ne fonctionne plus ... » 30/08/2017 06:51:45

Hello,

Effectivement RIP l'API originale de la première appli. Je suis étonné que ma solution ait fonctionné aussi longtemps.
Merci Sdrik pour le reverse engineering, on va pouvoir faire quelque chose avec ça.
Si personne ne s'en occupe, je vais modifier tv_grab_fr_telerama pour utiliser cette API, je vais malheureusement avoir du mal à faire ça pour ce soir pour avoir un guide ininterrompu.

#24 Re : Xmltv » Nouvelle version de tv_grab_fr_telerama » 22/03/2015 11:21:30

Bonjour,

après vérification, les pages telerama qui sont récupérées par tv_grab_fr_telerama ne fournissent pas ces chaines.
Il n'y a donc rien à faire à part attendre qu'ils les mettent à disposition pour l'application iPhone, puisque c'est de là que le grabber récupère les infos.

Pied de page des forums

Propulsé par FluxBB

Webmasteur SnouF

Hébergé par Tuxfamily

Valid XHTML 1.0 Strict