#26 30/08/2017 07:57:30

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

De mon côté, j'avance assez bien sur une version python, qui devrait pouvoir être opérationnelle d'ici ce soir, au pire d'ici demain soir.
Par contre, hier soir, la nouvelle api avait beaucoup de mal à répondre (environ 9 requêtes sur 10 partaient en erreur 503, y compris dans l'appli mobile). J'espère que ce n'est pas lié à nos tests... roll

Comme solution de secours temporaire, pour ceux qui le peuvent, il y a les 7 jours d'essai gratuit de schedulesdirect.org.

Hors ligne

#27 30/08/2017 08:29:42

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

J'ai regardé un peu, c'est en bonne voie, il faut juste que j'adapte les variables, mais je devrais arriver à un truc fonctionnel au plus tard demain

Hors ligne

#28 30/08/2017 16:11:45

lhebui
Membre
Lieu : Saint Martin des Bois
Inscription : 18/03/2008
Messages : 665
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Alors là chapeau les gars. Désolé de ne pouvoir vous aider mais je suis totalement incompétent dans ce domaine.

Quelle réactivité !!!


RPI3+ en mythtv et TVHEADEND (en construction pour les 2 ...)

Hors ligne

#29 30/08/2017 20:59:33

andres@hotmail.fr
Membre
Inscription : 30/08/2017
Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Il semble qu'avec le nouveau site on ne récupère les programmes qu'à partir de 6h du matin.
Quelqu'un a-t-il trouvé un paramètre pour demander les programmes à partir de 0h ?

Hors ligne

#30 30/08/2017 21:39:13

mrtvfuencxozd
Membre
Inscription : 29/08/2017
Messages : 5

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

des programmes avant 6h sont disponibles dans les listings de la veille.

bon souvent le dernier est un truc du genre "Programmes de la nuit" ou "Fin des programmes"

Hors ligne

#31 30/08/2017 21:53:25

SnouF
Webmasteur, développeurDéveloppeur de scripts pour mythtv (tel que des grabbeurs pour MythNetVision). S'occupe également du dépôt deb des scripts mythtv-fr et propose un dépôt mythtv-fixes pour debian (stable, testing et unstable).
Inscription : 02/11/2007
Messages : 4 565
Site Web Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci à tous pour les recherches wink

Pour les abonnés free je rappel que j'avais écrit tv_grab_fr_mafreebox_hts basé sur l'api de la freebox. Bien que prévu initialement pour hts tvheadend il devrait fonctionner avec mythtv. Les descriptions des programmes sont moins complètent que celle de telerama.
https://gitlab.com/snouf/tvheadend_tools

Hors ligne

#32 30/08/2017 23:00:37

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Hello,

J'ai avancé un peu, mais j'ai toujours un problème d'encodage de caractères.
En attendant, voici une version intermédiaire pour au moins avoir un peu de contenu :

http://www.number6.ch/tools/tv_grab_fr_telerama_1.22

Les numéros des chaines ne sont pas les mêmes, j'ai donc changé les id pour quelque chose du genre C1.api.telerame.fr pour éviter de mettre le mauvais contenu sur la mauvaise chaine.

Dites moi si vous avez d'autres problèmes.

Dernière modification par zubrick (30/08/2017 23:02:22)

Hors ligne

#33 30/08/2017 23:34:29

mrtvfuencxozd
Membre
Inscription : 29/08/2017
Messages : 5

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonsoir,
sinon, le fichier dont j'ai donné le lien plus haut contient maintenant plus d'infos issues de la nouvelle API (en slalomant entre les erreurs 503) pour toutes les chaines de la TNT.

Il n'y a pas encore toutes les infos disponibles (pas d'acteurs, realisateurs...), mais ça permet de voir un peu venir, et comme les ids sont les mêmes que ceux de l'ancien grabber, (sauf pour les quelques chaines dont je n'avais pas l'ancienne valeur),c'est utilisable tel quel.

le même après bzip2.
xmltv.xml.bz2

Dernière modification par mrtvfuencxozd (30/08/2017 23:42:16)

Hors ligne

#34 30/08/2017 23:51:23

Moe
Développeur guide xmltvDéveloppe le guide tv_grab_fr_iphone.
Inscription : 09/10/2008
Messages : 109

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

zubrick a écrit :

Hello,

J'ai avancé un peu, mais j'ai toujours un problème d'encodage de caractères.
....

Tu veux passer du windows à l'utf8 ?

Encode::from_to($data, "windows-1252", "UTF8")

Hors ligne

#35 30/08/2017 23:53:57

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

C'est bien ce que j'ai fait, mais après c'est peut-être le decode du json qui pose problème.
Quoi qu'il en soit, les erreurs 503 font tout planter, donc avec une chaine c'était concluant, mais avec plus, ça le fait pas :-(

Hors ligne

#36 31/08/2017 00:19:16

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

La version qui ne crash pas avec les erreurs 503 (il essaie encore une fois et skip la chaine pour ce jour si ça rate encore):
http://www.number6.ch/tools/tv_grab_fr_telerama_1.23

Toujours le problème d'encoding, mais on dirait que c'est plus un problème d'interprétation de mythfilldatabase, parce que dans ma console utf8, les accents sont nickel...

Hors ligne

#37 31/08/2017 09:35:29

evilkatz
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Testé et cela fonctionne très bien, j'ai pu créer le fichier xml et l'injecter dans tvheadend, en tout cas un gros merci pour ce boulot fantastique smile

#38 31/08/2017 13:27:39

andres@hotmail.fr
Membre
Inscription : 30/08/2017
Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Zubrick, as-tu une explication et un contournement pour les 503 ?
J'ai remarqué par exemple que :
. ca passe avec :https://api.telerama.fr/v1/programmes/telechargement?dates=2017-08-31&id_chaines=35&nb_par_page=16&page=1
. ca ne passe pas avec :https://api.telerama.fr/v1/programmes/telechargement?dates=2017-08-31&id_chaines=35&nb_par_page=17&page=1

Autrement dit ca plante quand on passe de nb_par page de 16 à 17.
En tout cas chez moi.

En général quand j'ai un 503, je fait un sleep de 50 ms et recommence, mais ca ne marche pas pour l'exemple ci-dessus.

Il y a toujours la solution de passer à nb_par-page à 1 mais ça fait beaucoup de requetes.

Dernière modification par andres@hotmail.fr (31/08/2017 13:31:56)

Hors ligne

#39 31/08/2017 13:36:58

mrtvfuencxozd
Membre
Inscription : 29/08/2017
Messages : 5

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Salut,
Just guessing, mais je pense que les erreurs 503 viennent d'un bug de leur backend qui fait que, en gros, certains programmes 'ne passent pas'.

En revanche, tu peux obtenir les programmes avant et après en jouant avec page= & nb_par_page.

au pire, si tu veux faire simple, pour les couples jour/chaine qui posent problème, tu mets nb_par_page=1 et tu boucles en ignorant les 503 jusqu'à obtenir 404.

Si tu veux faire moins de requêtes, tu peux isoler les problèmes par dichotomie.

Hors ligne

#40 31/08/2017 13:47:19

metaplop
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

j'ai l'impression qu'il y a aussi un problème pour "terminer" le flux non ? J'ai cette erreur:

write_end: Attempt to end element "desc" with "tv" tag at ./tv_grab_fr_telerama line

#41 31/08/2017 15:43:37

metaplop
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Je suggère à la ligne  998 (environ parce que j'ai bidouillé le source) l'ajout d'un translate pour virer les caractères invalides qui empêchent le xmlwriter de terminer correctement:

        if ( $description ne "" ) {
            if($critic) {
                $description = $description." --  Critique : ".$critic;
            }
            $description =~ tr/\x00-\x08\x0B\x0C\x0E-\x1F//d;
            push @{$prog{desc}}, [$description, $LANG ];
        }

#42 31/08/2017 16:42:10

racacax
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
J'utilisais moi même Telerama pour grab une partie de mon EPG. J'ai regardé la nouvelle source et elle est pleine d'erreur et bug beaucoup (erreurs 503). En effet, on voit des programmes qui commencent le 31 08 à 00h et se terminent le 06 09 à 00h. Pas encore au point. Peut-être que plus tard ce sera une bonne source. En attendant, je prend chez Proximus et Play TV et c'est pas mal.

Voici la page où trouver mon XMLTV avec la liste des ID pour ceux qui veulent : http://allfrtv.ga/xmltv.php

Il y a une version compressée et une version brute. Il est sur entre 6 et 7 jours pour la plupart des chaines. Seules quelques chaines comme les chaines locales ne le sont pas.

#43 31/08/2017 17:12:22

andres@hotmail.fr
Membre
Inscription : 30/08/2017
Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Pour l'erreur 503, je récupère les chaines 1 par 1 et 100 lignes de programmes par page.
Quand je tombe sur l'erreur 503, je recupère 1 ligne par page jusqu'à retomber sur l'erreur 503.
Je continue alors avec les chaines suivantes a raison de 100 lignes par page.

Racacax, je n'ai pas retrouvé ton erreur: "En effet, on voit des programmes qui commencent le 31 08 à 00h et se terminent le 06 09 à 00h.", Peux-tu préciser la chaine et confirmer la date ?

Hors ligne

#44 31/08/2017 17:51:54

racacax
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

{"debut":"2017-08-25 00:00:00","date_fin":"2017-09-01 00:00:00"}},"resume":"Anna innocente Flore et c'est Elisabeth qui devient alors le suspect n\u00b01. Tous les membres de la famille Delcourt subissent un test afin de savoir s'ils peuvent donner un de leurs reins \u00e0 Judith...","selections":{"films":false,"series":false,"replay_du_jour":false,"plateau_tele":false},"serie":{"saison":1,"numero_episode":30},"showview":"","signature":null,"signature_initiales":"","soustitre":"","titre":"Demain nous appartient","titre_original":null,"url":"tele\/serie\/demain-nous-appartient,26743151,saison1,episode30.php","vignettes":{"petite":"http:\/\/television.telerama.fr\/sites\/tr_master\/files\/styles\/program_thumbnail\/public\/sheet_media\/media\/169_COL_765388.jpg?itok=VOQeSUF_","grande":"http:\/\/television.telerama.fr\/sites\/tr_master\/files\/sheet_media\/media\/169_COL_765388.jpg","petite169":"http:\/\/television.telerama.fr\/sites\/tr_master\/files\/styles\/program_thumbnail\/public\/sheet_media\/media\/169_COL_765388.jpg?itok=VOQeSUF_","grande169":"http:\/\/television.telerama.fr\/sites\/tr_master\/files\/sheet_media\/media\/169_COL_765388.jpg"}},{"annee_realisation":null,"bandes_annonces":[],"commentaires":{"note":0,"nb_notes":0,"nb_commentaires":0},"critique":"","csa":"TP","csa_full":[{"id_csa":"1","nom_court":"TP","nom_long":"Tous publics"}],"flags":{"est_clair":false,"est_dolby":false,"est_stereo":true,"est_stereoar16x9":false,"est_ar16x9":true,"est_ar4x3":false,"est_stm":true,"est_vost":false,"est_vm":false,"est_hd":true,"est_inedit":true,"est_inedit_en_clair":true,"est_inedit_crypte":false,"est_direct":false,"est_differe":false,"est_resume":false,"est_premdif":false,"est_derdif":false,"est_redif":false,"est_nouveaute":false,"est_tempsfort":false,"est_audiovision":false,"est_senat":false,"est_3d":false},"genre_specifique":"Feuilleton sentimental","horaire":{"debut":"2017-08-28 11:00:00","fin":"2017-08-28 12:00:00"},"id_chaine":192,"id_emission":116759919,"id_genre":null,"id_programme":163030535,"imdb":null,"intervenants":[{"id_emission":"116759919","id_personne":"1586","id_role":"1","role":"","ordre":1,"nom":"Adair","prenom":"Deborah","libelle":"Acteur","url_personnalite":"\/personnalite\/deborah-adair,333649.php"},{"id_emission":"116759919","id_personne":"2653","id_role":"1","role":"","ordre":2,"nom":"Colbert","prenom":"Robert","libelle":"Acteur","url_personnalite":"\/personnalite\/robert-colbert,393092.php"},{"id_emission":"116759919","id_personne":"2654","id_role":"1","role":"","ordre":3,"nom":"McCarthy","prenom":"Julianna","libelle":"Acteur","url_personnalite":"\/personnalite\/julianna-mccarthy,333895.php"}

J'ai ceci pour TF1 le 28-08-2017

#45 31/08/2017 18:03:46

racacax
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Oups désolé, j'ai confondu par erreur fin et date_fin . La valeur de fin est bien bonne.

#46 31/08/2017 18:28:29

andres@hotmail.fr
Membre
Inscription : 30/08/2017
Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Racacax,
Je pensais qu'il s'agissait d'une date plus récente (>=31/08).
C'est peut-être une coincidence, mais j'ai l'impression que les données se fiabilisent.
Par exemple nb d'erreurs 503:
. 7 le 31/8
. 4 le 1/9
. 3 le 2/9
. 0 du 4/9 au 9/9

Hors ligne

#47 31/08/2017 19:26:47

racacax
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Effectivement, ça se fiabilise. Il faudra voir si ça se confirme par la suite et qu'il n'y ait plus d'erreurs 503. Personnellement, j'utilise un script fait maison et suis en PHP. Il vaut mieux pour moi avoir toutes les données d'un coup (7 jours et toutes les chaines). C'est possible en mettant dans l'URL la liste des dates avec une virgule, la liste des chaines avec une virgule et un chiffre très grand pour nb_par_page mais avec les erreurs 503, je ne peux pas encore le faire correctement. Actuellement, je suis obligé de faire chaine par chaine et jour par jour. Comme ça, l'impact des erreurs 503 est minime et ne concerne qu'un jour et qu'une chaine. Mais je ne l'utilise pas encore pour mon XMLTV. Je retenterai plus tard quand ce sera plus stable.

Je ne connais pas trop votre langage de grab mais lorsqu'il y a des bugs, je pense qu'on est tous concernés

#48 31/08/2017 20:52:45

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci Metaplop, j'ai rajouté ta ligne.
J'ai créé un github (https://github.com/zubrick/tv_grab_fr_telerama). Si tu as fait des ajouts intéressants, ça peut être bien de les mettre dedans.
D'ailleurs, vu que tu as l'air de t'y connaître en caractères spéciaux, si tu as une idée pour l'encodage, je suis preneur.

Pour ce qui est des erreurs 503.
503 est l'erreur http pour forbidden, je penses donc que c'est plutôt un problème de rate limiting sur leur api que de vrais erreurs qui reverrai plutôt une erreur 500.
Est-ce que vous avez beaucoup de trous avec la version 1.23 qui essaie une deuxième fois en cas de 503?

Dernière modification par zubrick (31/08/2017 20:57:25)

Hors ligne

#49 31/08/2017 20:59:21

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

zubrick a écrit :

Merci Metaplop, j'ai rajouté ta ligne.
J'ai créé un github. Si tu as fait des ajouts intéressants, ça peut être bien de les mettre dedans.
D'ailleurs, vu que tu as l'air de t'y connaître en caractères spéciaux, si tu as une idée pour l'encodage, je suis preneur.

Pour ce qui est des erreurs 503.
503 est l'erreur http pour forbidden, je penses donc que c'est plutôt un problème de rate limiting sur leur api que de vrais erreurs qui reverrai plutôt une erreur 500.
Est-ce que vous avez beaucoup de trous avec la version 1.23 qui essaie une deuxième fois en cas de 503?

Non, c'est le 403 pour forbidden.
503 c'est un serveur web frontal qui reçoit une erreur d'un serveur web backend : soit c'est de la surcharge, soit c'est un bug dans un backend qui renvoie une réponse vide au frontal.
Quand c'est persistant sur certaines pages de certaines chaines, j'aurais plutôt tendance à dire que c'est le deuxième cas. Quand ça disparaît en attendant quelques secondes, c'est le premier.
Et je confirme que plus on avance en date, moins il y a d'erreur.

Hors ligne

#50 31/08/2017 21:41:44

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

J'ai fait quelques essais pour essayer de comprendre ce qui se passe avec les 503.
En réduisant à des pages de 1 programme, j'ai pu localiser un "point" précis qui plante :

http://api.telerama.fr/v1/programmes/te … e=1&page=1 => OK
http://api.telerama.fr/v1/programmes/te … e=1&page=2 => 503
http://api.telerama.fr/v1/programmes/te … e=1&page=3 => OK

En regardant plus en détail les horaires des programmes renvoyés :

http://api.telerama.fr/v1/programmes/te … e=1&page=1

{
  "debut": "2017-09-01 06:55:00",
  "fin": "2017-09-01 08:15:00"
}

http://api.telerama.fr/v1/programmes/te … e=1&page=3

{
  "debut": "2017-09-01 08:15:00",
  "fin": "2017-09-01 09:50:00"
}

on voit qu'il n'y a pas de trou entre le programme de la page 1 et celui de la page 3.

J'aurais tendance à en conclure qu'il n'y a pas réellement de programme sur cette page 2. Si on localise par dichotomie tous ces programmes "fantômes" on devrait pouvoir éviter les trous.

Hors ligne

Réponse rapide

Veuillez composer votre message et l'envoyer
Si vous êtes un être humain ne changez pas le contenu de ces deux champs.

Pied de page des forums

Propulsé par FluxBB

Webmasteur SnouF

Hébergé par Tuxfamily

Valid XHTML 1.0 Strict