Vous n'êtes pas identifié(e).
De mon côté, j'avance assez bien sur une version python, qui devrait pouvoir être opérationnelle d'ici ce soir, au pire d'ici demain soir.
Par contre, hier soir, la nouvelle api avait beaucoup de mal à répondre (environ 9 requêtes sur 10 partaient en erreur 503, y compris dans l'appli mobile). J'espère que ce n'est pas lié à nos tests...
Comme solution de secours temporaire, pour ceux qui le peuvent, il y a les 7 jours d'essai gratuit de schedulesdirect.org.
Hors ligne
J'ai regardé un peu, c'est en bonne voie, il faut juste que j'adapte les variables, mais je devrais arriver à un truc fonctionnel au plus tard demain
Hors ligne
Alors là chapeau les gars. Désolé de ne pouvoir vous aider mais je suis totalement incompétent dans ce domaine.
Quelle réactivité !!!
RPI3+ en mythtv et TVHEADEND (en construction pour les 2 ...)
Hors ligne
Il semble qu'avec le nouveau site on ne récupère les programmes qu'à partir de 6h du matin.
Quelqu'un a-t-il trouvé un paramètre pour demander les programmes à partir de 0h ?
Hors ligne
des programmes avant 6h sont disponibles dans les listings de la veille.
bon souvent le dernier est un truc du genre "Programmes de la nuit" ou "Fin des programmes"
Hors ligne
Merci à tous pour les recherches
Pour les abonnés free je rappel que j'avais écrit tv_grab_fr_mafreebox_hts basé sur l'api de la freebox. Bien que prévu initialement pour hts tvheadend il devrait fonctionner avec mythtv. Les descriptions des programmes sont moins complètent que celle de telerama.
https://gitlab.com/snouf/tvheadend_tools
Hors ligne
Hello,
J'ai avancé un peu, mais j'ai toujours un problème d'encodage de caractères.
En attendant, voici une version intermédiaire pour au moins avoir un peu de contenu :
http://www.number6.ch/tools/tv_grab_fr_telerama_1.22
Les numéros des chaines ne sont pas les mêmes, j'ai donc changé les id pour quelque chose du genre C1.api.telerame.fr pour éviter de mettre le mauvais contenu sur la mauvaise chaine.
Dites moi si vous avez d'autres problèmes.
Dernière modification par zubrick (30/08/2017 23:02:22)
Hors ligne
Bonsoir,
sinon, le fichier dont j'ai donné le lien plus haut contient maintenant plus d'infos issues de la nouvelle API (en slalomant entre les erreurs 503) pour toutes les chaines de la TNT.
Il n'y a pas encore toutes les infos disponibles (pas d'acteurs, realisateurs...), mais ça permet de voir un peu venir, et comme les ids sont les mêmes que ceux de l'ancien grabber, (sauf pour les quelques chaines dont je n'avais pas l'ancienne valeur),c'est utilisable tel quel.
le même après bzip2.
xmltv.xml.bz2
Dernière modification par mrtvfuencxozd (30/08/2017 23:42:16)
Hors ligne
Hello,
J'ai avancé un peu, mais j'ai toujours un problème d'encodage de caractères.
....
Tu veux passer du windows à l'utf8 ?
Encode::from_to($data, "windows-1252", "UTF8")
Hors ligne
C'est bien ce que j'ai fait, mais après c'est peut-être le decode du json qui pose problème.
Quoi qu'il en soit, les erreurs 503 font tout planter, donc avec une chaine c'était concluant, mais avec plus, ça le fait pas :-(
Hors ligne
La version qui ne crash pas avec les erreurs 503 (il essaie encore une fois et skip la chaine pour ce jour si ça rate encore):
http://www.number6.ch/tools/tv_grab_fr_telerama_1.23
Toujours le problème d'encoding, mais on dirait que c'est plus un problème d'interprétation de mythfilldatabase, parce que dans ma console utf8, les accents sont nickel...
Hors ligne
Testé et cela fonctionne très bien, j'ai pu créer le fichier xml et l'injecter dans tvheadend, en tout cas un gros merci pour ce boulot fantastique
Zubrick, as-tu une explication et un contournement pour les 503 ?
J'ai remarqué par exemple que :
. ca passe avec :https://api.telerama.fr/v1/programmes/telechargement?dates=2017-08-31&id_chaines=35&nb_par_page=16&page=1
. ca ne passe pas avec :https://api.telerama.fr/v1/programmes/telechargement?dates=2017-08-31&id_chaines=35&nb_par_page=17&page=1
Autrement dit ca plante quand on passe de nb_par page de 16 à 17.
En tout cas chez moi.
En général quand j'ai un 503, je fait un sleep de 50 ms et recommence, mais ca ne marche pas pour l'exemple ci-dessus.
Il y a toujours la solution de passer à nb_par-page à 1 mais ça fait beaucoup de requetes.
Dernière modification par andres@hotmail.fr (31/08/2017 13:31:56)
Hors ligne
Salut,
Just guessing, mais je pense que les erreurs 503 viennent d'un bug de leur backend qui fait que, en gros, certains programmes 'ne passent pas'.
En revanche, tu peux obtenir les programmes avant et après en jouant avec page= & nb_par_page.
au pire, si tu veux faire simple, pour les couples jour/chaine qui posent problème, tu mets nb_par_page=1 et tu boucles en ignorant les 503 jusqu'à obtenir 404.
Si tu veux faire moins de requêtes, tu peux isoler les problèmes par dichotomie.
Hors ligne
j'ai l'impression qu'il y a aussi un problème pour "terminer" le flux non ? J'ai cette erreur:
write_end: Attempt to end element "desc" with "tv" tag at ./tv_grab_fr_telerama line
Je suggère à la ligne 998 (environ parce que j'ai bidouillé le source) l'ajout d'un translate pour virer les caractères invalides qui empêchent le xmlwriter de terminer correctement:
if ( $description ne "" ) {
if($critic) {
$description = $description." -- Critique : ".$critic;
}
$description =~ tr/\x00-\x08\x0B\x0C\x0E-\x1F//d;
push @{$prog{desc}}, [$description, $LANG ];
}
Bonjour,
J'utilisais moi même Telerama pour grab une partie de mon EPG. J'ai regardé la nouvelle source et elle est pleine d'erreur et bug beaucoup (erreurs 503). En effet, on voit des programmes qui commencent le 31 08 à 00h et se terminent le 06 09 à 00h. Pas encore au point. Peut-être que plus tard ce sera une bonne source. En attendant, je prend chez Proximus et Play TV et c'est pas mal.
Voici la page où trouver mon XMLTV avec la liste des ID pour ceux qui veulent : http://allfrtv.ga/xmltv.php
Il y a une version compressée et une version brute. Il est sur entre 6 et 7 jours pour la plupart des chaines. Seules quelques chaines comme les chaines locales ne le sont pas.
Pour l'erreur 503, je récupère les chaines 1 par 1 et 100 lignes de programmes par page.
Quand je tombe sur l'erreur 503, je recupère 1 ligne par page jusqu'à retomber sur l'erreur 503.
Je continue alors avec les chaines suivantes a raison de 100 lignes par page.
Racacax, je n'ai pas retrouvé ton erreur: "En effet, on voit des programmes qui commencent le 31 08 à 00h et se terminent le 06 09 à 00h.", Peux-tu préciser la chaine et confirmer la date ?
Hors ligne
{"debut":"2017-08-25 00:00:00","date_fin":"2017-09-01 00:00:00"}},"resume":"Anna innocente Flore et c'est Elisabeth qui devient alors le suspect n\u00b01. Tous les membres de la famille Delcourt subissent un test afin de savoir s'ils peuvent donner un de leurs reins \u00e0 Judith...","selections":{"films":false,"series":false,"replay_du_jour":false,"plateau_tele":false},"serie":{"saison":1,"numero_episode":30},"showview":"","signature":null,"signature_initiales":"","soustitre":"","titre":"Demain nous appartient","titre_original":null,"url":"tele\/serie\/demain-nous-appartient,26743151,saison1,episode30.php","vignettes":{"petite":"http:\/\/television.telerama.fr\/sites\/tr_master\/files\/styles\/program_thumbnail\/public\/sheet_media\/media\/169_COL_765388.jpg?itok=VOQeSUF_","grande":"http:\/\/television.telerama.fr\/sites\/tr_master\/files\/sheet_media\/media\/169_COL_765388.jpg","petite169":"http:\/\/television.telerama.fr\/sites\/tr_master\/files\/styles\/program_thumbnail\/public\/sheet_media\/media\/169_COL_765388.jpg?itok=VOQeSUF_","grande169":"http:\/\/television.telerama.fr\/sites\/tr_master\/files\/sheet_media\/media\/169_COL_765388.jpg"}},{"annee_realisation":null,"bandes_annonces":[],"commentaires":{"note":0,"nb_notes":0,"nb_commentaires":0},"critique":"","csa":"TP","csa_full":[{"id_csa":"1","nom_court":"TP","nom_long":"Tous publics"}],"flags":{"est_clair":false,"est_dolby":false,"est_stereo":true,"est_stereoar16x9":false,"est_ar16x9":true,"est_ar4x3":false,"est_stm":true,"est_vost":false,"est_vm":false,"est_hd":true,"est_inedit":true,"est_inedit_en_clair":true,"est_inedit_crypte":false,"est_direct":false,"est_differe":false,"est_resume":false,"est_premdif":false,"est_derdif":false,"est_redif":false,"est_nouveaute":false,"est_tempsfort":false,"est_audiovision":false,"est_senat":false,"est_3d":false},"genre_specifique":"Feuilleton sentimental","horaire":{"debut":"2017-08-28 11:00:00","fin":"2017-08-28 12:00:00"},"id_chaine":192,"id_emission":116759919,"id_genre":null,"id_programme":163030535,"imdb":null,"intervenants":[{"id_emission":"116759919","id_personne":"1586","id_role":"1","role":"","ordre":1,"nom":"Adair","prenom":"Deborah","libelle":"Acteur","url_personnalite":"\/personnalite\/deborah-adair,333649.php"},{"id_emission":"116759919","id_personne":"2653","id_role":"1","role":"","ordre":2,"nom":"Colbert","prenom":"Robert","libelle":"Acteur","url_personnalite":"\/personnalite\/robert-colbert,393092.php"},{"id_emission":"116759919","id_personne":"2654","id_role":"1","role":"","ordre":3,"nom":"McCarthy","prenom":"Julianna","libelle":"Acteur","url_personnalite":"\/personnalite\/julianna-mccarthy,333895.php"}
J'ai ceci pour TF1 le 28-08-2017
Oups désolé, j'ai confondu par erreur fin et date_fin . La valeur de fin est bien bonne.
Racacax,
Je pensais qu'il s'agissait d'une date plus récente (>=31/08).
C'est peut-être une coincidence, mais j'ai l'impression que les données se fiabilisent.
Par exemple nb d'erreurs 503:
. 7 le 31/8
. 4 le 1/9
. 3 le 2/9
. 0 du 4/9 au 9/9
Hors ligne
Effectivement, ça se fiabilise. Il faudra voir si ça se confirme par la suite et qu'il n'y ait plus d'erreurs 503. Personnellement, j'utilise un script fait maison et suis en PHP. Il vaut mieux pour moi avoir toutes les données d'un coup (7 jours et toutes les chaines). C'est possible en mettant dans l'URL la liste des dates avec une virgule, la liste des chaines avec une virgule et un chiffre très grand pour nb_par_page mais avec les erreurs 503, je ne peux pas encore le faire correctement. Actuellement, je suis obligé de faire chaine par chaine et jour par jour. Comme ça, l'impact des erreurs 503 est minime et ne concerne qu'un jour et qu'une chaine. Mais je ne l'utilise pas encore pour mon XMLTV. Je retenterai plus tard quand ce sera plus stable.
Je ne connais pas trop votre langage de grab mais lorsqu'il y a des bugs, je pense qu'on est tous concernés
Merci Metaplop, j'ai rajouté ta ligne.
J'ai créé un github (https://github.com/zubrick/tv_grab_fr_telerama). Si tu as fait des ajouts intéressants, ça peut être bien de les mettre dedans.
D'ailleurs, vu que tu as l'air de t'y connaître en caractères spéciaux, si tu as une idée pour l'encodage, je suis preneur.
Pour ce qui est des erreurs 503.
503 est l'erreur http pour forbidden, je penses donc que c'est plutôt un problème de rate limiting sur leur api que de vrais erreurs qui reverrai plutôt une erreur 500.
Est-ce que vous avez beaucoup de trous avec la version 1.23 qui essaie une deuxième fois en cas de 503?
Dernière modification par zubrick (31/08/2017 20:57:25)
Hors ligne
Merci Metaplop, j'ai rajouté ta ligne.
J'ai créé un github. Si tu as fait des ajouts intéressants, ça peut être bien de les mettre dedans.
D'ailleurs, vu que tu as l'air de t'y connaître en caractères spéciaux, si tu as une idée pour l'encodage, je suis preneur.Pour ce qui est des erreurs 503.
503 est l'erreur http pour forbidden, je penses donc que c'est plutôt un problème de rate limiting sur leur api que de vrais erreurs qui reverrai plutôt une erreur 500.
Est-ce que vous avez beaucoup de trous avec la version 1.23 qui essaie une deuxième fois en cas de 503?
Non, c'est le 403 pour forbidden.
503 c'est un serveur web frontal qui reçoit une erreur d'un serveur web backend : soit c'est de la surcharge, soit c'est un bug dans un backend qui renvoie une réponse vide au frontal.
Quand c'est persistant sur certaines pages de certaines chaines, j'aurais plutôt tendance à dire que c'est le deuxième cas. Quand ça disparaît en attendant quelques secondes, c'est le premier.
Et je confirme que plus on avance en date, moins il y a d'erreur.
Hors ligne
J'ai fait quelques essais pour essayer de comprendre ce qui se passe avec les 503.
En réduisant à des pages de 1 programme, j'ai pu localiser un "point" précis qui plante :
http://api.telerama.fr/v1/programmes/te … e=1&page=1 => OK
http://api.telerama.fr/v1/programmes/te … e=1&page=2 => 503
http://api.telerama.fr/v1/programmes/te … e=1&page=3 => OK
En regardant plus en détail les horaires des programmes renvoyés :
http://api.telerama.fr/v1/programmes/te … e=1&page=1
{
"debut": "2017-09-01 06:55:00",
"fin": "2017-09-01 08:15:00"
}
http://api.telerama.fr/v1/programmes/te … e=1&page=3
{
"debut": "2017-09-01 08:15:00",
"fin": "2017-09-01 09:50:00"
}
on voit qu'il n'y a pas de trou entre le programme de la page 1 et celui de la page 3.
J'aurais tendance à en conclure qu'il n'y a pas réellement de programme sur cette page 2. Si on localise par dichotomie tous ces programmes "fantômes" on devrait pouvoir éviter les trous.
Hors ligne