tv_grab_fr_telerama 1.21 ne fonctionne plus ...

patrick-g · 02/09/2017 20:22:34

Salut à tous

@Zubrick :
Je vois que tu as quand même repris un partie des modifs que j'avais indiquées pour l'utf8
Le json n'est pas toujours très cohérent : 'scénario' à la place de 'scénariste', "Interprète' à la place de 'acteur', et autres.
Il y a aussi un champ 'critique' qui est parfois renseigné (tu as choisi le champ 'notule'. Quand le champ 'critique' existe il est plus complet que 'notule'. Je me sers des champs 'Possede_xxx' pour savoir s'il y en a un à prendre.

Et tu avais oublié de reprendre le rôle pour les intervenants. Pour les acteurs le sens est clair, pour les autres il y a parfois des précisions sur leur fonction.

J'ai ajouté un traitement pour celles que j'ai vu :

diff -u tv_grab_fr_telerama_1.26 tv_grab_fr_telerama_1.27
--- tv_grab_fr_telerama_1.26 2017-09-02 19:57:05.960765399 +0200
+++ tv_grab_fr_telerama_1.27 2017-09-02 20:03:03.462036824 +0200
@@ -427,7 +427,7 @@
sub get_page( $ );
# Set this to 1 of you debug strings
-my $DEBUG_FR = 0;
+my $DEBUG_FR = 1;
# Internal debug functions
sub debug_print( @ ) {
if ($DEBUG_FR) { print STDERR @_; }
@@ -756,7 +756,7 @@
# Get the current page
my $t = get_nice_tree($url);
- debug_print( "URL : " . $url ."\n");
+ # debug_print( "URL : " . $url ."\n");
# Set by default an EMPTY logo
my $chicon = "EMPTY";
@@ -862,7 +862,20 @@
my $genre = $line->{'id_genre'} ? $line->{'id_genre'} : 0;
my $genretext = "";
$genretext = $genres[$genre] if ($genre);
- my $critic = $line->{'critique'};
+ my $critic = "";
+
+ # debug_print("possede_critique : ".$line->{'possede_critique'}."\n");
+ # debug_print("possede_notule : ".$line->{'possede_notule'}."\n");
+
+ if ($line->{'possede_critique'} == 1) {
+ $critic = $line->{'critique'};
+ # debug_print("critique : ".$critic."\n");
+ } elsif ($line->{'possede_notule'} == 1) {
+ $critic = $line->{'notule'};
+ # debug_print("notule : ".$critic."\n");
+
+ }
+# my $critic = $line->{'notule'};
my $stars = $line->{'note_telerama'};
my $chname = $channelnames[$chid];
@@ -909,15 +922,16 @@
foreach my $people (@cast) {
my $ctype = $people->{'libelle'};
my $cname = $people->{'prenom'}." ".$people->{'nom'};
- if ($ctype =~ m/Acteur/ ) {
+ $cname = $cname." (".$people->{'role'}.")" if ($people->{'role'});
+ if ($ctype =~ m/Acteur/ || $ctype =~ m/Interpr.+te/) {
push @{$prog{credits}{actor}}, $cname;
- } elsif ($ctype =~ m/R.+alisateur/) {
+ } elsif ($ctype =~ m/R.+alisateur/ || $ctype =~ m/Metteur en Sc.+ne/) {
push @{$prog{credits}{director}}, $cname;
- } elsif ($ctype =~ m/Pr.+sentateur/) {
+ } elsif ($ctype =~ m/Pr.+sentateur/ || $ctype =~ m/pr.+sentateur/){
push @{$prog{credits}{presenter}}, $cname;
} elsif ($ctype =~ m/Musique/) {
push @{$prog{credits}{composer}}, $cname;
- } elsif ($ctype =~ m/Cr.+ateur/ || $ctype =~ m/Auteur/ || $ctype =~ m/Sc.+nariste/) {
+ } elsif ($ctype =~ m/Cr.+ateur/ || $ctype =~ m/Auteur/ || $ctype =~ m/Sc.+nariste/ || $ctype =~ m/Sc.+nario/ || $ctype =~ m/Dialogue/) {
push @{$prog{credits}{writer}}, $cname;
} else {
push @{$prog{credits}{guest}}, $cname;

Je vois que pendant que j'écrivais ce message, tu as déjà corrigé quelques points.

Le double tiret de séparation description/critique que tu viens de supprimer (commit d9f80b27f4ca6e05b728b0fdbb46309b21b4f978), je crois qu'il servait à MythTV pour retrouver ses petits (à confirmer) entre les 2 champs.

GiPé · 02/09/2017 20:24:48

Andres,

J'avais testé sans donner de page avec :
https://api.telerama.fr/v1/programmes/t … haines=119

Là il n'y est pas. Il faut vraiment paginer ?

J'ai lancé le grabber avec :
tv_grab_fr_telerama --days 1 --offset 0 > xmltv.xml

Pour n'avoir que la journée.

patrick-g · 02/09/2017 20:31:52

Ah, j'oubliais, j'ai systématiquement 2 ou 3 double erreurs 503 en tentant de récupérer une cinquantaine de chaines sur une seule journée et un délai de 1s (la valeur par défaut est de 2s).
(c'est le fichier de conf que j'avais au début de mes tests).

En passant à 4 chaines plus de problèmes.

zubrick · 02/09/2017 20:45:29

Ok, moi je n'ai pas autant de chaines, mais peut-être que monter le délai à 2 secondes aide.

J'avais aussi modifié pour la critique, mais ta version est plus propre.
J'ai tout mis dans la 1.27: https://raw.githubusercontent.com/zubri … r_telerama

Si tu as un compte github, je peux te mettre dans le projet, comme ça tu peux modifier, ça sera plus simple.

GiPé · 02/09/2017 21:03:07

@Zubrick

Le "-- " avant Critique (double tiret, double espace) me permettait de séparer les champs avant de populer la BD.

Si la modification est définitive, je m'adapterai.

Bonne soirée.

andres@hotmail.fr · 02/09/2017 21:13:34

Gipé,
Si tu ne précises pas le nb de programmes par page (nb_par_page), il n'en renvoie que 10 à la fois.
Si tu veux recuperer tous les programmes, précise une valeur très grande de nb_par_page, par exemple 1000:
https://api.telerama.fr/v1/programmes/t … _page=1000
Là, tu retrouveras Valentine

GiPé · 02/09/2017 21:20:49

@Andres

Merci pour l'info, ceci étant j'utilise le grabber de Zubrick avec la commande:
tv_grab_fr_telerama --days 1 --offset 0 > xmltv.xml
pour les 28 chaines de la TNT et là je n trouve toujours pas ma Valentine dans le xmltv.xml ! C'est grave, docteur ?

Bon, j’arrête de ramer, c'est le seul problème que j'ai vu actuellement.

zubrick · 02/09/2017 21:27:25

@GiPé: Je l'ai supprimé parce que je l'avais ajouté pour faire un essai de contenu modifié et j'ai oublié de le supprimer, donc c'est définitif comme il est maintenant.

patrick-g · 02/09/2017 21:33:17

@ Gipé, Zubrick :

Autrement pour la critique on peut utiliser l'élément 'review' de XMLTV. C'est ce que j'avais fait dans la première version que j'avais modifiée (en 2011 déjà!). Mais à l'époque MythTV (ou un de ses scripts) ne gérait pas ce champ, on avait donc (re)mis en place le coup du double tiret dans la description.
Peut-être le gère-t-il à présent.

@Zubrick :
Je n'ai pas de compte GitHub pour l'instant mais je pense en ouvrir un bientôt. En même temps, je n'y connais rien en Perl. tv_grab_fr_telerama est la seule fois de ma vie où j'ai fait du perl .

Dernière modification par patrick-g (02/09/2017 21:36:21)

GiPé · 03/09/2017 12:27:55

Bonjour,

Je n'ai pas vu dans le datamodel XMLTV la possibilité de spécifier si un programme est crypté ou non. Il aurait été intéressant d'avoir l'info dans l'XML généré par le grabber.

lhebui · 03/09/2017 14:53:23

Bonjour,

Je viens de vérifier le fonctionnement de la version 1.27. Tout est revenu comme avant.

Il a fallu tout de meme que je mette les pattes dans mythconverg pour changer c3.telerama.rf en c3.api.telerama.fr par exemple et ceci pour toutes les chaines. Pas de pb avec phpmyadmin.

Par contre, certaines chaines ne sont pas récupérées comme TF1, D8, W9, LCP et les dernières chaines apparues sur la tnt. J'ai regardé et j'ai vu dans le fichier xml C1.api.telerama.fr et dans mythconverg, j'ai c1.api.telerama.fr .... Pb de casse ?

Pourquoi pas le meme pb sur France 2 et France 3 ?

bon, de toute façon, je repars et je pourrai effectuer les modifs que la semaine prochaine ...

zubrick · 03/09/2017 22:07:37

lhebui a écrit :

Bonjour,
Je viens de vérifier le fonctionnement de la version 1.27. Tout est revenu comme avant.
Il a fallu tout de meme que je mette les pattes dans mythconverg pour changer c3.telerama.rf en c3.api.telerama.fr par exemple et ceci pour toutes les chaines. Pas de pb avec phpmyadmin.
Par contre, certaines chaines ne sont pas récupérées comme TF1, D8, W9, LCP et les dernières chaines apparues sur la tnt. J'ai regardé et j'ai vu dans le fichier xml C1.api.telerama.fr et dans mythconverg, j'ai c1.api.telerama.fr .... Pb de casse ?
Pourquoi pas le meme pb sur France 2 et France 3 ?
bon, de toute façon, je repars et je pourrai effectuer les modifs que la semaine prochaine ...

Salut,
comme dit plus haut, les numéros de chaines ne sont plus les mêmes avec leur nouvelle api, c'est pour cela que j'ai changé le format des ids, pour ne pas se retrouver avec un programme faux.
Il faut donc refaire un --configure avec le graber et mettre les bons ids.
TF1 est par exemple le 192 maintenant.

lhebui · 04/09/2017 06:53:58

Ok, je m'occupe de cela dès le WE prochain.

Merci, vous avez fait un sacré boulot pour retrouver un grabber qui fonctionne ... Vraiment un grand merci.

Dernière modification par lhebui (04/09/2017 06:55:21)

coupi · 05/09/2017 19:10:24

Bonjour,
Un immense merci à tout ceux qui ont permis de remettre en route tv_grab_fr_telerama.
Je peux à nouveau programmer mes enregistrements avec TVHClient sur le raspberry

totola · 06/09/2017 15:29:20

Bonjour et merci pour le travail!
Juste je trouve que la partie récupération des programmes est un peu longue..
Et sinon comment faire pour ne récupérer que 2 jours par exemple?
Merci

lhebui · 06/09/2017 19:08:06

Pour ne récupérer que 2 jours, je pense qu'il faut faire la commande suivante :

./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 2

Le paramètre de --days est 2 (2 jours)

totola · 06/09/2017 19:12:08

Bonjour et merci de la réponse,
OK mais j'aimerai récupérer les jours 1 et 8 par exemple..
(1 au cas où il y ait des modifications de dernière minute et 8 pour conserver toujours 8 jours de programmation)
Merci

lhebui · 06/09/2017 19:57:30

Je ferai bien le truc suivant :

./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 1 && ./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 8

Naturellement, je ne suis pas sûr et demande une validation par les pro.

Désolé mais je ne maitrise pas les modifs de wiki. Ce serait bien de faire la modif de version avec un lien dans le wiki pour le grabber de Telerama en version 1.27.

Dernière modification par lhebui (06/09/2017 20:12:12)

zubrick · 06/09/2017 20:40:00

lhebui a écrit :

Je ferai bien le truc suivant :
./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 1 && ./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 8
Naturellement, je ne suis pas sûr et demande une validation par les pro.
Désolé mais je ne maitrise pas les modifs de wiki. Ce serait bien de faire la modif de version avec un lien dans le wiki pour le grabber de Telerama en version 1.27.

l'option --days donne le nombre de jour à récupérer. Dans ce cas il faut mettre 1 les deux fois.
Ensuite il faut utiliser l'option --offset. --offset 0 veut dire aujourd'hui, --offset 1 veut dire demain, et ainsi de suite.
par exemple

--offset 1 --days 2

veut dire demain et apprès demain

J'ai modifié la page de comparaison des grabbers, je ne sais pas s'il y en a d'autres à modifier pour avoir le lien correct vers la dernière version.

@Snouf: désolé, je n'avais pas vu que tu avais un repo ailleurs, j'aurais pu continuer sur celui ci

Dernière modification par zubrick (06/09/2017 20:41:24)

Minux · 09/09/2017 11:37:48

Merci à tous pour le boulot effectué, tout fonctionne impeccable avec la version 1.27

Romain · 11/09/2017 17:09:33

Bonjour à tous,

J'utilisé le site xmltv.dtdns.net pour télécharger le guide.
Le site devait utilisé aussi le programme de télérama mais il n'a pas été mis a jour.

Je suis sur Windows, comment faire pour obtenir le fichier xml à partir du script tv_grab_fr_telerama fourni plus haut ?

Merci d'avance

mylx · 12/09/2017 09:20:51

Récupère un fichier xml chez Racacax : XMLTV Francophone

Ou va voir sur la partie française du forum de MediaPortal si tu veux vraiment utiliser tv_grab_telerama toi même sur Windows :

Tuto xmltv sur Windows

Romain · 12/09/2017 09:48:33

Merci.
Finalement j'y ai passé toute la soirée et j'ai réussi à le faire en installant ActivePerl
Et avec tv_grab_fr_telerama, je récupère donc le contenu de télérama.

Par contre, est-ce qu'il y a une différence de contenu avec celui de chez Racacax ?
Quel est la source ?
Est-ce qu'on a aussi les images des programmes et un contenu aussi complet que celui de télérama ?

andres@hotmail.fr · 12/09/2017 17:41:56

@Romain,

Il semble que Racacax ne récupère pas toutes les chaines récupérées par tv_grav_fr_telerama, par exemple Guadeloupe 1ère, Martinique 1ère, etc.
Je souhaite faire fonctionner tv_grab_fr_telerama sous Windows, avec ActivePerl. Quelles modifications as-tu apportées, ou quelles librairies as-tu chargées après l'installation d'ActivePerl ?

Parallèlement, existe-t-il un site qui récupère le résultat de tv_grab_fr_telerama sans filtrer des chaines. Auparavant on avait xmltv.dtdns.net et http://kevinpato.free.fr/xmltv/download/ mais depuis le problème du 20/08, il n'y a plus de mise à jour.
Ce type de site a, en plus de l'avantage de ne pas avoir à faire tourner tv_grab_fr_telerama sur sa machine, de ne pas surcharger le site de Telerama et donc de ne pas les pousser à investiguer.

racacax · 13/09/2017 06:53:03

Bonjour,
Mon XMLTV n'utilise pas Telerama. Du moins pour le moment. Lorsque je mettrai à jour, j'ajouterai quelques chaines et maintenant que Telerama est stable, je pourrai les prendre ici. Je mettrai les Guadeloupe 1ere,... Pour l'instant je suis occupé mais ce week-end, je devrais pouvoir.

Pour ce qui est des sources que j'utilise, c'est Proximus, Play TV, tv5monde.com,discoveryinvestigation,ici radio canada, tva.canoe.ca, programme-tv.net et quelques autres. Bientôt, il y aura aussi Orange.fr, Telerama (script prêt), antenne réunion et encore d'autres sites afin d'avoir le plus de chaines francophones possibles.
Pour ceux qui doute de la stabilité, dans le cas ou une source deviendrait HS, cela n'impactera pas le reste des sources car les sources ne sont mises en lien que par assemblage de tableau. Et si une source est HS, le tableau est juste vide. De plus, les données sont mises en cache donc si un grab d'une chaine/journée a foiré, pas grave j'en serai informé et je pourrai ajouter une nouvelle source et seule la dernière journée de la source sera impactée lors du bug.

Dernière modification par racacax (13/09/2017 17:45:07)

MythTV-fr

#76 02/09/2017 20:22:34

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#77 02/09/2017 20:24:48

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#78 02/09/2017 20:31:52

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#79 02/09/2017 20:45:29

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#80 02/09/2017 21:03:07

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#81 02/09/2017 21:13:34

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#82 02/09/2017 21:20:49

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#83 02/09/2017 21:27:25

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#84 02/09/2017 21:33:17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#85 03/09/2017 12:27:55

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#86 03/09/2017 14:53:23

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#87 03/09/2017 22:07:37

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#88 04/09/2017 06:53:58

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#89 05/09/2017 19:10:24

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#90 06/09/2017 15:29:20

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#91 06/09/2017 19:08:06

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#92 06/09/2017 19:12:08

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#93 06/09/2017 19:57:30

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#94 06/09/2017 20:40:00

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#95 09/09/2017 11:37:48

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#96 11/09/2017 17:09:33

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#97 12/09/2017 09:20:51

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#98 12/09/2017 09:48:33

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#99 12/09/2017 17:41:56

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

#100 13/09/2017 06:53:03

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Réponse rapide

Pied de page des forums