#76 02/09/2017 20:22:34

patrick-g
Membre
Inscription : 30/08/2011
Messages : 51

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Salut à tous

@Zubrick :
Je vois que tu as quand même repris un partie des modifs que j'avais indiquées pour l'utf8 smile
Le json n'est pas toujours très cohérent : 'scénario' à la place de 'scénariste', "Interprète' à la place de 'acteur', et autres.
Il y a aussi un champ 'critique' qui est parfois renseigné (tu as choisi le champ 'notule'. Quand le champ 'critique' existe il est plus complet que 'notule'. Je me sers des champs 'Possede_xxx' pour savoir s'il y en a un à prendre.

Et tu avais oublié de reprendre le rôle pour les intervenants. Pour les acteurs le sens est clair, pour les autres il y a parfois des précisions sur leur fonction.

J'ai ajouté un traitement pour celles que j'ai vu :

diff -u tv_grab_fr_telerama_1.26 tv_grab_fr_telerama_1.27
--- tv_grab_fr_telerama_1.26    2017-09-02 19:57:05.960765399 +0200
+++ tv_grab_fr_telerama_1.27    2017-09-02 20:03:03.462036824 +0200
@@ -427,7 +427,7 @@
sub get_page( $ );

# Set this to 1 of you debug strings
-my $DEBUG_FR = 0;
+my $DEBUG_FR = 1;
# Internal debug functions
sub debug_print( @ ) {
     if ($DEBUG_FR) { print STDERR @_; }
@@ -756,7 +756,7 @@
     # Get the current page
     my $t = get_nice_tree($url);

-    debug_print( "URL  : " . $url ."\n");
+    # debug_print( "URL  : " . $url ."\n");
     # Set by default an EMPTY logo
     my $chicon = "EMPTY";

@@ -862,7 +862,20 @@
         my $genre = $line->{'id_genre'} ? $line->{'id_genre'} : 0;
         my $genretext = "";
         $genretext = $genres[$genre] if ($genre);
-        my $critic = $line->{'critique'};
+        my $critic = "";
+
+        # debug_print("possede_critique : ".$line->{'possede_critique'}."\n");
+        # debug_print("possede_notule : ".$line->{'possede_notule'}."\n");
+
+        if ($line->{'possede_critique'} == 1) {
+            $critic = $line->{'critique'};
+            # debug_print("critique : ".$critic."\n");
+        } elsif ($line->{'possede_notule'} == 1) {
+            $critic = $line->{'notule'};
+            # debug_print("notule : ".$critic."\n");
+
+        }
+#       my $critic = $line->{'notule'};
         my $stars = $line->{'note_telerama'};
         my $chname = $channelnames[$chid];

@@ -909,15 +922,16 @@
         foreach my $people (@cast) {
             my $ctype = $people->{'libelle'};
             my $cname = $people->{'prenom'}." ".$people->{'nom'};
-            if ($ctype =~ m/Acteur/ ) {
+            $cname = $cname." (".$people->{'role'}.")" if ($people->{'role'});
+            if ($ctype =~ m/Acteur/ || $ctype =~ m/Interpr.+te/) {
               push @{$prog{credits}{actor}}, $cname;
-            } elsif ($ctype =~ m/R.+alisateur/) {
+            } elsif ($ctype =~ m/R.+alisateur/ || $ctype =~ m/Metteur en Sc.+ne/) {
               push @{$prog{credits}{director}}, $cname;
-            } elsif ($ctype =~ m/Pr.+sentateur/) {
+            } elsif ($ctype =~ m/Pr.+sentateur/ || $ctype =~ m/pr.+sentateur/){
                 push @{$prog{credits}{presenter}}, $cname;
             } elsif ($ctype =~ m/Musique/) {
                 push @{$prog{credits}{composer}}, $cname;
-            } elsif ($ctype =~ m/Cr.+ateur/ || $ctype =~ m/Auteur/ || $ctype =~ m/Sc.+nariste/) {
+            } elsif ($ctype =~ m/Cr.+ateur/ || $ctype =~ m/Auteur/ || $ctype =~ m/Sc.+nariste/ || $ctype =~ m/Sc.+nario/ || $ctype =~ m/Dialogue/) {
                 push @{$prog{credits}{writer}}, $cname;
             } else {
                 push @{$prog{credits}{guest}}, $cname;

Je vois que pendant que j'écrivais ce message, tu as déjà corrigé quelques points.

Le double tiret de séparation description/critique que tu viens de supprimer (commit d9f80b27f4ca6e05b728b0fdbb46309b21b4f978), je crois qu'il servait à MythTV pour retrouver ses petits (à confirmer) entre les 2 champs.

Hors ligne

#77 02/09/2017 20:24:48

GiPé
Membre
Inscription : 01/09/2017
Messages : 8

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Andres,

J'avais testé sans donner de page avec :
https://api.telerama.fr/v1/programmes/t … haines=119

Là il n'y est pas. Il faut vraiment paginer ?

J'ai lancé le grabber avec :
tv_grab_fr_telerama --days 1 --offset 0 > xmltv.xml

Pour n'avoir que la journée.

Hors ligne

#78 02/09/2017 20:31:52

patrick-g
Membre
Inscription : 30/08/2011
Messages : 51

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Ah, j'oubliais, j'ai systématiquement 2 ou 3 double erreurs 503  en tentant de récupérer une cinquantaine de chaines sur une seule journée et un délai de 1s (la valeur par défaut est de 2s).
(c'est le fichier de conf que j'avais au début de mes tests).

En passant à 4 chaines plus de problèmes.

Hors ligne

#79 02/09/2017 20:45:29

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Ok, moi je n'ai pas autant de chaines, mais peut-être que monter le délai à 2 secondes aide.

J'avais aussi modifié pour la critique, mais ta version est plus propre.
J'ai tout mis dans la 1.27: https://raw.githubusercontent.com/zubri … r_telerama

Si tu as un compte github, je peux te mettre dans le projet, comme ça tu peux modifier, ça sera plus simple.

Hors ligne

#80 02/09/2017 21:03:07

GiPé
Membre
Inscription : 01/09/2017
Messages : 8

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@Zubrick

Le "--  " avant Critique (double tiret, double espace) me permettait de séparer les champs avant de populer la BD.

Si la modification est définitive, je m'adapterai.

Bonne soirée.

Hors ligne

#81 02/09/2017 21:13:34

andres@hotmail.fr
Membre
Inscription : 30/08/2017
Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Gipé,
Si tu ne précises pas le nb de programmes par page (nb_par_page), il n'en  renvoie que 10 à la fois.
Si tu veux recuperer tous les programmes, précise une valeur très grande de nb_par_page, par exemple 1000:
https://api.telerama.fr/v1/programmes/t … _page=1000
Là, tu retrouveras Valentine

Hors ligne

#82 02/09/2017 21:20:49

GiPé
Membre
Inscription : 01/09/2017
Messages : 8

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@Andres

Merci pour l'info, ceci étant j'utilise le grabber de Zubrick avec la commande:
tv_grab_fr_telerama --days 1 --offset 0 > xmltv.xml
pour les 28 chaines de la TNT et là je n trouve toujours pas ma Valentine dans le xmltv.xml  ! C'est grave, docteur ?

Bon, j’arrête de ramer, c'est le seul problème que j'ai vu actuellement.

Hors ligne

#83 02/09/2017 21:27:25

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@GiPé: Je l'ai supprimé parce que je l'avais ajouté pour faire un essai de contenu modifié et j'ai oublié de le supprimer, donc c'est définitif comme il est maintenant.

Hors ligne

#84 02/09/2017 21:33:17

patrick-g
Membre
Inscription : 30/08/2011
Messages : 51

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@ Gipé, Zubrick :

Autrement pour la critique on peut utiliser l'élément 'review' de XMLTV. C'est ce que j'avais fait dans la première version que j'avais modifiée (en 2011 déjà!). Mais à l'époque MythTV (ou un de ses scripts) ne gérait pas ce  champ, on avait donc (re)mis en place le coup du double tiret dans la description.
Peut-être le gère-t-il à présent.

@Zubrick :
Je n'ai pas de compte GitHub pour l'instant mais je pense en ouvrir un bientôt. En même temps, je n'y connais rien en Perl. tv_grab_fr_telerama est la seule fois de ma vie où j'ai fait du perl smile.

Dernière modification par patrick-g (02/09/2017 21:36:21)

Hors ligne

#85 03/09/2017 12:27:55

GiPé
Membre
Inscription : 01/09/2017
Messages : 8

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,

Je n'ai pas vu dans le datamodel XMLTV la possibilité de spécifier si un programme est crypté ou non. Il aurait été intéressant d'avoir l'info dans l'XML généré par le grabber.

Hors ligne

#86 03/09/2017 14:53:23

lhebui
Membre
Lieu : Saint Martin des Bois
Inscription : 18/03/2008
Messages : 665
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,

Je viens de vérifier le fonctionnement de la version 1.27. Tout est revenu comme avant.

Il a fallu tout de meme que je mette les pattes dans mythconverg pour changer  c3.telerama.rf en c3.api.telerama.fr par exemple et ceci pour toutes les chaines. Pas de pb avec phpmyadmin.

Par contre, certaines chaines ne sont pas récupérées comme TF1, D8, W9, LCP et les dernières chaines apparues sur la tnt. J'ai regardé et j'ai vu dans le fichier xml C1.api.telerama.fr et dans mythconverg, j'ai c1.api.telerama.fr .... Pb de casse ?

Pourquoi pas le meme pb sur France 2 et France 3 ?

bon, de toute façon, je repars et je pourrai effectuer les modifs que la semaine prochaine ...


RPI3+ en mythtv et TVHEADEND (en construction pour les 2 ...)

Hors ligne

#87 03/09/2017 22:07:37

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

lhebui a écrit :

Bonjour,

Je viens de vérifier le fonctionnement de la version 1.27. Tout est revenu comme avant.

Il a fallu tout de meme que je mette les pattes dans mythconverg pour changer  c3.telerama.rf en c3.api.telerama.fr par exemple et ceci pour toutes les chaines. Pas de pb avec phpmyadmin.

Par contre, certaines chaines ne sont pas récupérées comme TF1, D8, W9, LCP et les dernières chaines apparues sur la tnt. J'ai regardé et j'ai vu dans le fichier xml C1.api.telerama.fr et dans mythconverg, j'ai c1.api.telerama.fr .... Pb de casse ?

Pourquoi pas le meme pb sur France 2 et France 3 ?

bon, de toute façon, je repars et je pourrai effectuer les modifs que la semaine prochaine ...

Salut,
comme dit plus haut, les numéros de chaines ne sont plus les mêmes avec leur nouvelle api, c'est pour cela que j'ai changé le format des ids, pour ne pas se retrouver avec un programme faux.
Il faut donc refaire un --configure avec le graber et mettre les bons ids.
TF1 est par exemple le 192 maintenant.

Hors ligne

#88 04/09/2017 06:53:58

lhebui
Membre
Lieu : Saint Martin des Bois
Inscription : 18/03/2008
Messages : 665
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Ok, je m'occupe de cela dès le WE prochain.

Merci, vous avez fait un sacré boulot pour retrouver un grabber qui fonctionne ... Vraiment un grand merci.

Dernière modification par lhebui (04/09/2017 06:55:21)


RPI3+ en mythtv et TVHEADEND (en construction pour les 2 ...)

Hors ligne

#89 05/09/2017 19:10:24

coupi
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
Un immense merci à tout ceux qui ont permis de remettre en route tv_grab_fr_telerama.
Je peux à nouveau programmer mes enregistrements avec TVHClient sur le raspberry lol

#90 06/09/2017 15:29:20

totola
Membre
Inscription : 20/04/2009
Messages : 410
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour et merci pour le travail!
Juste je trouve que la partie récupération des programmes est un peu longue..
Et sinon comment faire pour ne récupérer que 2 jours par exemple?
Merci

Hors ligne

#91 06/09/2017 19:08:06

lhebui
Membre
Lieu : Saint Martin des Bois
Inscription : 18/03/2008
Messages : 665
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Pour ne récupérer que 2 jours, je pense qu'il faut faire la commande suivante :

./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 2

Le paramètre de --days est 2 (2 jours)


RPI3+ en mythtv et TVHEADEND (en construction pour les 2 ...)

Hors ligne

#92 06/09/2017 19:12:08

totola
Membre
Inscription : 20/04/2009
Messages : 410
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour et merci de la réponse,
OK mais j'aimerai récupérer les jours 1 et 8 par exemple..
(1 au cas où il y ait des modifications de dernière minute et 8 pour conserver toujours 8 jours de programmation)
Merci

Hors ligne

#93 06/09/2017 19:57:30

lhebui
Membre
Lieu : Saint Martin des Bois
Inscription : 18/03/2008
Messages : 665
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Je ferai bien le truc suivant :

./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 1 && ./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 8

Naturellement, je ne suis pas sûr et demande une validation par les pro.

Désolé mais je ne maitrise pas les modifs de wiki. Ce serait bien de faire la modif de version avec un lien dans le wiki pour le grabber de Telerama en version 1.27.

Dernière modification par lhebui (06/09/2017 20:12:12)


RPI3+ en mythtv et TVHEADEND (en construction pour les 2 ...)

Hors ligne

#94 06/09/2017 20:40:00

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

lhebui a écrit :

Je ferai bien le truc suivant :

./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 1 && ./tv_grab_fr_telerama_1-27 --config-file telerama.cfg --output test.xml --days 8

Naturellement, je ne suis pas sûr et demande une validation par les pro.

Désolé mais je ne maitrise pas les modifs de wiki. Ce serait bien de faire la modif de version avec un lien dans le wiki pour le grabber de Telerama en version 1.27.

l'option --days donne le nombre de jour à récupérer. Dans ce cas il faut mettre 1 les deux fois.
Ensuite il faut utiliser l'option --offset. --offset 0 veut dire aujourd'hui, --offset 1 veut dire demain, et ainsi de suite.
par exemple

--offset 1 --days 2

veut dire demain et apprès demain

J'ai modifié la page de comparaison des grabbers, je ne sais pas s'il y en a d'autres à modifier pour avoir le lien correct vers la dernière version.

@Snouf: désolé, je n'avais pas vu que tu avais un repo ailleurs, j'aurais pu continuer sur celui ci

Dernière modification par zubrick (06/09/2017 20:41:24)

Hors ligne

#95 09/09/2017 11:37:48

Minux
Membre
Inscription : 16/09/2010
Messages : 23
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci à tous pour le boulot effectué, tout fonctionne impeccable avec la version 1.27 smile

Hors ligne

#96 11/09/2017 17:09:33

Romain
Membre
Inscription : 04/03/2016
Messages : 8

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour à tous,

J'utilisé le site xmltv.dtdns.net pour télécharger le guide.
Le site devait utilisé aussi le programme de télérama mais il n'a pas été mis a jour.

Je suis sur Windows, comment faire pour obtenir le fichier xml à partir du script tv_grab_fr_telerama fourni plus haut ?

Merci d'avance

Hors ligne

#97 12/09/2017 09:20:51

mylx
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Récupère un fichier xml chez Racacax : XMLTV Francophone

Ou va voir sur la partie française du forum de MediaPortal si tu veux vraiment utiliser tv_grab_telerama toi même sur Windows :

Tuto xmltv sur Windows

#98 12/09/2017 09:48:33

Romain
Membre
Inscription : 04/03/2016
Messages : 8

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci.
Finalement j'y ai passé toute la soirée et  j'ai réussi à le faire en installant ActivePerl
Et avec tv_grab_fr_telerama, je récupère donc le contenu de télérama.

Par contre, est-ce qu'il y a une différence de contenu avec celui de chez Racacax ?
Quel est la source ?
Est-ce qu'on a aussi les images des programmes et un contenu aussi complet que celui de télérama ?

Hors ligne

#99 12/09/2017 17:41:56

andres@hotmail.fr
Membre
Inscription : 30/08/2017
Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@Romain,

Il semble que Racacax ne récupère pas toutes les chaines récupérées par tv_grav_fr_telerama, par exemple Guadeloupe 1ère, Martinique 1ère, etc.
Je souhaite faire fonctionner tv_grab_fr_telerama sous Windows, avec ActivePerl. Quelles modifications as-tu apportées, ou quelles librairies as-tu chargées après l'installation d'ActivePerl ?


Parallèlement, existe-t-il un site qui récupère le résultat de tv_grab_fr_telerama sans filtrer des chaines. Auparavant on avait xmltv.dtdns.net et http://kevinpato.free.fr/xmltv/download/ mais depuis le problème du 20/08, il n'y a plus de mise à jour.
Ce type de site a, en plus de l'avantage de ne pas avoir à faire tourner tv_grab_fr_telerama sur sa machine, de ne pas surcharger le site de Telerama et donc de ne pas les pousser à investiguer.

Hors ligne

#100 13/09/2017 06:53:03

racacax
Membre
Inscription : 31/08/2017
Messages : 13

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
Mon XMLTV n'utilise pas Telerama. Du moins pour le moment. Lorsque je mettrai à jour, j'ajouterai quelques chaines et maintenant que Telerama est stable, je pourrai les prendre ici. Je mettrai les Guadeloupe 1ere,... Pour l'instant je suis occupé mais ce week-end, je devrais pouvoir.

Pour ce qui est des sources que j'utilise, c'est Proximus, Play TV, tv5monde.com,discoveryinvestigation,ici radio canada, tva.canoe.ca, programme-tv.net et quelques autres. Bientôt, il  y aura aussi Orange.fr, Telerama (script prêt), antenne réunion et encore d'autres sites afin d'avoir le plus de chaines francophones possibles.
Pour ceux qui doute de la stabilité, dans le cas ou une source deviendrait HS, cela n'impactera pas le reste des sources car les sources ne sont mises en lien que par assemblage de tableau. Et si une source est HS, le tableau est juste vide. De plus, les données sont mises en cache donc si un grab d'une chaine/journée a foiré, pas grave j'en serai informé et je pourrai ajouter une nouvelle source et seule la dernière journée de la source sera impactée lors du bug.

Dernière modification par racacax (13/09/2017 17:45:07)

Hors ligne

Réponse rapide

Veuillez composer votre message et l'envoyer
Si vous êtes un être humain ne changez pas le contenu de ces deux champs.

Pied de page des forums

Propulsé par FluxBB

Webmasteur SnouF

Hébergé par Tuxfamily

Valid XHTML 1.0 Strict