#1 20/08/2011 22:06:15

patrick-g
Invité

Nouvelle version de tv_grab_fr_telerama

Salut,

Je suis à la recherche d'un Guide TV avec un mode grid qui marche sous Linux.
Juste un guide TV sans java (genre python/pytk ou tcl/tk ou C/C++ GTK+/QT).
Malheureusement, tous ceux que j'ai trouvés sont vieux et ne fonctionnent plus vraiment.
Au hasard de mes pérégrinations, je suis tombé sur XMLTV et sur ce forum pour
ce qui est des grabbers français.
J'ai essayé tv_grab_fr_telerama_iphone mais il ne marchait pas bien (probablement car
la page LitProgrammes1JourneeDetail.php de telerama était vérolée le jour ou j'ai
essayé et de quelques bugs genre sub-title à la place de subtitles).
Du coup j'ai essayé tv_grab_fr_telerama qui fonctionne bien mais fournit peu d'info.
Comme je n'avais jamais fait de perl de ma vie, je me suis dit que c'était le moment.
J'ai donc commis une nouvelle version de tv_grab_fr_telerama.

Les nouveautés :
Suppression de l'option --slow ne servait plus
Ajout des option --ch_prefix et --ch_postfix pour définir le prefix et le suffixe
  du channel id. Par defaut "C" et ".telerama.fr" (conforme à l'existant)
Correction de la description du programme dans l'entête
Augmentation du nombre de jours récupérés par défaut (11)
Ajout de la licence d'utilisation (GPL v3+ comme xmltv)
Correction définitive (je pense) des problèmes d'encodage UTF8 (le xml généré passe xmltv:tv_validate_file)
Diminution du délai entre 2 captures de page (malgré les dizaine d'essais que j'ai effectués,
  ça n'a pas posé de problème)
Correction de l'entête du fichier xml généré qui indiquait toujours telepoche.
Suppression du code mort (routines gérant le site de telepoche)
Suppression de la routine tidy (puisque les problème d'encodage sont résolus smile )
Correction de la récupération de l'image du programme (URL incorrecte), maintenant on peut afficher la petite photo
Les informations suivantes sont maintenant récupérées :
    - Durée (corrigée)
    - Présence de sous-titrage (onscreen ou teletexte)
    - Scénariste(s)
    - Présentateur(s)
    - Invité(s)
    - Compositeur(s), il faut une version de xmltv >= 5.58
    - stereo/dolby/dolby digital/surround/VM  (problème dans le format xmltv actuel : il ne peut y
             avoir qu'un seul de ces choix on ne peut pas décrire une VM en dolby digital par exemple)
    - Titre original (s'il est présent)
    - Pays d'origine
    - Première diffusion/Inédit
    - Rediffusion
    - Format (4:3 ou 16:9)
    - Qualité de la vidéo (HD ou rien)
    - Critique
    - Gestion du rating CSA (Tout Public/-10/-12/-16/-18) avec URL de la signalétique quand elle existe.
    - Nombre d'étoiles.

C'est sûrement codé comme un goret et plein de bugs, mais si ça vous tente de l'essayer, de le corriger ou de l'améliorer, voire le mettre sur
http://download.tuxfamily.org/mythtvfr/ … y_zubrick/
voici le lien :
tv_grab_fr_telerama_pg

C'est très certainement plus lent que Kazer, mais j'ai un peu de mal avec les sites qui nécessitent une inscription smile et, d'après ce qu'on peut voir sur le site de Kazer et dans le comparatif de MythTV-fr, tv_grab_fr_telerama_pg récupère plus  d'informations

Je n'ai pas tout compris à propos de la gestion des logos de chaine (URL en localhost ) mais c'est probablement très lié à MythTV. Il faut toujours les récupérer sur le site de Zubrick ou le miroir de MythTV-fr.
Je n'ai pas vérifié si l'ajout de chaînes supplémentaires fonctionne.

Cordialement,

Patrick

#2 20/08/2011 23:19:36

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

cool, une mise à jour de tv_grab_fr_telerama smile. J'espere que Zubrick appréciera ton aide bienvenue.

Attention toutefois la récupération des critiques (et de l'image de l'émission , je cois) n'est pas "autorisée" car ce n'est pas une donnée "libre". Tv_grab_iphone fait de même avec une option "récuparation ou non" de ces infos. Je crois que c'est la bonne formule. Chacun décide de rester dans la "légalité" ou pas.

Je testerai volontiers quand j'aurai le temps.

Pour les logos, nous utilisateurs de Mythtv, nous avons une fonction au sein de Mythtv qui permet de récupérer les logos sur le site de Lyngsat. Mais il faut faire une recherche par chaine. D'ou l'idée de créer une base en téléchargement qui contient tous les logos et un script pour les introduire dans la base de données Mythtv. Pour info, cette base devrait à moyen terme être remplacer par une nouvelle application que je suis en train d'écrire et qui grabbe directement le site de lyngsat pour être toujours à jour. Si tu as besoin d'un format de sortie particuliers pour la liste de ces logos, dit le moi que  je regarde ce que je peux faire pour toi.

Dernière modification par gilles74 (20/08/2011 23:20:49)

Hors ligne

#3 21/08/2011 12:59:26

patrick-g
Invité

Re : Nouvelle version de tv_grab_fr_telerama

Salut Gilles,

Étant assez sensibilisé au droit d'auteur (logiciel libre oblige smile ), je me suis posé la question.
Étant donné que
- la licence de telerama.fr ne fait pas de distinction de contenu (pour un usage perso, ce qui est le cas),
- on ne peut pas ne pas télécharger la critique (elle est comprise dans la page décrivant le programme,
   sans possibilité connue d'obtenir une page sans critique),
- la critique est visible quand on consulte la grille des programmes standard de télérama via (mettre ici
   son butineur préféré).
je ne pense donc pas qu'on porte atteinte au droit d'auteur (on est dans l'exception du droit à la copie privée, c'est d'ailleurs ce qu'autorise la licence de télérama). Je n'ai donc pas mis d'option permettant de ne pas l'inclure dans le xml.
Maintenant, si ça pose un problème, la modif est facile à faire.
Concernant l'image, le script ne la télécharge pas, il fournit juste un lien vers elle. Ensuite c'est au choix de l'utilisateur du fichier xmltv de s'en servir ou pas. Mais à mon avis, on est dans le même cas que pour la critique, l'usage privé est autorisé.

Je pense que les logos de chaîne posent bien plus de soucis, par exemple Le site de TF1 indique :
:

Vous vous engagez à ne pas effectuer les actes suivants, sans obtenir l'autorisation préalable et écrite de e - TF1, sans que cette liste ne soit exhaustive :

<snip>

o créer des fichiers d'archives à partir du contenu,

o reproduire, représenter, utiliser, référencer (notamment dans les métas mots des moteurs de recherche), tout ou partie des contenus, marques, logos, signes distinctifs et/ou les Services et/ou les Sites TF1.

France 2 est plus laconique :

Droits de reproduction et de diffusion réservés © 2011 France Télévisions

Dans les 2 cas, il faut donc obtenir leur autorisation et ça se comprend puisque c'est le symbole distinctif et reconnaissable de leur marque

Cdt,

Patrick.

#4 22/08/2011 08:03:32

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

Nous avons eu cette discussion, il y a très longtemps mais je ne l'ai pas retrouvé. Nous etions tombé d'accord sur le fait que la licence permettait l'usage personnel des données mais nous avions un doute pour les critiques qui sont la "propriété" du site. Nous en étions resté au fait qu'il valait mieux se passer de ces critiques mais de conserver l'usage du grabbeur plutôt que s'attirer les foudres du site (comme celà est dejà arrivé). Mais je dois reconnaitre que ton analyse semble correct.
Pour les logos, nous ne nous sommes même pas posé la question ..... merci pour l'info

Que fais-tu des critiques? tu les mets à la suite du synaptis ?
As-tu respecté l'ancienne architecture titre/sous-titre afin de conserver l'historique de ce qui a déjà été enregistré ?

Hors ligne

#5 22/08/2011 08:20:30

piratebab
Co-fondateur de MythTV-fr
Lieu : Sud Ouest
Inscription : 30/11/2007
Messages : 4 064
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

La licence qui est sur le site telerama ne concerne pas le flux xml utilisé par le grabber. Nous n'avons jamais pu connaitre la licence et les conditions d'utilisation de ce flux.
Mais comme le dit gilles, tant qu'on n'utilise que des données publiques ...


Mythuser depuis 2005

Hors ligne

#6 22/08/2011 15:46:05

Ookaze
Expert MythTVMembre de l'équipe de traduction et traducteur de la documentation.
Inscription : 15/01/2008
Messages : 884
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

Mon avis reste toujours le même : ce sont des données publiques, et elles restent à usage privé dans le cadre familial, sans les détourner de leur fonction dans MythTV, donc pour moi il n'y a aucun problème.

Ce qui me gêne plus, enfin, ce que je comprends pas, c'est en quoi supprimer les délais est devenu obsolète.
Cela signifierait que Télérama a donné son accord pour aspirer le contenu des programmes ?
Parce que sans les délais inclus exprès, on n'est plus dans exactement la même fonction que quelqu'un qui parcoure les programmes TV.
En effet, on passe dans la catégorie "robot" et là, on peut argüer d'un détournement de la fonction des données du site. Enfin c'est flou tout ça.
Mais surtout, on est sûr que l'on n'aura pas les problèmes qu'on a eu avec Télépoche, qui étaient arrivés justement parce qu'il n'y avait pas de délai dans tv_grab_fr ?

Hors ligne

#7 22/08/2011 17:15:18

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

Ookaze: dans le cas des récupérateurs iphone et telerama, il n'aspire plus une page html mais un flux xml. Cette étape dure quelques secondes même pour plusieurs jours et quelques dizaines de chaines, puis vient l'étape du traitement des données brutes. Mais tu as quand même raison, il faut rester vigilent à ne pas pénaliser l'utilisateur normal du service, d'autant que nous, nous avons le temps. Ce n'est pas à la vitesse d'exécution que l'on juge un récupérateur ......

Dernière modification par gilles74 (22/08/2011 22:03:24)

Hors ligne

#8 22/08/2011 19:43:08

patrick-g
Invité

Re : Nouvelle version de tv_grab_fr_telerama

Salut,

Merci pour vos réponses.

@Gilles : Pour les logos, c'est encore pire que ce que j'ai dit parce qu'en plus du droit d'auteur, c'est aussi protégé par le droit des marques.

Pour le format du xml, dans tv_grab_fr(_telerama) c'est la méthode Writer->write_programme de XMLTV qui s'en charge donc ça n'a pas dû changer et ça garantit la conformité au standard. Par exemple :

    <programme start="20110821213000 +0200" stop="20110821221900 +0200" showview="53792" channel="C2.telerama.fr">
    <title>Band of brothers, l'enfer du Pacifique</title>
    <sub-title>Les nerfs à vif</sub-title>
    <desc lang="fr">Episode : 4/10 - Saison : 1 - Engagé dans la marine, Sledge s'entraîne au combat à Camp Elliott. Le jour de Noël, la première division de marine débarque à Cap Gloucester, sur l'île de Nouvelle-Bretagne, en Papouasie-Nouvelle-Guinée, tombée entre les mains des Japonais. Au plus fort des combats contre les Nippons, Leckie et ses compagnons réalisent que l'ennemi le plus redoutable n'est autre que la jungle qui les entoure. Il pleut quasiment sans interruption, et cette humidité omniprésente sape le moral des troupes comme leur santé. Après ce qui leur paraît être une éternité, les soldats sont finalement évacués vers Pavuvu...
--  Critique : Décembre 1943. Le conflit s'enlise, les combats se font de plus en plus âpres et acharnés, les corps et les esprits s'affaiblissent. Le marine Eugene Sledge arrive enfin sur le front et découvre l'enfer sur terre lors de la bataille de Peleliu. Et l'enfer n'est pas près de s'achever...</desc>
    <credits>
      <actor>Jon Bernthal</actor>
      <actor>Joshua Biton</actor>
      <actor>James Badge Dale (Robert Leckie)</actor>
      <actor>James Badge Dale (Robert Leckie)</actor>
      <actor>Joe Mazzello (Eugene Sledge)</actor>
      <actor>Ashton Holmes (Sid Phillips)</actor>
      <actor>Matt Craven (le docteur Grant)</actor>
      <actor>Keith Nobbs (Wilbur Conley)</actor>
      <actor>Tom Budge (Ronnie Gibson)</actor>
      <actor>Jon Seda (John «Manila» Basilone)</actor>
      <actor>Josh Helman (Lew «Chuckler» Juergens)</actor>
    </credits>
    <category lang="fr">série</category>
    <category lang="fr">série de guerre</category>
    <icon src="http://guidetv-iphone.telerama.fr/verytv/procedures/images/2011-08-21_2_21:30.jpg" />
    <episode-num system="xmltv_ns">0.3/10.</episode-num>
    <video>
      <aspect>16:9</aspect>
      <quality>HDTV</quality>
    </video>
    <premiere />
    <subtitles type="teletext">
      <language>fr</language>
    </subtitles>
    <rating>
      <value>-10</value>
    </rating>
    <rating system="CSA">
      <value>-10</value>
      <icon src="http://www.csa.fr/picts/visuels/picto_cat2.gif" />
    </rating>
    <star-rating>
      <value>2</value>
    </star-rating>
  </programme>

J'hésite pour le champ rating, pour le sous-champ value faut-il mettre "Tout public" sachant que dans les autres cas on a une valeur numérique (-10, -12, -16 ou -18) ? L'autre choix étant de ne pas mettre de champ rating du tout quand c'est autorisé pour tous les publics.
Je viens de m'apercevoir que je mets 2 fois le rating (ancienne et nouvelle méthode - CSA-). C'est corrigé mais pastebin est off-line pour l'instant. j'envoie le lien dès que possible (dommage qu'on ne puisse pas joindre un fichier sad ).

La critique est ajoutée à la fin du descriptif, elle est séparée de celui-ci par la chaine  " --  Critique : ", j'aurais peut-être dû ajouter un retour à la ligne.

@piratebab :
deborahben de télérama semble dire l'inverse ici

@Ookase :
Je n'ai pas supprimé le délai, j'ai réduit sa durée maximum de 5 à 2 secondes.
La durée du délais est définie par une constante au début du script donc c'est aisément configurable.
Et, comme le rappelle Gilles, on ne fait qu'un GET HTTP par chaîne et par jour récupéré (mais le flux, s'il est bien formatté, n'est pas du tout xml).
Le grabber iphone ne fait lui qu'un accès par jour pour toutes les chaînes mais le flux récupéré est parfois buggé (par exemple, programme complétement identique - mêmes horaires- apparaissant plusieurs fois en dehors de l'ordre chronologique normal du flux) et dans ce cas le xml généré est incomplet : quand je l'ai testé il n'y avait que les programmes débutant après 20 heures.
Il semble aussi que ce flux contienne parfois des choses curieuses (genre balises <T> </T> ou autres)
Néanmoins, je regarderais si je peux utiliser ce flux pour créer un mode "fast" pour tv_grab_fr_telerama (n'y voyez pas une promesse, hein !)

Pour info : le site classique de télérama utilise un script javacript pour récupérer un flux xml (mais pas XMLTV) qui contient justement des balises <T> <V> etc. Mais comme je connais encore moins le javascript et le développement Web que le perl, je n'ai pas cherché plus loin, d'autant que j'ai cru comprendre qu'on ne peut récupérer que 3 heures à la fois mais pour un nombre quelconque de chaînes.

J'ai laissé l'option "cachée" --verytv qui existait dans le script d'origine mais je pense qu'elle ne marche plus : le site utilisé (http://91.121.66.148/~verytv/) demande maintenant un identifiant et un mot de passe.

Dans le même fil que j'ai cité plus haut, on parle aussi du flux tele7jours (les liens fonctionnent toujours). Quelqu'un a-t-il poursuivi les investigations ?

J'ai appris ici, l'existence d'un flux XMLTV qu'il serait peut-être possible d'utiliser de façon non commerciale. Quelqu'un a-t-il des info sur ce flux, mes rapides recherches sur le Net n'ont rien donné.
C'est peut-être le flux initial utilisé par tous les autres programmes télé. Ce qui me fait penser ça, c'est que les descriptifs sont les mêmes partout et que dans le flux iphone de telerama on trouve un champ numérique non identifié qu'on retrouve chez tous les fournisseurs de programmes TV (même valeur pour le même programme), canal+ l'appelle dfid, cinetelerevue l'appelle tv_id, chez telecablesat et d'autres  c'est le nom du répertoire contenant la description détaillée, etc.
Le gros intérêt serait que ce flux est déjà au format XMLTV.

Cdt

Patrick

#9 22/08/2011 19:50:39

patrick-g
Invité

Re : Nouvelle version de tv_grab_fr_telerama

Pastebin est revenu smile
la version corrigée est là : tv_grab_fr_telerama_pg.0.2

#10 22/08/2011 23:04:35

SnouF
Webmasteur, développeurDéveloppeur de scripts pour mythtv (tel que des grabbeurs pour MythNetVision). S'occupe également du dépôt deb des scripts mythtv-fr et propose un dépôt mythtv-fixes pour debian (stable, testing et unstable).
Inscription : 02/11/2007
Messages : 4 565
Site Web Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

Pour les logos, selon wikipedia

En France, sa mise à disposition est autorisée dans la limite des droits accordés par l'article L513-6 du Code de la propriété intellectuelle et est reproduite ici en vertu de ces droits.

http://fr.wikipedia.org/wiki/Fichier:TF1.svg

C'est pour quand qu'ils écriront les articles de loi en français ? Car moi j'y comprend rien ! sauf que wikipédia diffuse le logo !

Hors ligne

#11 22/08/2011 23:11:42

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

pour les logos, je suis d'accord mais je ne pense pas nous nous ayons un quelconque problème ....

Pour les rate, la table concernée de mythconverg limite ce champ à 8 caractères et précise un "system". Pour avoir bricoler les thèmes, peu d'entre eux utilisent cette information et certain l'utilisait mal car il y avait 2 "rate" à l'époque (0.23). Je ne sais pas si c'est encore le cas...

J'utilise le récupérateur tv_grab_iphone depuis sa sortie et je ne m'en plains pas. Ce que tu décris n'est pas ce que je constate (ceci dit, je n'utilise pas la dernière version)

Tu peux virer la référence à site direct de very qui demande effectivement un identifiant et un code mais c'est celui-là qui délivre le flux de base, je crois. Et leur usage a été verouillée, à juste titre car certains ont fait les c... avec. De toute façon la source est unique et les telemachin achetent cette source. Il serait très étonnant que l'on puisse disposer de cette source gratuitement.

A la date d'aujourd'hui nous disposons de 5 récupérateurs qui fonctionnent, ce qui ne s'est jamais vu dans le passé alors je crois que presonne n'a été cherché plus loin pour sniffer une autre source. D'autant que le flux sniffé est riche en contenu et semble être stable; j'ai pour ma part fait 2 interventions auprès de telemachin car le flux de certaine chaine avait disparu et le flux est revenu le lendemain. et comme c'est le support d'une de leur application sur smartphone, je pense que l'on a pas de souci à se faire.

Dernière modification par gilles74 (22/08/2011 23:13:15)

Hors ligne

#12 23/08/2011 05:32:20

patrick-g
Invité

Re : Nouvelle version de tv_grab_fr_telerama

Pour ce qui est des logos, je pense due wikipedia se trompe, au moins d'article de loi.  Le livre V du code de la propriété intellectuelle traite du dessin des objets. C'est ce qu'Apple utilise en ce moment pour essayer de faire interdire les galaxy tab de Samsumg.

Les logos sont couvert par  le livre VII. Et là, il y a tout de suite beaucoup moins de droits  cf. articles L713-1 à L713-6.

Si je me souviens vient de la DTD de XMLTV, le rate comprend plusieurs champs. Il y a au moins les 3 suivants :
- system qui indique le systeme de notation (MPAA, CSA, etc.),
- value qui indique la notation dans le système considéré,
- icon qui indique le sigle correspondant à la notation.
La nature des champs n'est pas définie, ça peut être n'importe quoi (texte, nombre, liens, autres) et de n'importe quelle longueur.
Comme mon bug l'a montré, le rating peut apparaître plusieurs fois. On pourrait donner le rating CSA et MPAA par exemple.

tv_grab_iphone fait un gros travail pour éliminer les Pb du flux, comme les balises malencontreuses, ce qui fait qu'il marche la quasi totalité du temps. Je crois que je suis tombé sur un cas vraiment foireux avec les programmes qui se répétaient.

#13 23/08/2011 15:31:04

Ookaze
Expert MythTVMembre de l'équipe de traduction et traducteur de la documentation.
Inscription : 15/01/2008
Messages : 884
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

Bon OK, tout cela me va.
Pour moi, il n'y a aucun souci avec les logos, vu l'utilisation qu'on en fait.
Ils apparaissent aussi sur les télés dans la sélection des chaînes il me semble, donc pour moi aucun souci.

Hors ligne

#14 23/08/2011 17:44:02

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

Tu sembles bien connaitre la dtd de xmltv en tout cas mieux que nous qui ne sommes que des utilisateurs. Tu devrais leur proposer ton script. Piratebab a discuté avec eux pour tenter de faire accepter le script de Zubrick mais ils ont rétorqués à juste titre que le script ne respectait pas la DTD. Tu sembles avoir une meilleure connaissance du problème pour faire accepter ton travail.

Hors ligne

#15 23/08/2011 20:19:44

patrick-g
Invité

Re : Nouvelle version de tv_grab_fr_telerama

Salut,

@Ookase : Je ne pense pas que ça pose un véritable problème. C'est juste, qu'en toute rigueur, il faudrait leur demander l'autorisation en leur expliquant l'utilisation qu'on veut en faire (EPG, application libre, open-source et gratuite, tout ça quoi.)

@Gilles : Heu, comment dire ... J'ai découvert la DTD le 14 août dernier et je suis à peine utilisateur puisque je n'ai toujours pas trouver d'EPG qui marche sad. <HS> A ce propos, quelqu'un utilise-t-il GtVG ? Chez moi, en mode liste ça va mais en mode grid j'ai une fenêtre toute blanche.</HS>

J'ai lu l'échange de mail de Piratebab sur la mailing-list XMLTV, ce qui est "reproché" au grabber telerama c'est ;

* The major issue is not using the normal XMLTV user agent but
    making up some Telerama App agent for some reason. After changing
    the script back to use our implementation get_nice it stopped
    working.

  * The script has it's own implementation of get_nice, which should
    be changed back to the main get_nice.
  * Unicode::MapUTF8 gets used, which adds a new dependency. This should
    be changed to use Encode
  * The description is just "France", I suggest something different from
    the current grabber for easier support, like "France (Telerama)"
  * What is with the channel logos? They seem to be referred by the
    output. (can be downloaded at http://www.number6.ch/tools/ )
  * the source-info-url should point at some page with content

Et dans un autre mail :

if they are blocking by user-agent, I don't recommend it.  I don't know the laws in France, but they seem to be saying we don't want you getting our information.

If they are blocking by user agent, development within the xmltv SF project has ceased.  As you noted, there's nothing stopping a less scrupulous project from hosting it.

Pour le 1er point (major issue), est le point bloquant, pas question d'intégrer xmltv s'il n'est pas résolu.
il faudrait convaincre télérama d'accepter le user-agent de xmltv, c'est pas gagné smile. Si quelqu'un a le temps et sais qui contacter, le user-agent de xmltv est "xmltv/$XMLTV::VERSION"  c'est à dire en ce moment "xmltv/0.5.61"

Pour le second point, c'est lié au premier, le code de get-nice est recopié dans tv_grab_fr_telerama justement pour pouvoir utiliser le user-agent de télérama_iphone.
Les points 3 et 4 sont résolus.
Je crois que le point 5 est ce dont je parlais dans mon 1er mail (lien en localhost). On pourrait faire comme tv_grab_telerama_iphone (pointer sur les pages wikipedia) ou, comme suggérait Gilles, pointer sur lyngsat. Dans les 2 cas ça va demander un peu de boulot smile Récupérer les liens, créer un fichier contenant "nom_de_chaine -> lien", utiliser ce fichier dans le grabber pour créer le fichier de conf. Du coup MythTV pourrait trouver directement les liens vers les logos dans le xml.
Le point 6 est résolu.

Note : Je ne peux malheureusement pas répondre dans la journée, le site MythTV-fr est bloqué par le proxy filtrant de ma boite.

#16 23/08/2011 22:45:01

piratebab
Co-fondateur de MythTV-fr
Lieu : Sud Ouest
Inscription : 30/11/2007
Messages : 4 064
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

Tu améliores un grabber TV et tu te laisses emmerder par un proxy smile
Au fait, tu peux t'incrire sur le forum, c'est gratuit et n'engage à rien!
Je confirme que xmltv ne voudra pas intégrer un grabber qui n'utilise pas leur agent. De plus, ils ont peur, à juste titre, que telerama fasse des problèmes car nous n'avons pas d'accord écrit, ou de licence, qui autorise l'utilisation de ce flux. Je n'ai jamais eu de réponse suite à ma demande, et moe non plus (en tout cas il ne nous l'a pas signalé). J'ai trouvé curieux que deborahben disparaisse du jour au lendemain, elle s'est peut étre fait taper sur les doigts pour nous avoir contacté ...
Le grabber telepoche ayant une nouvelle équipe de mainteneur, il permet à xmltv de fournir un support pour la france (à mon avis, ils ne se sont pas penché sur la légalité de ce grabber vis à vis de télépoche).

Certains s'embarasse moins qe nous:

Ces deux applications tiraient leurs sources du flux XML TV pour alimenter leurs programmes, et ce, sans en avoir demandé l’autorisation. Pour être plus précis, ce n’est pas tant l’utilisation du flux qui pose problème, mais surtout la commercialisation d’une application payante utilisant ce flux.

ICI


Mythuser depuis 2005

Hors ligne

#17 30/08/2011 19:57:11

patrick-g
Membre
Inscription : 30/08/2011
Messages : 51

Re : Nouvelle version de tv_grab_fr_telerama

Salut,

Après une petite absence, voici la nouvelle version tv_grab_fr_telerama_pg. J'ai supprimé l'option verytv et ajouté une option delay pour régler le delais max entre 2 requete (par defaut 2 s).

J'ai jeté un oeil sur le site de Télé7. Les liens de 2009 donnent les programmes d'aujourd'hui.
Ils donnent les 2 mêmes fichiers si on enlèvent le paramètre (?262754900 ou ??346307487) ou qu'on en met un au hasard.
Le fichier json décrit 198 chaînes mais le fichier sqlite ne contient que les programme pour 77 chaînes (probablement un bouquet CANALSAT ou ADSL).
Le fichier contient 9 jours de programme.

Après avoir appris le B.A.BA de SQL et de sqlite le week-end dernier, il s'est avèré facile d'obtenir quelque chose d'aisément parsable, par exemple  :

             id_diffusion = 52484304
              id_emission = 9059787
                id_chaine = 4
           date_diffusion = 2011-09-04 23:25:00
          duree_diffusion = 90
      sur_titre_diffusion = 
          titre_diffusion = Lions et agneaux
     sous_titre_diffusion = 
         langue_diffusion = 
                      csa = 10
                      son = STEREO
                       hd = 1
                       vm = 0
                     vost = 0
sous_titrage_malentendant = 1
                    ratio = 16:9
                     rang = 
                primetime = 2
             all_booleans = 
           titre_original = Lions for Lambs
      sous_titre_original = 
        annee_realisation = 2007
                   langue = ENG
                    duree = 92
             appreciation = 2
                    photo = 9059787.jpg
                  procede = Couleur
                id_saison = 0
               num_saison = 0
                   pilote = 0
              num_episode = 0
               nb_episode = 0
         num_sous_episode = 0
          nb_sous_episode = 0
                id_nature = 1
                 id_genre = 163
                 id_serie = 124024
                 id_texte = 9059787
              label_genre = Drame
           participations = @Robert Redford, Meryl Streep, Tom Cruise, Michael Peña, Andrew Garfield, Peter Berg, Derek Luke, Larry Bates, Christopher May, David Pease, Heidi Janson, Kevin Dunn.@@@@@Robert Redford.@
              label_genre = Drame
                    texte = Washington: un sénateur ambitieux tente de convaincre une journaliste du bien-fondé de sa nouvelle stratégie militaire pour sortir du bourbier irakien. En Californie, un prof remonte les bretelles à un brillant élément en pleine tempête existentielle. Au même moment, quelque part en Afghanistan, deux de ses anciens élèves devenus marines, luttent pour leur survie après l'échec de leur mission, planifiée par ledit sénateur.

Clin d'oeil :
À l’origine, le scénariste Matthew Michael Carnahan (Jeux de pouvoir, Le Royaume) pensait faire de Lions et Agneaux une pièce de théâtre. Mais, se rendant compte des difficultés inhérentes à la représentation des scènes militaires, et plus particulièrement de celles où apparaissent des hélicoptères, il a finalement décidé d’en faire le scénario d’un film.


             label_nature = Film

On voit qu'il y a quelques infos différentes de celles de télérama (titre original, sur-titre [genre émission pour enfant qui englobe plusieurs séries], info de sous-épisodes, clin d'oeil, etc.) Le champs participations regroupe suivant entre quel @ on se place : acteurs, présentateurs, invités, réalisateurs, boite de prod, etc.
Et ça m'a permis de comprendre ce qu'est le mystérieux champ numérique du flux Télérama, c'est l'id de diffusion.

Il ne reste plus qu'a trouver la liste de tous les fichiers disponibles afin d'avoir toutes les chaînes (elles ont l'air d'être classées par bouquet ou par thème). Mais impossible de le faire avec un navigateur classique (pour moi en tout cas) : erreur 301 (ressource définitivement déplacée) quand on essaie d'accéder au répertoire, ce qui est faux mais qui empêche d'obtenir la liste. Il faut déjà en connaître le nom pour télécharger un fichier.

ldaverio ne semble plus venir dans ce forum, donc si quelqu'un qui possède un iphone ou un androïd-phone avait la bonté de tracer la liste des fichiers récupérés par l'appli Tele7 en testant les diverses options, ce serait pas mal. smile Peut-être qu'il serait bien de le faire dès le premier lancement, il y a peut-être des fichiers qui ne sont télécharger qu'une fois (ou rarement).

@piratebab : c'est beaucoup plus un filtre qu'un proxy et comme notre responsable de la sécurité est complétement parano, il fonctionne en liste blanche : même pas moyen de faire un tunnel vers un PC à l'extérieur sad
Je me suis inscrit, au moins ça m'évite de me torturer les yeux sur les capchas smile

A+

Hors ligne

#18 30/08/2011 22:23:15

piratebab
Co-fondateur de MythTV-fr
Lieu : Sud Ouest
Inscription : 30/11/2007
Messages : 4 064
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

2tre parano, c'est plutot une qualité pour un responsable sécurité smile.
Au taf je passe par tor ..


Mythuser depuis 2005

Hors ligne

#19 04/09/2011 14:51:48

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

J'ai regardé l'application tele7 sur android; elle est limité aux chaines de la tnt et il n'y a pas d'options paramétrables

je pense que tu devrais plutot regarder du coté de keoli TV => 200 chaines dispo
par contre, il ne laisse pas de trace donc je ne sais pas comment te donner le lien de téléchargement.
Si tu as une combine ....
Il est peut être préférable de joindre l'auteur de l'appli

Dernière modification par gilles74 (04/09/2011 14:54:21)

Hors ligne

#20 04/09/2011 15:41:41

patrick-g
Membre
Inscription : 30/08/2011
Messages : 51

Re : Nouvelle version de tv_grab_fr_telerama

Salut Gilles,

Merci pour l'essai.
Visiblement la version Androïd n'est pas encore au niveau de la version Iphone. Dommage.
La base de donnée json du site tele7 fait état de 198 chaînes et le fichier que j'ai téléchargé en contient 77.
La dernière version de Keoli revendique près de 400 chaînes et la description dit : "Fonctionne sans connexion ( à partir du 2nd chargement )"; ça me semble étrange, il doit bien télécharger de temps en temps.
Je n'ai pas d'astuce : j'utilise toujours mon vieux mobile de 2002 smile
Il n'y a pas de lien permettant de contacter l'auteur sur le site de Keoli.

Dernière modification par patrick-g (04/09/2011 15:43:34)

Hors ligne

#21 04/09/2011 17:14:26

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

regarde sur le page facebook => http://www.facebook.com/apps/applicatio … 45&sk=info

il y a un lien pour contacter l'auteur.

Je ne connais pas assez android pour savoir comment trouver cette base de données

Hors ligne

#22 17/03/2012 10:33:49

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

J'ai une question

Comment mettre un blanc à la place du C dans le xmltvid ? il prend bien une lettre mais pas l'espace

Hors ligne

#23 17/03/2012 13:31:18

SnouF
Webmasteur, développeurDéveloppeur de scripts pour mythtv (tel que des grabbeurs pour MythNetVision). S'occupe également du dépôt deb des scripts mythtv-fr et propose un dépôt mythtv-fixes pour debian (stable, testing et unstable).
Inscription : 02/11/2007
Messages : 4 565
Site Web Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

Je ne connais pas la norme xmltv mais générallement un id ne contient ni espace, ni caractères spéciaux.

Pourquoi veux-tu un espace dans un id ?

Hors ligne

#24 17/03/2012 19:34:15

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : Nouvelle version de tv_grab_fr_telerama

le nouveau script de Patrick-G propose de modifier le début de l'xmltvid. Par défaut, il est à 'C' ce qui conduit à C1.telerama.fr ; hors j'utilise un autre récupérateur et mes xmltvid 's sont du type 1.telerama.fr.
D'ou ma question comment mettre un blanc pour pouvoir tester son script sans modifier ma configuration ?

Hors ligne

#25 17/03/2012 20:02:30

patrick-g
Membre
Inscription : 30/08/2011
Messages : 51

Re : Nouvelle version de tv_grab_fr_telerama

Salut Gille,

En fait, ce que tu veux faire c'est supprimer le C, pas mettre un espace.
Il faut utiliser des guillemets, la syntaxe est la suivante :
tv_grab_fr_telerama --ch_prefix ""
avec les autres options correspondant à tes besoins, évidemment.

On peut aussi utiliser l'option --ch_postfix pour transformer le ".telerama.fr" en une chaîne de son choix voire en rien, mais ce n'est pas ton cas.

Hors ligne

Réponse rapide

Veuillez composer votre message et l'envoyer
Si vous êtes un être humain ne changez pas le contenu de ces deux champs.

Pied de page des forums

Propulsé par FluxBB

Webmasteur SnouF

Hébergé par Tuxfamily

Valid XHTML 1.0 Strict