#1 27/08/2017 19:01:30

lhebui
Membre
Lieu : Saint Martin des Bois
Inscription : 18/03/2008
Messages : 665
Mythbox

tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Je viens de m'apercevoir que le récupérateur de prg telerama ne fonctionne plus depuis 4 ou 5 jours.

Voilà la réponse à ma commande :

getting listings: could not fetch http://guidetv-iphone.telerama.fr/verytv/procedures/LitProgrammes1Chaine.php?date=2017-08-27&chaine=1, error: 500 Can't connect to guidetv-iphone.telerama.fr:80, aborting

1/ Apparemment, l'adresse pour la récupếration a changé ...

2/ Existe t'il une nouvelle version de tv_grab_fr_telerama ou connaissez-vous la nouvelle adresse pour que je la change ?

Je viens de vérifier, l'url : http://guidetv-iphone.telerama.fr/verytv/procedures n'existe plus.

Sinon, il existe un tv_grab_fr_telerama en python ... mais qui fait appel à la même url, donc cela ne sert à rien de l'essayer : https://github.com/melmorabity/tv_grab_ … elerama.py

Dernière modification par lhebui (28/08/2017 08:39:50)


RPI3+ en mythtv et TVHEADEND (en construction pour les 2 ...)

Hors ligne

#2 27/08/2017 22:44:16

metaplop
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Je confirme ça ne fonctionne plus...

#3 28/08/2017 07:27:49

lhebui
Membre
Lieu : Saint Martin des Bois
Inscription : 18/03/2008
Messages : 665
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Il resterait la solution alternative KaZeR pour palier à cette pb que j'espère temporaire.
Par contre, jaimerai utiliser une procédure similaire à celle de Télérama :
- un programme en Perl, python ou autre qui fait appel à un fichier de configuration
- ce programme est lancé par un script et pipé vers mythconverg
- le script est lancé régulièrement avec cron


RPI3+ en mythtv et TVHEADEND (en construction pour les 2 ...)

Hors ligne

#4 28/08/2017 10:01:13

Elwinmage31
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
en effet le site n'est plus accessible, et sur KaZer les programmes ne vont que jusqu'à aujourd'hui...

#5 28/08/2017 15:10:24

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,

Je confirme également que KaZer semble ne contenir qu'un jour de programmes. C'est normal ?

Pour Télérama, j'ai bien peur que cela ne soit définitif : ils ont sorti une nouvelle appli mobile, et celle-ci utilise l'URL https://api.telerama.fr/ à la place de http://guidetv-iphone.telerama.fr/ (qui n'existe plus dans le DNS).
En croisant les doigts, il sera peut-être possible de rétro-ingénierier la nouvelle api en utilisant un proxy MITM, mais ça n'est pas garanti...

En attandant, je suis, comme certainement beaucoup ici, à la recherche d'une source proposant plus de 2 jours de programmes...

Hors ligne

#6 28/08/2017 19:00:28

lhebui
Membre
Lieu : Saint Martin des Bois
Inscription : 18/03/2008
Messages : 665
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Effectivement, c'est loin d'être gagné. Là, je ne maîtrise pas du tout ce truc.

Vivement qu'il y ait du neuf et qu'un as nous sorte de l'impasse ...


RPI3+ en mythtv et TVHEADEND (en construction pour les 2 ...)

Hors ligne

#7 28/08/2017 21:07:35

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Voir mc2xml    http://mc2xml.awardspace.info/
tuto sur notre site

sinon il y a le grabber officiel de xmltv qui prend ses infos sur le site de téléstar mais je n'ai pas testé depuis longtemps

Hors ligne

#8 28/08/2017 22:12:21

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

gilles74 a écrit :

Voir mc2xml    http://mc2xml.awardspace.info/
tuto sur notre site

sinon il y a le grabber officiel de xmltv qui prend ses infos sur le site de téléstar mais je n'ai pas testé depuis longtemps

J'ai essayé mc2xml, il renvoie des données de février 2017. Je ferai un essai avec téléstar, mais j'ai un doute.

Après un premier essai d'analyse de la nouvelle api télérama, je pense que ça va être chaud...
En capturant les requêtes et en les rejouant dans un navigateur, ça fonctionne et les URL/réponses sont assez simple à comprendre, mais il y a une clé spécifique à chaque téléphone, générée lors de l'installation de l'appli. Pour la choper il faut être capable de faire du debogage sur le téléphone (ADB)...

Hors ligne

#9 29/08/2017 07:35:14

gilles74
Administrateur, expert MythTVExpert en configuration du DVB-SAT., développeurMembre de l'équipe de traduction, s'occupe de l'adaptation francophone de accuweather.
Inscription : 20/02/2008
Messages : 3 914
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Effectivement mc2xml était basé sur le serveur Microsoft pour leur media center mais il a été arrêté officiellement en 2015 et il n'y a plus de données au delà de février 2017.

Pour le grabbeur officiel, ça semble l'impasse aussi car il n'est plus dans les sources de xmltv et plus de trace de ce fichier qui a été délaissé au profit de tv_grab_fr_iphone qui pompe dans la même source.

Désolé pour ces fausses pistes, il faut maintenant attendre une bonne âme qui se penche sur le problème.

Hors ligne

#10 29/08/2017 11:06:49

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Et le fichier de KaZeR s'arrête toujours aux programmes d'hier soir... J'imagine qu'il se basait sur la source Télérama...

En attendant de trouver un solution, j'ai activé un trial de 7 jours chez schedulesdirect.org
Ca marche plutôt bien, dommage que ce soit payant snif

Dernière modification par sdrik (29/08/2017 11:07:03)

Hors ligne

#11 29/08/2017 11:28:48

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Est-ce que quelqu'un ici saurait comment contacter KaZeR ? Il ne semble pas répondre sur IRC.

Hors ligne

#12 29/08/2017 11:48:07

mrtvfuencxozd
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Salut,
comme je ne trouvais rien, j'ai bricolé quelque chose.

C'est incomplet (TNT only, plages horaires incomplètes).
C'est en travaux et bien sûr sans garanties, mais si ça peux dépanner...
en tout c'est ce que je vais utiliser en attendant de trouver mieux smile

xmltv.xml
channels.list

les ids sont les mêmes que ceux de la source telerama. (cf channels.list)
Si tout ce passe bien Il devrait y avoir une mise à jour par jour, tant que les sources que j'utilise ne changent pas...

#13 29/08/2017 11:54:12

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

mrtvfuencxozd a écrit :

Si tout ce passe bien Il devrait y avoir une mise à jour par jour, tant que les sources que j'utilise ne changent pas...

Par curiosité, quelles sont les sources ?

Hors ligne

#14 29/08/2017 12:01:00

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Finalement, il y a plus d'espoir que prévu : la clé ne semble pas obligatoire !!!!

https://api.telerama.fr/v1/programmes/t … ,35,33,147

(la liste des chaines correspond à la TNT)

Hors ligne

#15 29/08/2017 12:03:41

mrtvfuencxozd
Membre
Inscription : 29/08/2017
Messages : 5

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

sdrik a écrit :

Par curiosité, quelles sont les sources ?

J'ai commencé avec : telestar.fr
Puis j'ai vu qu'il n'y avait pas d'info la nuit sad

du coup j'ai ajouté : tf1.fr (pour qu'une de mes règles continue big_smile ...)
pour la règle suivante je vais étudier arte.fr

Hors ligne

#16 29/08/2017 13:39:02

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Un petit coup de décompilation de l'appli, et... bingo... j'ai plein d'info sur l'api !!!
Normalement, il y a tout ce qui faut pour faire un grabber digne du nom (bouquets, genres, ...), et le tout en JSON.

Je vais commencer à plancher dessus, mais Perl n'est pas mon fort, et je n'ai jamais vraiment creuser le format XMLTV, donc ça peut prendre du temps.
J'en appelle donc à tous ceux qui voudrait mettre la main à la pâte : #mythtv-fr sur freenode

Hors ligne

#17 29/08/2017 14:11:02

mrtvfuencxozd
Membre
Inscription : 29/08/2017
Messages : 5

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

super, Merci.
Avec le lien plus haut, je vais probablement passer directement à telerama...

des infos pour faire le lien "id_chaine" <=> nom  ou avoir une liste ?

Hors ligne

#18 29/08/2017 14:28:07

Elwinmage31
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

J'ai jeté un coup d'oeil:

on récupère en fait par page, par multi date et multi chaine comme ceci:

  https://api.telerama.fr/v1/programmes/t … 450&page=1

le site renvoie un json.

En python un petit:

import json
json.loads() fait l'affaire

Tant que le fichier json comporte un status bon ( "status":200)  on incrémente le numéro de page, à "status":404 on a tout.

#19 29/08/2017 14:33:30

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

mrtvfuencxozd a écrit :

des infos pour faire le lien "id_chaine" <=> nom  ou avoir une liste ?

https://api.telerama.fr/v1/application/initialisation

Hors ligne

#20 29/08/2017 14:34:41

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

On peut aussi récupérer par bouquet de chaine :

https://api.telerama.fr/v1/programmes/t … bouquets=6

(6 = TNT, voir le lien de mon post précédent)

Hors ligne

#21 29/08/2017 15:01:35

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Elwinmage31 a écrit :

Tant que le fichier json comporte un status bon ( "status":200)  on incrémente le numéro de page, à "status":404 on a tout.

Pour gérer la pagination, il y a plus propre. Le JSON contien un bloc "pagination" qui indique le nombre de pages.
On peut aussi changer la taille des pages avec le paramètre "nb_par_page".

Dernière modification par sdrik (29/08/2017 15:01:54)

Hors ligne

#22 29/08/2017 15:03:47

Elwinmage31
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Oui, je viens de m'en apercevoir, un petit &nb_par_page=1000 fait l'affaire

#23 29/08/2017 15:11:06

Elwinmage31
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bon, le problème c'est que si on essaye de recup tout les programme du bouquet 6 pour une journée le serveur nous renvoie de temps en temps un "taille mémoire dépassé", donc va falloir quand même gérer les pages ou alors faire une récup plutot chaine par chaine...

#24 29/08/2017 20:02:02

totola
Membre
Inscription : 20/04/2009
Messages : 410
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

J'arrive pendant la bataille... Moi aussi je suis en galère..
Merci pour votre travail! Je vais suivre ça attentivement..
En attendant je vais activer le guide EPG (seulement pour la TNT.

Hors ligne

#25 30/08/2017 06:51:45

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Hello,

Effectivement RIP l'API originale de la première appli. Je suis étonné que ma solution ait fonctionné aussi longtemps.
Merci Sdrik pour le reverse engineering, on va pouvoir faire quelque chose avec ça.
Si personne ne s'en occupe, je vais modifier tv_grab_fr_telerama pour utiliser cette API, je vais malheureusement avoir du mal à faire ça pour ce soir pour avoir un guide ininterrompu.

Hors ligne

Réponse rapide

Veuillez composer votre message et l'envoyer
Si vous êtes un être humain ne changez pas le contenu de ces deux champs.

Pied de page des forums

Propulsé par FluxBB

Webmasteur SnouF

Hébergé par Tuxfamily

Valid XHTML 1.0 Strict