MythTV-fr

zubrick

Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.

Inscription : 15/03/2010

Messages : 53

Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Il semblerait que les erreur 503 et l'empressement des gens à réduire le délai entre les requêtes ne soient pas passées inaperçues.
tv_grab_fr_telerama ne fonctionne plus, car il reçoit maintenant une erreur 401
Je sais pourquoi je set le user agent, que je mets un délai de 2 secondes et que je ne récupère pas tout d'un coup.
Si l'api avait été hébergée sur mon serveur, avec le nombre de 503 et les requêtes surdimensionnées que certains ont fait, ça aurait été bloqué plus tôt. Donc on va dire que c'est de bonne guerre.

Plus qu'à trouver une autre solution

racacax

Membre

Inscription : 31/08/2017

Messages : 13

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Le message sur la page est explicite : Le paramètre api_cle est obligatoire.

Reste à savoir où il se trouve.

hamelg

Membre

Inscription : 03/07/2012

Messages : 44

Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Ils ont verrouillé l'usage de l'api. L'application initialise l'API comme cela :

GET https://api.telerama.fr/v1/application/initialisation?api_cle=apitel-5304b49c90511&api_signature=fcbeb0383a597f2ba732f622f4b3c90e667d492d&appareil=android_tablette
...
GET https://api.telerama.fr/v1/application/initialisation?api_cle=apitel-5304b4c90511&hash=9694f404c70f2788198cbe64c3583119&api_signature=f814ca53bde79834171ac2e8db451945990b6488&appareil=android_tablette

Je pense que c'est mort

racacax

Membre

Inscription : 31/08/2017

Messages : 13

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
Quel logiciel utilisez vous pour recuperer les URL ? Car etant développeur (certes PHP), je peux peut etre trouver où se génère ces clés.

spontex

Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
Existe-t-il un autre EPG français que tv_grab_fr_telerama où seraient renseignés les champs durée, année, réalisateur, acteurs (voire la note !) qui me permettent de faire le lien avec d'autres bases de données (ex. : IMDb) pour sélectionner les programmes à enregistrer ?
Merci

aristide

Membre

Inscription : 02/09/2017

Messages : 3

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@halmeg: la clé est est peut-être un hash de l'id du smartphone. Il y en a deux à ma connaissance: Android Device ID et Google Service Framework (GSF). Les deux sont une suite de 16 caractères et peuvent être trouvées avec l'app 'Device ID'

Je vais essayer de capturer le trafic généré par l'appli tvrama sur mon portable (peut-être qu'il faudrait devenir discret avec le nom vu l'évolution des derniers jours), afin de voir si il y a un lien entre les ids et api_cle.

Sinon, si quelqu'un a une suggestion de grabber alternatif, ben je prends volontiers :-).

Mes essais avec schedule direct n'avaient pas été concluants, surtout quant au contenu, descriptions sommaires (3 lignes pour un film) et épisodes des séries pas toujours bien identifiables notamment). Quelqu'un a-t-il d'autres retours ?

Merci et bonne journée

hamelg

Membre

Inscription : 03/07/2012

Messages : 44

Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
Quel logiciel utilisez vous pour recuperer les URL ? Car etant développeur (certes PHP), je peux peut etre trouver où se génère ces clés.

https://mitmproxy.org/

hamelg

Membre

Inscription : 03/07/2012

Messages : 44

Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@halmeg: la clé est est peut-être un hash de l'id du smartphone. Il y en a deux à ma connaissance: Android Device ID et Google Service Framework (GSF). Les deux sont une suite de 16 caractères et peuvent être trouvées avec l'app 'Device ID'

Je crains que la signature et le hash soient calculés avec des méthodes de crypto. C'est pour empêcher l'utilisation de l'api hors de leur appli bourrée de pub.

racacax

Membre

Inscription : 31/08/2017

Messages : 13

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
Je vais voir si la génération est en ligne ou en local. Si c'est en local, j'analyserai l'APK. Bien qu'il y ait peu de chances que je trouve quoi que ce soit, il faut tenter.

hamelg

Membre

Inscription : 03/07/2012

Messages : 44

Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

En regardant de plus près, il semble que le paramètre api_signature est calculé à partir des arguments de la requête. En effet, les requêtes comportant les mêmes paramètres ont une signature identique. La clé qui sert à chiffrer doit se trouver dans l'application.

EDIT :
C'est bon j'ai la solution
Je poste ça se soir

Dernière modification par hamelg (15/09/2017 08:14:38)

hamelg

Membre

Inscription : 03/07/2012

Messages : 44

Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

https://github.com/zubrick/tv_grab_fr_telerama/pull/3
happy api

zubrick

Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.

Inscription : 15/03/2010

Messages : 53

Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

C'est mergé et une nouvelle version a été ajoutée: https://raw.githubusercontent.com/zubri … r_telerama

@hamelg: Merci pour le reverse engineering, beau boulot

Jean-Loup

Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonsoir,
Je viens de mettre la version 1.28 et tous semble bon. Génial en tout cas.
Merci pour votre boulot et votre réactivité.

gwadaviry

Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci beaucoup. Super réactivité

pierrot74

Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonsoir
Merci pour votre travail .La version 1.28 fonctionne
Le guide Télérama est le meilleur et le plus détaillé (critiques ,les épisodes ...)
Pour éviter de surcharger le serveur Télérama et se retrouvé avec des milliers de requétes d'internautes comme décris dans un post plus haut et se retrouver bloqué de nouveau par Télérama ,ne serait-il possible qu'une ou 2 personnes get un listing TNT ,complet et le mette en download sur un site .
C 'est ce que je faisais avec le site "xmltv.dtdns.net" mail il ne semble plus fonctionner.
Cordialement

andres@hotmail.fr

Membre

Inscription : 30/08/2017

Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Je n'ai pas encore fait le test mais je suppose que le nom de l'appareil peut être modifié dans le script.
Il serait peut-être plus prudent que chaque utilisateur du script personnalise cette valeur pour éviter que ce soit toujours le m^me nom d'appareil qui apparaisse dans les requêtes et que cela mette la puce à l'oreille à Telerama.
Pour être plus clair il s'agit de modifier "appareil=android_tablette" en "appareil=ipad_monique" ou autre chose

sdrik

Membre

Inscription : 28/08/2017

Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Je n'ai pas encore fait le test mais je suppose que le nom de l'appareil peut être modifié dans le script.
Il serait peut-être plus prudent que chaque utilisateur du script personnalise cette valeur pour éviter que ce soit toujours le m^me nom d'appareil qui apparaisse dans les requêtes et que cela mette la puce à l'oreille à Telerama.
Pour être plus clair il s'agit de modifier "appareil=android_tablette" en "appareil=ipad_monique" ou autre chose

Le nom de l'appareil "android_tablette" est codé en dur dans l'application officielle Telerama, il est donc plus prudent de ne surtout pas modifier ce nom...

En fait, vous avez le choix entre "android_tablette" et "android_mobile", si la moitié utilise l'un et l'autre moitié utilise l'autre, peut-être que cela peut brouiller les pistes...

andres@hotmail.fr

Membre

Inscription : 30/08/2017

Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@sdrik:
C'est étrange cette notion d'appareil en dur, et en double, dans l'appli telerama. Je ne vois pas l'interet sauf si ca n'est que temporairement en dur et qu'au final (l'application semble évoluer), le type de l'appareil soit récupéré par l'application, par exemple pour gérer l'affichage différemment (tablette ou mobile) mais avec des répercussions malheureuses sur la signature.

sdrik

Membre

Inscription : 28/08/2017

Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@andres@hotmail.fr: à mon avis c'est juste pour faire des stats...

zubrick

Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.

Inscription : 15/03/2010

Messages : 53

Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

nouvelle version : https://raw.githubusercontent.com/zubri … r_telerama

Minux

Membre

Inscription : 16/09/2010

Messages : 23

Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci, tout fonctionne au poil

Romain

Membre

Inscription : 04/03/2016

Messages : 8

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci Zubrick.

Pour ceux que ça intéresse, et vu que xmltv.dtdns.net est mort, j'ai créé un site qui génère un fichier xmltv à partir du contenu de télérama et du grabber de zubrick
On peut télécharger en xml ou en zip

Le lien : www.xmltv.fr

Dernière modification par Romain (23/09/2017 22:38:41)

pierrot74

Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci Zubrick .
Merci Romain . Je vais utiliser ton lien .

rriv

Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci à Zubrick pour cette magistale rétroingéniérie et à Romain pour en mutualiser le résultat  !

andres@hotmail.fr

Membre

Inscription : 30/08/2017

Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

J'essaye d'adapter le programme à Windows mais n'y parviens pas.
Est-ce que quelqu'un pourrait me donner une url complète générée par tv_grab_fr_telerama ?
C'est à dire:
. https://api.telerama.fr/v1/programmes/telechargement.....
. et https://api.telerama.fr/v1/application/initialisation.....
Cela m'aiderait.
Si quelqu'un a réussi l' adaptation pour Windows, les modifications m'intéressent, évidemment.