#101 13/09/2017 19:49:04

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Il semblerait que les erreur 503 et l'empressement des gens à réduire le délai entre les requêtes ne soient pas passées inaperçues.
tv_grab_fr_telerama ne fonctionne plus, car il reçoit maintenant une erreur 401
Je sais pourquoi je set le user agent, que je mets un délai de 2 secondes et que je ne récupère pas tout d'un coup.
Si l'api avait été hébergée sur mon serveur, avec le nombre de 503 et les requêtes surdimensionnées que certains ont fait, ça aurait été bloqué plus tôt. Donc on va dire que c'est de bonne guerre.

Plus qu'à trouver une autre solution

Hors ligne

#102 13/09/2017 20:37:32

racacax
Membre
Inscription : 31/08/2017
Messages : 13

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Le message sur la page est explicite : Le paramètre api_cle est obligatoire.

Reste à savoir où il se trouve.

Hors ligne

#103 13/09/2017 22:14:46

hamelg
Membre
Inscription : 03/07/2012
Messages : 44
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Ils ont verrouillé l'usage de l'api. L'application initialise l'API comme cela :

GET https://api.telerama.fr/v1/application/initialisation?api_cle=apitel-5304b49c90511&api_signature=fcbeb0383a597f2ba732f622f4b3c90e667d492d&appareil=android_tablette
...
GET https://api.telerama.fr/v1/application/initialisation?api_cle=apitel-5304b4c90511&hash=9694f404c70f2788198cbe64c3583119&api_signature=f814ca53bde79834171ac2e8db451945990b6488&appareil=android_tablette

Je pense que c'est mort snif

Hors ligne

#104 14/09/2017 07:38:06

racacax
Membre
Inscription : 31/08/2017
Messages : 13

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
Quel logiciel utilisez vous pour recuperer les URL ? Car etant développeur (certes PHP), je peux peut etre trouver où se génère ces clés.

Hors ligne

#105 14/09/2017 08:30:42

spontex
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
Existe-t-il un autre EPG français que tv_grab_fr_telerama où seraient renseignés les champs durée, année, réalisateur, acteurs (voire la note !) qui me permettent de faire le lien avec d'autres bases de données (ex. : IMDb) pour sélectionner les programmes à enregistrer ?
Merci

#106 14/09/2017 10:35:12

aristide
Membre
Inscription : 02/09/2017
Messages : 3

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@halmeg: la clé est est peut-être un hash de l'id du smartphone. Il y en a deux à ma connaissance: Android Device ID et Google Service Framework (GSF). Les deux sont une suite de 16 caractères et peuvent être trouvées avec l'app 'Device ID'

Je vais essayer de capturer le trafic généré par l'appli tvrama sur mon portable (peut-être qu'il faudrait devenir discret avec le nom vu l'évolution des derniers jours), afin de voir si il y a un lien entre les ids et api_cle.

Sinon, si quelqu'un a une suggestion de grabber alternatif, ben je prends volontiers :-).

Mes essais avec schedule direct n'avaient pas été concluants, surtout quant au contenu, descriptions sommaires (3 lignes pour un film) et épisodes des séries pas toujours bien identifiables notamment). Quelqu'un a-t-il d'autres retours ?

Merci et bonne journée

Hors ligne

#107 14/09/2017 13:18:36

hamelg
Membre
Inscription : 03/07/2012
Messages : 44
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

racacax a écrit :

Bonjour,
Quel logiciel utilisez vous pour recuperer les URL ? Car etant développeur (certes PHP), je peux peut etre trouver où se génère ces clés.

https://mitmproxy.org/

Hors ligne

#108 14/09/2017 14:03:31

hamelg
Membre
Inscription : 03/07/2012
Messages : 44
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

aristide a écrit :

@halmeg: la clé est est peut-être un hash de l'id du smartphone. Il y en a deux à ma connaissance: Android Device ID et Google Service Framework (GSF). Les deux sont une suite de 16 caractères et peuvent être trouvées avec l'app 'Device ID'

Je crains que la signature et le hash soient calculés avec des méthodes de crypto. C'est pour empêcher l'utilisation de l'api hors de leur appli bourrée de pub.

Hors ligne

#109 14/09/2017 19:37:03

racacax
Membre
Inscription : 31/08/2017
Messages : 13

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonjour,
Je vais voir si la génération est en ligne ou en local. Si c'est en local, j'analyserai l'APK. Bien qu'il y ait peu de chances que je trouve quoi que ce soit, il faut tenter.

Hors ligne

#110 14/09/2017 20:51:18

hamelg
Membre
Inscription : 03/07/2012
Messages : 44
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

En regardant de plus près, il semble que le paramètre api_signature est calculé à partir des arguments de la requête. En effet, les requêtes comportant les mêmes paramètres ont une signature identique. La clé qui sert à chiffrer doit se trouver dans l'application.

EDIT :
C'est bon j'ai la solution smile
Je poste ça se soir

Dernière modification par hamelg (15/09/2017 08:14:38)

Hors ligne

#111 15/09/2017 20:15:16

hamelg
Membre
Inscription : 03/07/2012
Messages : 44
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Hors ligne

#112 15/09/2017 20:33:33

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

C'est mergé et une nouvelle version a été ajoutée: https://raw.githubusercontent.com/zubri … r_telerama

@hamelg: Merci pour le reverse engineering, beau boulot

Hors ligne

#113 16/09/2017 00:13:09

Jean-Loup
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonsoir,
Je viens de mettre la version 1.28 et tous semble bon. Génial en tout cas.
Merci pour votre boulot et votre réactivité.

#114 16/09/2017 15:20:42

gwadaviry
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci beaucoup. Super réactivité

#115 16/09/2017 18:23:24

pierrot74
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Bonsoir
Merci pour votre travail .La version 1.28 fonctionne
Le guide Télérama est le meilleur et le plus détaillé (critiques ,les épisodes ...)
Pour éviter de surcharger le serveur Télérama et se retrouvé avec des milliers de requétes d'internautes comme décris dans un post plus haut et se retrouver bloqué de nouveau par Télérama ,ne serait-il possible qu'une ou 2 personnes get un listing TNT ,complet et le mette en download sur un site .
C 'est ce que je faisais avec le site "xmltv.dtdns.net" mail il ne semble plus fonctionner.
Cordialement

#116 16/09/2017 20:49:29

andres@hotmail.fr
Membre
Inscription : 30/08/2017
Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Je n'ai pas encore fait le test mais je suppose que le nom de l'appareil peut être modifié dans le script.
Il serait peut-être plus prudent que chaque utilisateur du script personnalise cette valeur pour éviter que ce soit toujours le m^me nom d'appareil qui apparaisse dans les requêtes et que cela mette la puce à l'oreille à Telerama.
Pour être plus clair il s'agit de modifier "appareil=android_tablette" en "appareil=ipad_monique" ou autre chose

Hors ligne

#117 16/09/2017 21:27:31

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

andres@hotmail.fr a écrit :

Je n'ai pas encore fait le test mais je suppose que le nom de l'appareil peut être modifié dans le script.
Il serait peut-être plus prudent que chaque utilisateur du script personnalise cette valeur pour éviter que ce soit toujours le m^me nom d'appareil qui apparaisse dans les requêtes et que cela mette la puce à l'oreille à Telerama.
Pour être plus clair il s'agit de modifier "appareil=android_tablette" en "appareil=ipad_monique" ou autre chose

Le nom de l'appareil "android_tablette" est codé en dur dans l'application officielle Telerama, il est donc plus prudent de ne surtout pas modifier ce nom...

En fait, vous avez le choix entre "android_tablette" et "android_mobile", si la moitié utilise l'un et l'autre moitié utilise l'autre, peut-être que cela peut brouiller les pistes...

Hors ligne

#118 17/09/2017 11:18:15

andres@hotmail.fr
Membre
Inscription : 30/08/2017
Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@sdrik:
C'est étrange cette notion d'appareil en dur, et en double, dans l'appli telerama. Je ne vois pas l'interet sauf si ca n'est que temporairement en dur et qu'au final (l'application semble évoluer), le type de l'appareil soit récupéré par l'application, par exemple pour gérer l'affichage différemment (tablette ou mobile) mais avec des répercussions malheureuses sur la signature.

Hors ligne

#119 17/09/2017 19:22:20

sdrik
Membre
Inscription : 28/08/2017
Messages : 17

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

@andres@hotmail.fr: à mon avis c'est juste pour faire des stats...

Hors ligne

#120 19/09/2017 18:42:01

zubrick
Développeur guide xmltvDéveloppe le guide tv_grab_fr_telerama et maintient tv_grab_fr.
Inscription : 15/03/2010
Messages : 53
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Hors ligne

#121 23/09/2017 22:31:31

Minux
Membre
Inscription : 16/09/2010
Messages : 23
Mythbox

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci, tout fonctionne au poil smile

Hors ligne

#122 23/09/2017 22:37:54

Romain
Membre
Inscription : 04/03/2016
Messages : 8

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci Zubrick.

Pour ceux que ça intéresse, et vu que xmltv.dtdns.net est mort, j'ai créé un site qui génère un fichier xmltv à partir du contenu de télérama et du grabber de zubrick
On peut télécharger en xml ou en zip

Le lien : www.xmltv.fr

Dernière modification par Romain (23/09/2017 22:38:41)

Hors ligne

#123 24/09/2017 11:43:49

pierrot74
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci Zubrick .
Merci Romain . Je vais utiliser ton lien .

#124 24/09/2017 18:46:30

rriv
Invité

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

Merci à Zubrick pour cette magistale rétroingéniérie et à Romain pour en mutualiser le résultat  !

#125 25/09/2017 17:45:41

andres@hotmail.fr
Membre
Inscription : 30/08/2017
Messages : 21

Re : tv_grab_fr_telerama 1.21 ne fonctionne plus ...

J'essaye d'adapter le programme à Windows mais n'y parviens pas.
Est-ce que quelqu'un pourrait me donner une url complète générée par tv_grab_fr_telerama ?
C'est à dire:
. https://api.telerama.fr/v1/programmes/telechargement.....
. et https://api.telerama.fr/v1/application/initialisation.....
Cela m'aiderait.
Si quelqu'un a réussi l' adaptation pour Windows, les modifications m'intéressent, évidemment.

Hors ligne

Réponse rapide

Veuillez composer votre message et l'envoyer
Si vous êtes un être humain ne changez pas le contenu de ces deux champs.

Pied de page des forums

Propulsé par FluxBB

Webmasteur SnouF

Hébergé par Tuxfamily

Valid XHTML 1.0 Strict