Alternativa a httptools.downloadpage

Cylon

Usuario Novato
31 Ago 2018
11
0
1
#1
Hola,

Intento crear canales para ciertas Páginas Webs, encontré información muy útil en el hilo sobre cómo crear un canal. Me dedico a programar profesionalmente pero en Python soy un novato.

El tema es que uso la función "httptools.downloadpage(item.url, timeout=15)" para descargar una página sin problemas y obtengo todos los enlaces y la información e imágenes que necesito ("https://kinoz.to/Latest-Dokumentationen.html"), hasta ahí todo bien. El problema viene con otro enlace también necesario ("/All-Filme.html") y es que aquí la descarga es correcta pero contiene una tabla vacía de enlaces, parece que la carga de elementos es posterior a lo esperado.

En el pasado y usando otros lenguajes de programación, la solución solía pasar por usar un webBrowser, o sea un navegador embebido ¿es esto posible actualmente en la creación de canales? ¿algún canal ya lo hace?.

Gracias de antemano,
Miguel Ángel.
 
Última edición:

Delta

Miembro del equipo
16 Oct 2017
857
940
93
#2
No necesita usar un web browser solo mirar un poco el código y el inspector del navegador.
Si miras en el inspector tendrás una llamada a https://kinoz.to/aGET/List/ y una lista larga de parámetros, si observas la respuesta de esa llamada es un json con los elementos que tu deseas listar, solo es cuestión de buscar en el código de all-filme los parámetros que se usan en la llamada, hay algunos que son fijos y otros variables, dentro del código los parámetros necesarios están en el tag input type="hidden" name="ListParams". Para entender como trabajar los json puedes mirar el código de los canales pepecine o dilo que utilizan json.
 
'Me Gusta': Cylon

Cylon

Usuario Novato
31 Ago 2018
11
0
1
#3
Muchas gracias Delta, me había encabezonado en hacerlo vía la página normal, como lo haría un usuario de la Web. Es mucho mejor como dices usar una API mucho más manejable. :)

Ya como curiosidad ¿existe esa posibilidad de usar un webBrowser o se ha implementado en algún canal? No pienso usarlo, entiendo que algo tan consumidor en recursos se tiene que evitar a toda costa, pero me pica la curiosidad como novato en Python y en Alfa + Kodi.
 

Delta

Miembro del equipo
16 Oct 2017
857
940
93
#4
Muchas gracias Delta, me había encabezonado en hacerlo vía la página normal, como lo haría un usuario de la Web. Es mucho mejor como dices usar una API mucho más manejable. :)

Ya como curiosidad ¿existe esa posibilidad de usar un webBrowser o se ha implementado en algún canal? No pienso usarlo, entiendo que algo tan consumidor en recursos se tiene que evitar a toda costa, pero me pica la curiosidad como novato en Python y en Alfa + Kodi.
Puedes buscar información sobre selenium en google, en alfa no hay nada implementado ya que aun no hemos visto la necesidad de utilizar algo así, pero nada se descarta a futuro :/
 
'Me Gusta': Cylon