Scrapear el Sitemap

from tkinter import Tk,Entry,Button,Label,StringVar,Frame, Text
import requests
import pandas as pd
from bs4 import BeautifulSoup

def enviarSitemap():
    try:
        xurl = envioUrl.get()
        req = requests.get(xurl)
        soup=BeautifulSoup(req.text,'lxml')
        code=req.status_code
        Label(entryFrame, text=("El sitemap responde código: {}".format(code)), fg="red", font=("Poppins", 11)).grid(row=3, column=1, sticky="e",padx=20, pady=10)
    except:
        Label(entryFrame, text= "La web insertada NO es correcta", fg="gray", font=("Poppins", 11)).grid(row=3, column=1, sticky="e",padx=20, pady=10)

def enviarCrawler():
    global indiceSitemap
    indiceSitemap = envioUrl.get()
    ventana.destroy()
    
ventana = Tk()
ventana.title("CRAWLER SITEMAP") #Título de la ventana
ventana.columnconfigure(0, weight=1)
ventana.rowconfigure(0, weight=1)
miFrame=Frame(ventana)
miFrame.grid()
entryFrame=Frame(miFrame)
entryFrame.grid(row=4, column=3, sticky="nsew")
Label(entryFrame, text="Inserta la URL del SITEMAP /index_sitemap.xml:", fg="red", font=("Poppins", 14)).grid(row=0, column=0, sticky="w",padx=20, pady=10)

envioUrl = StringVar()
envioUrlEntry=Entry(entryFrame, width=80, textvariable=envioUrl, font=("Poppins", 12))
envioUrlEntry.grid(row=1, columnspan=3,padx=20, pady=20)


botonCode=Button(entryFrame, text="<< 1º Comprobar CODE >>",fg="black", font=("Poppins", 14), command=enviarSitemap)
botonCode.grid(row=3, column=0, sticky="w", padx=20, pady=20)

botonEnvio=Button(entryFrame, text="<< 2º Crawlear SITEMAP >>",fg="black", font=("Poppins", 14), command=enviarCrawler)
botonEnvio.grid(row=3, column=2, sticky="e", padx=20, pady=20)

ventana.mainloop()

r = requests.get(indiceSitemap )
soup = BeautifulSoup(r.content)
todas = soup.findAll('loc')
listaXML=[]
for ur in todas:
    listaXML.append(ur.getText())
print(listaXML)

listaURL=[]
for ur in listaXML:
r = requests.get(ur)
soup = BeautifulSoup(r.content)
urls=soup.findAll('loc')
for ur in urls:
    listaURL.append(ur.getText())
listaLimpia = pd.unique(listaURL)
print(listaLimpia)

con=0
listaCanonical=[]
listaIndex=[]
listaCod=[]
miDiccionario={'Pagina':listaLimpia,'Canonical':listaCanonical, 'Indexable':listaIndex, 'Código':listaCod}
for xurl in listaLimpia:
    print("URL principal {}".format(xurl))
    req = requests.get(xurl)
    soup=BeautifulSoup(req.text,'lxml')
    code=req.status_code
    print("La web responde código: {}".format(code))
    listaCod.append(code)
    #///////////Buscamos la etiqueta CANONICAL y la comparamos con la URL////////////////////////////////////
    html=soup.find('link', rel="canonical")
    if html != None:
        canonical=html.get('href')
        if xurl != canonical:
            listaCanonical.append('No indexable')
            print("NO Indexable {}".format(canonical))
        else:
            listaCanonical.append('Indexable')
            print("Misma URL {}".format(canonical))
    else:
        print("No hay etiqueta canonical")
        listaCanonical.append('No canonical')

    
#//////////// Busca la etiqueta NOINDEX en meta.
    html=soup.find_all('meta')
    for h in html:
        c=h.get('content')
        cc=str(c)
        if "noindex" in cc:
            con=1
            print(cc)
            break
    if con>=1:
        print("Hemos encontrado NOINDEX")
        listaIndex.append('No index')
        con=0
    else:
        print("No hay etiqueta NOINDEX")
        listaIndex.append('Index')
        con=0

frames = pd.DataFrame(miDiccionario)
frames.to_csv('sitemap.csv', encoding = 'utf-8-sig')
frames