Podcast-Episoden aggregieren

Podcast-Episoden von Webseiten herunterladen, die Daten analysieren und bereinigen und schließlich in Markdown exportieren.

Lernziele

Du wirst lernen, wie du mit Python und der requests-Bibliothek Webseiten herunterlädst und mit BeautifulSoup HTML-Inhalte analysierst. Außerdem wirst du lernen, wie du Fehler in deinem Code behandelst und Dateien effizient liest und schreibst. Zusätzlich wirst du Daten bereinigen und verarbeiten, DataFrames mit Pandas erstellen und bearbeiten sowie Daten ins Markdown-Format exportieren.

Requesting

In dieser Zelle wird ein Python-Skript definiert, das die Webseite “https://fyyd.de/search?page=0&search=digitalisierung” herunterlädt und als HTML-Datei speichert. Es verwendet die requests-Bibliothek für den Download und behandelt mögliche Fehler während des Prozesses.

# prompt: bitte erstelle python code der die seite https://fyyd.de/search?page=0&search=digitalisierung herunterlädt und als html speichert

import requests
from bs4 import BeautifulSoup

def download_and_save_html(url, filename="downloaded_page.html"):
    try:
        response = requests.get(url)
        response.raise_for_status()  # Raise an exception for bad status codes

        with open(filename, "w", encoding="utf-8") as file:
            file.write(response.text)
        print(f"Page downloaded and saved as {filename}")

    except requests.exceptions.RequestException as e:
        print(f"An error occurred: {e}")
    except Exception as e:
        print(f"An unexpected error occurred: {e}")

if __name__ == "__main__":
    url = "https://fyyd.de/search?page=0&search=digitalisierung"
    download_and_save_html(url)

Scraping

In dieser Zelle wird ein Python-Skript definiert, das die Datei “downloaded_page.html” öffnet und alle Links daraus extrahiert. Es verwendet die BeautifulSoup-Bibliothek zur HTML-Analyse und speichert die extrahierten Links in einer Liste.

# prompt: schreibe python code der die datei downloaded_page.html öffnet und alle links extrahiert und in einer variablen speichert

import requests
from bs4 import BeautifulSoup

def extract_links(filename="downloaded_page.html"):
    try:
        with open(filename, "r", encoding="utf-8") as file:
            html_content = file.read()

        soup = BeautifulSoup(html_content, "html.parser")
        links = []
        for link in soup.find_all("a", href=True):
            links.append(link["href"])
        return links
    except FileNotFoundError:
        print(f"Error: File '{filename}' not found.")
        return None
    except Exception as e:
        print(f"An unexpected error occurred: {e}")
        return None

if __name__ == "__main__":
    extracted_links = extract_links()

Cleaning

In dieser Zelle wird eine Liste episode_links erstellt, die alle Links aus der Variable extracted_links speichert, die den String “/episode/” enthalten. Es wird überprüft, ob jeder Link ein String ist und das Muster “/episode/” enthält, bevor er zur Liste hinzugefügt wird.

# prompt: schreibe python code der aus der variablen extracted_links alle string in einer liste ablegt die /episode/ beinhalten

episode_links = []
if extracted_links:
    for link in extracted_links:
        if isinstance(link, str) and "/episode/" in link:
            episode_links.append(link)

In dieser Zelle wird eine Liste cleaned_episode_links erstellt, die alle Links aus episode_links in das Format https://fyyd.de/episode/xxxxxxxxx/ umwandelt. Dabei werden Links, die mit /episode/ beginnen, entsprechend ergänzt, und Links mit /transcript werden bereinigt, um das gewünschte Format zu erreichen.

# prompt: reinige die strings in episode_links sodass aus '/episode/13289098',  '/episode/4591809',  '/episode/10661740',  'https://fyyd.de/episode/10661740/transcript#t4514',  '/episode/13287710',  '/episode/13289210', strings in folgendem format werden 'https://fyyd.de/episode/xxxxxxxxx/'

cleaned_episode_links = []
for link in episode_links:
    if link.startswith('/episode/'):
        cleaned_episode_links.append(f"https://fyyd.de{link}")
    elif "https://fyyd.de/episode/" in link:
        cleaned_episode_links.append(link.split("/transcript")[0] + "/") # handles transcript links
    else:
        cleaned_episode_links.append(link) # keep links that are already in correct format

len(cleaned_episode_links)

In dieser Zelle wird die Liste cleaned_episode_links in ein Set umgewandelt, um doppelte Einträge zu entfernen, und dann wieder in eine Liste konvertiert. Anschließend wird die Länge des Sets berechnet, um die Anzahl der eindeutigen Links in cleaned_episode_links zu ermitteln.

cleaned_episode_links = list(set(cleaned_episode_links))

len(set(cleaned_episode_links))

In dieser Zelle wird ein Python-Skript erstellt, das über alle Links in cleaned_episode_links iteriert und die HTML-Antworten in einem Ordner speichert. Für jeden Link wird eine HTTP-Anfrage gesendet, und die Antwort wird in einer Datei gespeichert, deren Name die Episoden-ID und einen Index enthält. Der Ordner episode_html wird erstellt, falls er noch nicht existiert, und Fehler während des Downloads werden behandelt und ausgegeben.

Zweites Requesting

# prompt: iteriere über alle links in cleaned_episode_links und speichere die html antworten in einem ordner füge die episode id als in den dateiname ein

import requests
from bs4 import BeautifulSoup
import os

# ... (your existing code) ...


def download_and_save_html(url, filename="downloaded_page.html"):
    try:
        response = requests.get(url)
        response.raise_for_status()  # Raise an exception for bad status codes

        with open(filename, "w", encoding="utf-8") as file:
            file.write(response.text)
        print(f"Page downloaded and saved as {filename}")

    except requests.exceptions.RequestException as e:
        print(f"An error occurred: {e}")
    except Exception as e:
        print(f"An unexpected error occurred: {e}")


# Create the directory if it doesn't exist
if not os.path.exists("episode_html"):
    os.makedirs("episode_html")

for i, link in enumerate(cleaned_episode_links):
    try:
        response = requests.get(link)
        response.raise_for_status()

        # Extract episode ID (you might need a more robust way to extract this)
        episode_id = link.split("/")[-2] if link.split("/")[-1] == "" else link.split("/")[-1] # handles trailing slashes

        filename = os.path.join("episode_html", f"episode_{episode_id}_{i}.html")  # Use episode ID in filename
        with open(filename, "w", encoding="utf-8") as f:
            f.write(response.text)
        print(f"Downloaded {link} to {filename}")
    except requests.exceptions.RequestException as e:
        print(f"Error downloading {link}: {e}")
    except Exception as e:
        print(f"An unexpected error occurred while processing {link}: {e}")

Scraping

In dieser Zelle wird ein Python-Skript erstellt, das über alle HTML-Dateien in einem angegebenen Verzeichnis (output_dir) iteriert, die Dateinamen sortiert und bestimmte Informationen aus den HTML-Inhalten extrahiert.

Das Skript beginnt mit dem Import der notwendigen Bibliotheken (pandas, os, BeautifulSoup und re). Es definiert eine Funktion process_html_files, die die HTML-Dateien im Verzeichnis episode_html verarbeitet.

Die Funktion listet alle HTML-Dateien im Verzeichnis auf und sortiert sie. Für jede Datei wird der HTML-Inhalt gelesen und mit BeautifulSoup geparst.

Es extrahiert den Titel der Seite aus dem