Ansich hat bisher alles gut funktioniert, doch leider mag Elon meinen Plan nicht und hat meinen Account, der die Tweets auf X gelesen hat, gelöscht.
Ich habe mir dann andere scraping Tools angesehen, doch mehrere Probleme bleiben.
Entweder braucht man einen Account, der benutzt wird. Dieser läuft dann immer Gefahr gesperrt zu werden, da X scraping auch in den terms ausschließt – sie wollen schließlich Geld mit ihrer eigenen API Anbindung verdienen.
Dann gibt es noch Services wie twitterapi.io. Kostet aber auch wieder extra Geld (15 cent für 1000 Tweets) und ist nicht wirklich legal. Muss nicht sein.
Dann hatte ich noch kurz die Idee, Nitter einzubinden. Weil Nitter auch RSS anbietet. Aber der automatische Zugriff wird dort auch meist unterbunden.
Habe sogar probiert, einen eigenen Nitter Server aufzusetzen, weil ich dachte es zieht sich die Daten aus einem allgemeinen Cache. Aber man braucht auch hier wieder einen eigenen X- Account zur Anbinung. Blöd und immer noch illegal.
Klingt bis hier hin erstmal frustrierend. Aaaaaaber…
Warum nicht alles lokal abarbeiten?
Wenn wir auf X surfen, sehen wir immerhin schon alle Daten, die wir brauchen. Also habe ich eine Chrome Extension erstellt.
Alles wird im Browser selbst vorgehalten, ich muss keinen X Server anfunken. X weiß nicht, was ich mit den Daten mache, die mir mein Browser eh schon geladen hat.
Also nehme ich diese aus dem Browser Cache.
Über die Chrome Extension packe ich mir auf X neben jeden Post einen kleinen Button, mit dem ich den Tweetcontent in meine Datenbank verfrachten kann.
Und das ist ja genau das was ich erreichen wollte. Ich möchte nicht alle Daten eines Accounts leersaugen.uchen und dort nochmal verlinken.
So viel zur Grundidee.
Bleibt nur ein Nachteil: Da die Daten lokal über Chrome laufen, wird man es nur am Rechner machen können.
Zu viel Text, zu wenig Bilder. Daher hier ein Einblick:





Gibt noch ein paar kleine Probleme. Z.B. Zeitanpassung an Zeitzone und die Avatarbilder werden noch nicht geladen.
Und das Design hat ne fixe Höhe, schneidet dadurch den Text ab.
Leave a Reply