Themen vom alten Forum verschieben

Informationen und Fragen zum Forum.
jake001
Beiträge: 7
Registriert: Mo Jul 18, 2022 3:09 pm

Themen vom alten Forum verschieben

Beitrag von jake001 »

Hallo.

Wie kann man den Themen vom alten ins neue Forum verschieben, wie es drüben angedeutet wurde?
https://forum.pflanzenbestimmung.de/viewtopic.php?t=48995 hat geschrieben:Dagegen kann natürlich jeder seine alten Threads selber rüberkopieren.
Über die Suchfunktion und meine Themen benutze ich das Forum gern als Wissensdatenbank. Weil ich mich manchmal schon erinnere, dass ich eine Pflanze, zu der e eine aktuelle Anfrage gibt, selbst schon in Jahr XXXX an Ort YYY gesehen habe. Dann such ich mein Thema und finde die Antwort.

Ausserdem wäre es doch mega schade um Projekt: Farn- und Blütenpflanzen . Dort haben sich einige viele Stunden Arbeit gemacht und das sicher nicht nur wegen ihrem Sendungsbewusstsein.

Danke.
Benutzeravatar
Anagallis
Unfreundlicher Muffkopf
Beiträge: 1898
Registriert: Mi Jun 22, 2022 7:54 pm
Wohnort: Enzkreis, an der Grenze zum Landkreis Karlsruhe

Re: Themen verschieben

Beitrag von Anagallis »

Außer alle Beiträge neu zu erstellen können wir im Moment nichts machen. Unser technischer Admin hat angeboten, nach einer automatisierbaren Lösung dafür zu suchen. Zuerst bräuchten wir dafür aber eine Erlaubnis von Jule (zur Zeit weg) und Arno. Ich behalte das Thema im Auge.
Dominik
jake001
Beiträge: 7
Registriert: Mo Jul 18, 2022 3:09 pm

Re: Themen verschieben

Beitrag von jake001 »

Also händisch neu erstellen ist sicher kein gangbarer Weg. Es fängt schon damit an, dass man die Fotos ja nicht mehr in sinnvoller Auflösung zu Hause hat .. Die Anzeige im alten Forum ist gerendert und man verliert wahrscheinlich viel Qualität ... Vom zeitlichen Aufwand will ich mal nicht erst reden.

Aber wie gesagt, wäre mega schade, wenn die Info verloren ginge ...

PS: Die Bilder wurden im alten Forum auch zeitgemäss in einer Filestruktur abgelegt und nicht als Blob in der DB gespeichert, oder?

Die Nutzer der alten Beiträge könnte man sicher auch als dummies automatisiert im neuen Forum anlegen. die haben dann halt ein spezifisches name pattern, z.B. Forumname Unterstrich dummy (Jake001_dummy) oder Jake001_oldForumAccount. So blieben die Zitate auch einigermassen zuordenbar.

Beruflich setze ich mich ein wenig damit auseinander. Für durchdachte Anforderungsdefinition stünde ich zur Verfügung.
jake001
Beiträge: 7
Registriert: Mo Jul 18, 2022 3:09 pm

Re: Themen verschieben

Beitrag von jake001 »

PS: Ich stelle meine Beiträge für Testzwecke nach Positivmeldung der Admins des alten Forums zur Verfügung. Eine Teilmenge (z.B. aus dem "Projekt: Farn- und Blütenpflanzen" Unterforum ) zu nutzen ist sicher sinnvoll.

Bezüglich DB-Abfragen, API requests, python Skripting sind Grundkenntnisse vorhanden. Neben Anforderungsstellung zur Funktionalität und testing wäre also auch Entwicklung möglich. Da bräuchte ich aber schon Zeit zur Einarbeitung und ohne (lokales) Testsystem ist mir das viel zu heiss. Ausserdem übernehme ich aus Überzeugung nicht alle Rollen gleichzeitig. Testing und Entwicklung gehören wegen mir nie in die gleiche Hand. Meine festen Wanderziele für dieses Jahr sind erledigt. Ausserdem sind meine digitalen Herbarisierungsanstrengungen mangels ordentlicher Kamera zum Erliegen gekommen. Trotzdem liesse sich das nur in der übersichtlichen Freizeit und unregelmässig machen.
Benutzeravatar
Anagallis
Unfreundlicher Muffkopf
Beiträge: 1898
Registriert: Mi Jun 22, 2022 7:54 pm
Wohnort: Enzkreis, an der Grenze zum Landkreis Karlsruhe

Re: Themen verschieben

Beitrag von Anagallis »

jake001 hat geschrieben: Mi Jul 20, 2022 1:54 pm Die Anzeige im alten Forum ist gerendert und man verliert wahrscheinlich viel Qualität ... Vom zeitlichen Aufwand will ich mal nicht erst reden.
So schlimm ist es nicht. Die Bilddateien wurden zwar beim Hochladen nochmal umkodiert (mit ein Grund für die ewigen Uploaddprobleme). Aber die Minibildchen die man im alten Forum sieht, sind tatsächlich die, die das Forum intern gespeichert hat. Im neuen Forum ist das etwas anders - wir erlauben jetzt größere Bilder, als das Forum in der Vorschau anzeigt.
Aber wie gesagt, wäre mega schade, wenn die Info verloren ginge ...
Absolut! Wir haben es uns wirklich nicht einfach gemacht. Das neue Forum hatte mehrere Jahre Vorlaufzeit, in denen es wiederholt Anläufe gab, das alte Forum auf Vordermann zu brinden. Aber das geht eben nicht ohne den Betreiber, und der hat vor über einem Jahr die Registrierung neuer Mitglieder "temporär" abgeklemmt und seitdem nicht wieder aktiviert. Ein Forum ohne Neumitglieder geht aber zwangsläufig vor die Hunde, und man konnte auch beobachten, wie die Aktivitäten immer weniger wurden.

In diesem Kontext ist es einfach unrealistisch, auf einen Datenbankabzug aus dem alten Forum zu spekulieren. Es bleibt uns nur die Hoffnung, daß das alte Forum im Nur-Lesen-Modus noch recht lange erhalten bleibt.
PS: Die Bilder wurden im alten Forum auch zeitgemäss in einer Filestruktur abgelegt und nicht als Blob in der DB gespeichert, oder?
Ja, phpbb speichert Bilder in einem Verzeichnis und nicht in einer Datenbank.
Die Nutzer der alten Beiträge könnte man sicher auch als dummies automatisiert im neuen Forum anlegen. die haben dann halt ein spezifisches name pattern, z.B. Forumname Unterstrich dummy (Jake001_dummy) oder Jake001_oldForumAccount. So blieben die Zitate auch einigermassen zuordenbar.
Tja, aber ohne Erlaubnis des alten Betreibers können wir ja nicht einfach die alten Beiträge kapern.
Beruflich setze ich mich ein wenig damit auseinander. Für durchdachte Anforderungsdefinition stünde ich zur Verfügung.
Man bräuchte so ein Skript, dem man dir URL eines Themas im alten Forum gibt. Im ersten Schritt würde das Skript alle Beiträge des Themas laden (mit wget?), lokal abspeichern und das Forenlayout entfernen. Dann hätte man eine Liste von Beiträgen mit Autor und die dazugehörigen Bilder.

Wie man im zweiten Schritt im neuen Forum die Beiträge wieder neu anlegen kann, ist mir noch völlig unklar.

--

Du hast noch meine Adresse? Wir können uns doch mal kurzschließen oder telefonieren, um nach einer Lösung zu suchen. Die nötigen Rechte um Benutzer oder Beiträge zu erzeugen, kann ich Dir geben.
Dominik
Benutzeravatar
Anagallis
Unfreundlicher Muffkopf
Beiträge: 1898
Registriert: Mi Jun 22, 2022 7:54 pm
Wohnort: Enzkreis, an der Grenze zum Landkreis Karlsruhe

Re: Themen verschieben

Beitrag von Anagallis »

jake001 hat geschrieben: Mi Jul 20, 2022 2:03 pm PS: Ich stelle meine Beiträge für Testzwecke nach Positivmeldung der Admins des alten Forums zur Verfügung. Eine Teilmenge (z.B. aus dem "Projekt: Farn- und Blütenpflanzen" Unterforum ) zu nutzen ist sicher sinnvoll
Für eigene Beiträge brauchen wir sicher keine Genehmigung.
Dominik
Benutzeravatar
Anagallis
Unfreundlicher Muffkopf
Beiträge: 1898
Registriert: Mi Jun 22, 2022 7:54 pm
Wohnort: Enzkreis, an der Grenze zum Landkreis Karlsruhe

Re: Themen verschieben

Beitrag von Anagallis »

jake001 hat geschrieben: Mi Jul 20, 2022 2:03 pm Da bräuchte ich aber schon Zeit zur Einarbeitung und ohne (lokales) Testsystem ist mir das viel zu heiss.
Wir könnten für den Zweck ein neues Unterforum anlegen und einen Benutzer für den Import, so daß (1) nur dieser Benutzer das Unterforum sieht und (2) dieser Benutzer keine anderen Foren sieht. Benutzer automatisiert anzulegen wird sowieso nicht funktionieren. Ich würde mal davon ausgehen daß ein kopierter Beitrag in etwa so aussieht:

> Anagallis schrieb am 11.11.2011, 11:11:11 im alten Forum
>
> Text des alten Beitrags und Bilder.

Erstellt würden diese Beiträge dann immer vom selben "Import"-Benutzer. Wenn der nur Rechte in dem einen Unterforum hat, kann er nicht viel Schaden anrichten.
Ausserdem übernehme ich aus Überzeugung nicht alle Rollen gleichzeitig. Testing und Entwicklung gehören wegen mir nie in die gleiche Hand.
Ich hätte sowieso nicht das Ziel, das gesamte alte Forum zu importieren, sondern nur handverlesene Themen, die besonders erhaltenswert sind. D.h., man importiert mal mit der vorhandenen Software ein Thema im unsichtbaren Bereich, bespricht, ob's noch Probleme gibt, repariert sie und verschiebt das Thema dann ggf. als Moderator in den öffentlichen Bereich.
Dominik
jake001
Beiträge: 7
Registriert: Mo Jul 18, 2022 3:09 pm

Re: Themen verschieben

Beitrag von jake001 »

Hoi.

Danke für die sehr schnelle und ausführliche Antwort. Ich verzichte auch bewusst darauf, das Thema als PN weiterzuführen. Erstens schreibe ich hier keine Geheimnisse, zweitens kann ein versierter Entscheidungsträger oder Umsetzer somit leicht noch etwas nachlesen.

Das alte Forum zu spidern/crawlen ist sicher kein Problem.

[Log in]
Gehe zu URL,
lies Themendaten (Name, Ersteller)
für alle Antwort-Seiten
für alle Antworten
lies relevante Daten (regexp oder simpler split) [ggf werden die Antworten sogar gleich als json ins html gegeben, dann erledigen sich die Schleifen und damit weitere html requests]
Schreib alles datenrobust in ein Dict

@Alte Beiträge kapern: Also ich glaub schon, dass das intellektuelle Eigentum von meinem Beiträgen bei mir liegt. Du schreibst ja auch, dass eigene Beiträge kein Problem sind. Leider bleibt es pro Thema ja nie bei einem Nutzer. Der antwortet sich ja nicht selbst. Man müsste eine datenschutzkonforme Form finden, die Antworten anderer Nutzer zu überführen. Eigentlich reicht eine Quellenangabe meiner Meinung nach da aus alla "Jake001 schrieb in forum.pflanzenbestimmung.de: ..." . Der alte Forenbetreiber sollte nichts dagegen haben und die alten Nutzer sollten GEGEN ein Zitat keine Handhabe haben. Die müssten ja sonst alphabet/google millionenweise verklagen.

Ich schreibe trotzdem sicher keine dutzende Themen neu via Frontend (Browser). Das soll mal schön eine API machen oder ich lass ein Skript Themen und Antworten via URL Post absenden. Bei letzterem sollte die Forensoftware dann aber abriegeln. Automatisierte (schreibende) Zugriffe sind ja normalerweise böse.

Lassen wir das Thema mal als Absichtserklärung ein paar Tage liegen, um nicht in Aktionismus zu verfallen.

Ich guck vlt mal in einem proof of concept, ob das crawlen im alten Forum gut geht.
Benutzeravatar
Anagallis
Unfreundlicher Muffkopf
Beiträge: 1898
Registriert: Mi Jun 22, 2022 7:54 pm
Wohnort: Enzkreis, an der Grenze zum Landkreis Karlsruhe

Re: Themen verschieben

Beitrag von Anagallis »

jake001 hat geschrieben: Mi Jul 20, 2022 3:43 pmBei letzterem sollte die Forensoftware dann aber abriegeln. Automatisierte (schreibende) Zugriffe sind ja normalerweise böse.
Abwarten. Eventuell kann man einem Importbenutzer spezielle Rechte geben, die so eine Sperre verhindern.
Ich guck vlt mal in einem proof of concept, ob das crawlen im alten Forum gut geht.
Gut, das wäre klasse. Meine Automatisierungskenntnisse beschränken sich auf Text, d.h. die Bilder bekäme ich nicht so einfach aus den Beiträgen extrahiert.
Dominik
Benutzeravatar
Anagallis
Unfreundlicher Muffkopf
Beiträge: 1898
Registriert: Mi Jun 22, 2022 7:54 pm
Wohnort: Enzkreis, an der Grenze zum Landkreis Karlsruhe

Re: Themen verschieben

Beitrag von Anagallis »

Es gibt jetzt einen Nutzer names "forumimport", der als einziger und als einziges Zugriff auf ein verstecktes Forum namens "Datenimport" hat. Das Paßwort bekommst Du in einer PN. Mit dem Benutzer sollte man den Themenimport gefahrlos testen können.
Dominik
Antworten