Beiträge von Orbiter

Zitat von frank1212

Ja - das heisst, dass es generell weniger Probleme geben wird. Da ich mit der XML-Verarbeitung absolut korrentes Quellmaterial in den Mobipocket-Konverter reinstopfen kann, wird vermutlich auch der Reader weniger Probleme bereiten. Ausserdem kann ich nun gezielter bestimmte unnütze Sachen rausfiltern, wodurch die eBooks auch etwas kleiner werden sollten.

Ich vermute, dass ich fuer die vorbereitung eines dt. WP Releases jetzt ca 1 Woche Rechenzeit brauche - vorher waren es etwa 6h. Das werde ich jedoch parallelisieren und somit wieder auf 6h reale Zeit kommen - vielleicht auch etwas weniger.

Viele Gruesse,

Frank

Alles anzeigen

Hi Frank,

sorry für das Quengeln, aber Du hast Dir hier eine Diva um den Hals hängen lassen , die verlangt nach Neuigkeiten, dürstend nach News und neuen Versionen .

Erik hat uns mit der TR3 Wikipedia schon durchaus verwöhnt. Deine Mobipocket-Version ist auch ein Kracher, allein weil sie besser auf dem Palm aussieht und weil MobiPocket free ist! Konkurrenz belebt das Geschäft .

Damit für Dich auch was hängen bleibt: Du bist doch bei der nicht unbekannten Gesellschaft für wissenschaftliche Datenverarbeitung. Könntet ihr da nicht die Wiki als offizielles Projekt aufziehen? Promotion für die GWDG machen? Ihr habt doch durch Uni und MP sicher auch sowas wie ein Lehr- oder Bildungsauftrag?!? Könnte man das nicht dahingehend vermarkten? Ist ja schon eine geile Sache! Auch als noramle Windows-Version!

Die ganzen PDA-Phone und UMPC-Geschichten starten doch erst so richtig. Man stelle sich den Asus EEE PC mit einer MobiPocket-version (Über WINE?) und der Wikipedia vor. Sowas gehört in jedes Klassenzimmer. Da brauchts auch nicht immer gleich WLAN und so weiter...

Was für Erik gilt, gilt auch für Dich: Die mobile Wikipedia ist eine Wahnsinnssache! Auch wenn man es nicht immer auf Anhieb glaubt, hier sind Dir eine ganze Menge Menschen tierisch dankbar!

@frank1212:

Hättest Du evtl. Interesse hier einen Support-Thread oder besser beta-Tester Thread zu erstellen? Dann könnte man vielleicht viele Fragen im Vorhinein klären und Ihr hättet weniger Traffic?!?

Hi Frank,

> Diese top???-Geschichte ist zur Zeit die einzige Art
> Bewertungsfunktion, die ich habe. Wenn Du eine andere Idee hast
> (Google Ranks, Umfrage, ...) - immer her damit.

Hmmm, da hast Du natürlich recht. Leider kann ich Dir auch aus dem Stand keine andere Möglichkeit nennen. Aber vielleicht posted ja jemand hier ienen vorschlag.

Vielleicht machen die Abrufzahlen ja auch viel sinn. Kann man die denn noch irgnedwo einsehen? Mich würden da stichprobenweise die letzten 1000 oder so interessieren. Wenn die alle nicht taugen dann kann man ja über die methode nachdenken.

Aber die Frage ist natürlich inwieweit man sogar über 50% der Artikel abschneiden müßte, weil die guten ja auch alle vom Umfang sehr groß sind. das heißt das selbst die Top 50% vielleicht noch 3/4 des Platz ausmachen. Dann wird die 1GB-grenze eng...

> 1. Die Skripte kommen mit dieser bereits nicht mehr zurecht. Diese
> 2007/04 (und vermutlich auch fruehere) bestand aus teils recht
> verkorkstem HTML, das aufwendiger zu verarbeiten war (->langsamer).
> Die seit der 2007/08 nicht mehr noetigen Bearbeitungsschritte hab'
> ich deshalb rausgeschmissen.
>
> 2. Es gaebe keine Formeln, da deren Speicherort mittlerweile mit
> denen der 2007/09 ueberschrieben wurde.
>
> Bottom Line: Ich kann derzeitig nur mit der 2007/08 richtig
> Arbeiten, da ich von dieser HTML, Formeln und
> Bilderdownmoeglichkeit hab'.
> Vorsicht mit Groessenvergleichen zu aelteren Versionen. Ich hab'
> damals die Auswirkungen fehlerhafter C2-Kompression noch nicht
> gekannt. Die 2007/04 wuerde heute ca 200MB groesser sein.

Ok, das sind schlagende argumente, da kann man dann nichts machen :(.

> Wie lange es dauert haengt natuerlich von Anzahl und Staerke der
> Rechner ab. Die Report-Dateien, die zu jeder Version erzeugt werden
> (report.html), geben Aufschluss darueber.
>
> Der Cluster hat in seinen besten Zeiten 32 Prozessorkerne (ich
> glaube in insgesammt 25 Computern - bin aber nicht sicher)
> enthalten. Morgen kommen noch 3 o. 4 richtige Schlachtschiffe dazu
> - Core2Quattros. Die koennen dann 4 Datenfiles gleichzeitig in nur
> 8 Stunden komprimieren .

ja, für normalsterbliche ist sowas natürlich undenkbar . super das du so viel power hast und dann für so ein nettes projekt einsetzt. herzlichen dank .

Zitat von frank1212

Hallo,

hier mal ein (p|P)aar Kommentare von mir:

1.

Eine kleine Wikipedia zu kompilieren, ist nur eine Frage einer guten Bewertungsfunktion für Artikel, die z.B. die besten 50% raussucht. Wie schon erwähnt, arbeitet man da schon bei der Wikimedia-Foundation dran - hier ein Vorgeschmack:

http://tools.wikimedia.de/~leon/stats/wikicharts/

Die Daten basieren auf einem Javascript, dass jeden 500sten Aufruf eines Artikels zählt. Natürlich ist eine Top-100 nicht wirklich sinnvoll - ich brauche eine Top 400000 oder so. Leider reagiert der Autor dieses Systems nicht auf meine eMails. Ich versuche zur Zeit Shell-Zugriff auf den "Wikimedia-Toolserver" zu bekommen - dann komme ich vielleicht auch so an die Daten ran. Eine sinnvolle 1G- oder auch 512MB-Version ist so leicht zu bewerkstelligen - auch fuer zukuenftige Versionen.

2.

Bilder in die Artikel einzubauen scheitert daran, dass die statischen Dumps keine Bilddateien enthalten. Allerdings enthalten sie auch keine Formeln und die haben auch den Weg in die eBooks gefunden . Nun liegen die Formeln in einem sehr gut strukturierten Verzeichnisbaum - man muss lediglich 4096 HTML-"Verzeichnisse" herunterladen und hat dann die URLs aller Formeln. Die Sache ist bei Bildern etwas komplizierter - da muss ich erst alle Artikel nach img-Tags durchsuchen und die entsprechenden URLs herunterladen. In jedem Fall wuerden nur die verkleinerten Bilder ins eBook wandern - sonst wuerde es viel zu gross werden. Wenn ich Zeit habe, probier' ich das in den naechsten Tagen mal aus.

Viele Gruesse,

Frank

Alles anzeigen

Erstmal super dass du hier so fix antwortest. Glaubst gar nicht wie viele Leute dir für Deine Arbeit dankbar sind!!!

Dann noch SUPER weil sich das hört so gut anhört!!!

Allerdings macht es vielleicht wenig Sinn, wenn das Projekt noch in einem ziemlichen beta-Stadium is, da schon rumzukonvertieren, oder? Dann machst Du Dir vielleicht doppelte und dreifache Arbeit.

Außerdem bin ich bei dieser 'Top???' Geschichte auch vom Prinzip her etwas unschlüssig. Wenn viele Wikibesucher Schlagersänger nachschlagen, is alles voller Schlägersänger. Andere, vielleicht interessantere Bereiche bleiben dann draußen :(. und ich mag doch keinen schlager

Deswegen wäre eine einmalige Konvertierung der April 07 Version super , also die die es schon gibt mit links. die links sind ja das schöne an der Wiki .

Die ist zwar etwas über 1 Gb (damit 300 MB kleiner als die August verson) aber so ziemlich alle Geräte schlucken ja 2 GB karten. Inkompatibel wirds bei vielen Geräten ab größeren Karten.

PS: Wie lange dauert sowas denn bei Dir? Und wie groß ist Dein Cluster? Für so normalsterbliche ist das ja quasi unmöglich .

Frank hat das heute auf seine HP gesetzt:

[Blockierte Grafik: http://www.bilder-hochladen.net/files/40lc-1.jpg]

die wiki wird immer größer!!! .

warum gibt es keine nicht-SDHC microSD-karten, die größer als 2 GB sind? für SD gibts die auch.

sehe meine ~ 1 GB wikipedia-fälle schwimmen! selbermachen bekomm ich auch nicht hin:

• One or more (for cluster compression mode) installed linux machines with wine installed

hab nur einen rechner mit windows

• # 1GB of memory on any cluster node compressing parts of any encyclopedia

der rechner den ich hab hat nur 512 MB. aufrüstbar issa nich weil da irgend ein port abgeraucht is.

Zitat

Original von gerega

Eine 2 eher noch 4 GB-Karte werde ich mir eh spätestens nächsten Monat besorgen. Von daher habe ich z.Zt. auch kein Problem damit, dass die aktuielle Version von euch bei mir keinen Platz hat. Wenn ich eine abspeckte Version haben wollte, würde ich mir das Bertelsmann Lexikon kaufen trotz des hohen Preises. Allerdings bietet mir Wikipedia deutlich mehr Inhalt.

Wenn du tatsächlich eine abgespeckte Variante bauen solltest, würde ich wohl eher so vorgehen, dass ich Artikel, die z.B. weniger als 5 oder wieviel auch immer Zeilen haben, nicht integriert werden.

Das bertelsmann-Lexikon kenne ich gar nicht habe den brockhaus noch drauf (die 'nur Text' Version), aber die Wikipedia ist in vielen fällen einfach besser und deutlich ausführlicher.

gerade die Einträge mit 5 Zeilen sind für mich auch interessant weil das die Exotin sind über die mal immer mal wieder stolpert. Wenn man da weis worum es ungefähr geht, ist das super. Die müssen drin bleiben

Deswegen wäre eine Version mit Stand April 2007 super! die hat natürlich noch nicht alles neue, aber das wichtigste und die Größe ist genau richtig.

edit
wenn mobipocket einmal gestartet ist gehts bei mir auch schnell.

UllY

mein Reden :D. nur deine Agumentation ist besser ;).

marvin_obrian

ja, wenn man genügend platz hat ist so eine Bilderversion sicher super. aber wäre die nicht tierisch langsam? meine jetzige von frank startet auf dem XDA Orbit schon recht langsam und der ist eigentlich recht flott. aber gut, da der wohl kein microsdhc kann, is bei mir bei 2 gb ende.

edit
agruener

das problem wird wohl wirklich sein dass sich nicht jeder mit linux auskennt und die 43 tage sind schon eine hürde! in der zeit wird der rechner ja wohl nicht wirklich zu gebrauchen sein. leider habe ich keine zwei rechner. die anderen hier werden sicher auch nicht so gut ausgestattet sein oder? könnte mir noch nen laptop von nem kollegen ausleihen, aber nicht über einen monat. und so ein cluster ist ja das nächste problem

bei mir fehlen auf jeden fall kompetentz und rechenpower

Zitat

Original von frank1212

Naja - ganz so schlimm ist der Athlon nicht, hab' auch einen (Dual-)Athlon1800 im Cluster gehabt. Hochgerechnet wuerdest Du fuer die 2007/08 ca 43 Tage brauchen.

Gruss,

Frank

Alles anzeigen

... oh! Das muß ich aber machen, wenn ich wieder solo bin. meine freundin nervt es nämlich immer, wenn der rechner mal nachts durchläuft. Na gut, da muß man prioritäten setzen! ... ... ... aber ich mag sie doch so ;).

Zitat

Bei diesem Problem handelt es sich um eine Macke im Kompressionsalgorithmus von Mobipocket, die ich bis jetzt unterschätzt/falsch interpretiert hab'. Dabei waren 5 Datenfiles betroffen, die ich schnell nochmal mit geringerer Kompression übersetzt hab'. In Kürze sollte die 2007/08-5 auf dem Fileserver auftauchen, bei der das behoben _sein sollte_ (viele Konjunktivs ) - kann das hier/jetzt leider nicht ausprobieren.

Hey, keinen Streß! In der qualitativen Form sind Deine Files im Moment einzigartig!! Da ist hier sicher jeder bereit, länger drauf zu werden!

Und nochmal [Blockierte Grafik: http://forum.dvbtechnics.info/images/smilies/icon_thumb_up.gif] [Blockierte Grafik: http://forum.dvbtechnics.info/images/smilies/icon_thumb_up.gif] [Blockierte Grafik: http://forum.dvbtechnics.info/images/smilies/icon_thumb_up.gif] für die Aktion!!! ganz grosses Tennis!

Zitat

Original von agruener
Hallo Orbiter,

nachdem die Programme vom Frank alle frei sind, der Prozess beschrieben ist und der Dump noch hier zu finden wäre (http://static.wikipedia.org/downloads/April_2007/de/) steht Deiner Schaffenskraft nichts im Wege !

Gruss,
Alexander

Hmm, das ist eine gute Idee :D.

Aber ich habe leider nur nen Athlon 1800+ (mit dem dauerts sicher jahre )und keinen webspace zum hochladen. ... mist! von linux habe ich auch keine ahnung! aber den dump sollte ich mir mal ziehen damit ich zumindest die chance hätte. vielleicht wenn ein neuer rechner ins haus kommt ;).

ach jau: ich fänd es super, wenn es auch eine neue version für die 04-2007 version geben würde. wenn die nur knapp über 1 gb gross ist ist das super für kleinere speicherkarten bzw. leute die noch navi auf dem pda haben.

meine empfehlung: 04-2007 mit links

Hey, fett das Ding! Wenn jetzt noch die Umlaute laufen - erste Sahne!

btw: wuselt der Frank eigentlich hier im Forum rum? Wäre ja sinnig :D.

Gibts hier was neues? Würde so gerne ne korrigierte Wiki haben!! Bin doch so anspruchsvoll :ätsch:

Koblenz and Ludwigshafen:

Same problem with the PPC version. No table with figures and facts.

But again! BIGGEST THX for this NICE WORK!! I nearly feel omniscient now again :zwinkert:.

PS: These are reasons, why I love the internet so much! Constructive communication and interaction with the developer himself. Wonderful! Again: Thanx for that, Erik :verliebt:

Oh, ich wußte gar nicht, daß es da Unterschiede gibt! Vielleicht habe ich auch die Palm-Version bisher auf meinem PocketPC gehabt und deshalb sahen die Tabellen so mies aus.

Wo gibt es denn sonst 2 unterschiedliche Versionen zum Download? Bei AxelSchäfer, salat.cc und sonstwo finde ich immer nur eine für alles ?!? Nur für den Fall, daß meine 2 GB-Karte doch irgendwann platzt und eine kleinere Wiki her muß.

Zitat

Original von ErikZachte
Text-only TomeRaider files that contain the full unabridged articles of the German Wikipedia and were produced with my latest scripts are now online for both Windows Mobile (= Pocket PC) and Palm users. Feel free to post them on other sites.

http://www.infodisiac.com/Wikipedia/DownloadTR3.html

A DVD with raw data (TomeRaider input files) is on its way to Toem, for producing a Mobipocket version.

I plan to produce a German Wikipedia with images in one or two months and offer that one on DVD for sale. First I'm off to the yearly Wikimania conference, this year in Taiwan.

Alles anzeigen

English

WOW! You are so great! Downloads is started !

But what is the difference between the PPC and the Palm version? I thought the .tr3-format is compatible with Palm and PPC? The Palm-version is attraktive for me as PPC-User because of the size ;).

=============

Deutsch

Erik, Du bist der größte!!! Der Download läuft schon !

Aber eine Frage stellt sich mir noch: Wo liegt der genaue Unterschied zwischen der PocketPC Version und der Palm-Version? Ich dachte immer, bei TR3 wären beide Formate kompatibel. Für mich als PPC-User ist die kleinere Palm-Datei attraktiver :D!

Zitat

Original von Toem
Ich werde wohl von Erik nicht die Skripte, sondern eine fertig konvertierte Ausgabe der deutschen Texte bekommen um diese durch den Mobi-Konverter zu jagen. Mal sehen ob das funktioniert. Parallel sind wir auch schon mit einer anderen Lösung beschäftigt, die ich ja schon mal erwähnt habe hier.

Gruesse,

Toem

Ich finds saugeil und freue mich tierisch auf die Version von Erik!

Allerdings wäre es cool, wenn die Wiki in der nächsten Zeit nicht so stark wachsen würde. Die Größe nimmt langsam unmenschliche Formen an .