Newsmap

Ich möchte Euch kurz meine Entdeckung des Tages vorstellen. Ein Projekt von Marcos Weskamp: Newsmap.jp.

Die Beschreibung der Idee bzw. des Projektes bringt den Hintergund auf den Punkt:

A treemap visualization algorithm helps display the enormous amount of information gathered by the aggregator. Treemaps are traditionally space-constrained visualizations of information. Newsmap’s objective takes that goal a step further and provides a tool to divide information into quickly recognizable bands which, when presented together, reveal underlying patterns in news reporting across cultures and within news segments in constant change around the globe.

Newsmap’s objective is to simply demonstrate visually the relationships between data and the unseen patterns in news media.

Terminal unter Ubuntu Desktop

Nachdem ich bereits über das Übertragen von großen Datenbanken zwischen zwei Servern geschrieben habe, will ich nun auch noch die Übertragung auf Dateisystem-Ebene beschreiben. Auch hier lässt sich der manuelle Weg (mittels FTP-Client und Zwischenspeicherung auf dem eigenen Rechner) leicht umgehen. Das sparrt Zeit und Ressourcen.

Auch hier führt der Weg über die Konsole bzw. das Terminal. Über aptitude habe ich lftp installiert. LFTP ist in der Lage rekursiv von einem Quellserver auf einen Zielserver zu kopieren.

Dies geht wie folgt: Zuerst navigiert man via Shell auf dem Zielserver in den entsprechenden Ordner, in den kopiert werden soll. Danach verbindet man sich via lftp mit dem Quellserver.

lftp -u ftp_user,ftp_passwd hostname

Dies sieht dann beispielsweise so aus:

lftp -u testuser,123456 davidgebhardt.de

Hinweis: Es ist auch möglich einen Unterordner auszuwählen, indem z.B. als Hostname davidgebhardt.de/demo/ angegeben wird.

Nach dem erfolgreichen Aufbau der Verbindung kann das Übertragen der Dateien und Ordner gestartet werden.

lftp -c mirror

Das Kopieren wird dann begonnen und wird rekursiv (also inklusive aller Unterordner) ausgeführt. Danach müssen mittels chown die Besitzrechte für die übertragenen Dateien richtig gesetzt werden. Auch dies kann rekursiv gemacht werden.

chown -R user:name:user_group ./*

Mehr Informationen zu chown findet ihr im Ubuntu-Wiki. Danach sind alle Dateien kopiert und die Rechte richtig gesetzt.

Für Server mit Shell-Zugriff

Wenn es sich um einen dedizierten Server oder einen vServer handelt, so ist ein Zugriff über die Konsole möglich. In diesem Fall kann mit einfachen MySQL-Befehlen auf der Shell ein Backup der Datenbank erstellt werden (als gzip) und anschließend auf dem anderen Server hochgeladen und eingespielt werden.

Zum Erstellen eines Backups kann folgender Befehl genutzt werden:

mysqldump --quick db_name | gzip > database_backup.sql.gz

Danach kann die Datei aus dem Ordner heruntergeladen und auf dem Zielserver hochgeladen werden. Danach verbindet man sich mit dem Zielserver und navigiert zu dem Verzeichnis mit dem Dump und führt folgenden Befehl aus:

gunzip < database_backup.sql.gz | mysql db_name -h localhost -u db_user -p

Danach erfolgt eine Abfrage des Passworts und der Dump wird eingespielt. Mit dem Parameter -f (mysql -f) ist es weiterhin möglich Fehler anzeigen zu lassen, die Bearbeitung des Scriptes aber bis zum Ende fortzusetzen. Die Variante hat den Vorteil, dass die Bearbeitung sehr schnell erfolgt.

Für Server ohne Shell-Zugriff

In diesem Fall kann ein Tool namens MySQLDumper abhilfe schaffen. MySQLDumper kann Backups erstellen und einspielen und speichert diese auf dem Server. Auch hier muss der Transport der Datei per Hand durchgeführt werden. MySQLDumper muss auf beiden Systemen installiert sein. MySQLDumper liest dann inkrementell das Backup ein und bewältigt so auch große Datenmengen. Leider ist das Verfahren recht langsam.

Die Installation von OwnCloud lief reibungslos. Die erforderlichen Pakete habe ich auf dem Server nachinstalliert (soweit noch nicht vorhanden) und danach die Installation über das Web-Frontend vorgenommen. Gut dabei ist vor allem, dass OwnCloud die Möglichkeit bietet den Ordner für die Dateiablage frei zu bestimmen (Pfad und Ordnername) und somit ein systematischer Angriff auf die Dateien schwieriger wird.

OwnCloud im Web-Frontend bietet neben der Dateiablage auch die Möglichkeit Kalender zu pflegen und zu synchronisieren, Kontakte zu verwalten, Bilder in einer Diashow anzuzeigen sowie Musik in einem Mediaplayer wiederzugeben. Hinzu kommen zahlreiche Features, die über Plugins hinzugefügt werden können. Dazu zählen z.B. Bookmarks für einen “Read Later”-Service.

Neben dem schon beschriebenen Web-Frontend bietet OwnCloud auch Apps für das iPhone sowie für Android (dort sogar mit Instant-Upload von Bildern). Leider sind beide Apps nicht sonderlich reif: Der Upload funktioniert recht passabel, eine Dateiansicht in der App ist fast unmöglich. Dazu wird auf andere Apps zugegriffen (manchmal sogar auf Dropbox).

Wie auch bei Dropbox gibt es zusätzlich einen Windows, Linux und Mac Client. Bei diesem sind die Ordner zum Synchronisieren (im Gegensatz zu Dropbox) frei wählbar und die Übertragung funktioniert ganz gut. Probleme entstehen erst bei der maximalen Dateigröße für den Upload (die ist jedoch konfigurierbar).

Fazit: OwnCloud ist eine gute Alternative, gerade wenn es um Datensicherheit geht. Dennoch ist an den Apps, Web-Frontend und Clients noch nicht alles erreicht. Es bleibt noch viel Arbeit – wer will kann aber dank Open Source selbst eingreifen und verbessern.

Für die Installation ist PHP5 zwingende Vorraussetzung. Ansonsten benötigt man den gewünschten Speicherplatz und etwas Know-How für das Aufsetzen der Umgebung. Dies ist jedoch auch auf der Webseite erläutert.

OwnCloud Web-Interface (Image by OwnCloud)

Mehr Features und Anregungen zur Nutzung können auf der OwnCloud-Webseite eingesehen werden. Ich persönlich werde mir diese Lösung genauer ansehen und auch eine Instanz installieren, um die Alltagstauglichkeit zu prüfen.

A. Less Framework

Auf lessframework.com gibt es das gleichnamige Framework zum Download. Es handelt sich dabei um ein Grid-Framework für adaptives Webdesign. Technisch ist dies gut auf dem Webseite beschrieben:

The idea is to first code the Default Layout (992 px), and then use CSS3 media queries to code seve­ral child layouts: 768, 480, and 320 px. The Default Layout will be served to any browsers that do not support media queries, whereas the child layouts will be served, as appropriate, to browsers that do. They will also inherit all styles given to the Default Layout, so coding them is very fast.

B. Simple Grid

Ein etwas einfacheres Framework, dennoch sehr wirkungsvoll. Dieses Grid besteht aus sechs s.g. “Slots”. Dabei werden die Klassen (von links nach recht) .slot-0 bis .slot-5 verwendet. Somit können sechs Spalten erzeugt werden. Durch Kombination der Slot-Nummern können auch Spalten zusammengelegt werden (z.B. .slot-0-1-2 legt die ersten drei Spalten zusammen). Mehr Infos zu dem sehr simplen (aber mächtigen) Ansatz gibt es auf der Webseite.

C. Columnal

Columnal ist eine Zusammenführung verschiedener Frameworks und ein echter Alleskönner. Es werden Webbrowser von Windows und Mac sowie mobile Endgeräte und deren Browser unterstützt. Gleichzeitig bietet das Framework alle Vorteile der oben vorgestellten Frameworks und gleichzeitig noch einige nette Features. Die Demo zeigt diese anschaulich.

Für meinen Fall hat Simple Grid alle notwendigen Features abgedeckt, jedoch werde ich mir auch die anderen beiden Frameworks noch einmal genauer ansehen.

Schritt 1: Kategorie Ausschließen

Das Ausschließen einer Kategorie kann über am einfachsten über “Simply Exclude” vorgenommen werden. Dazu einfach das Plugin installieren, in den Einstellungen unter “Category” die Möglichkeit wahrnehmen auf “Exclude” umzustellen und abschließend in der Kategorie selbst den Haken bei “Frontpage” setzen. Dann werden alle Kategorien, außer die mit dem Haken auf der Startseite gezeigt. Alternativ kann dies auch im Quellcode des Templates gemacht werden über die Funktion query_posts.

Schritt 2: Kategorie im Menü anzeigen

Dazu einfach in WordPress ein Menü anlegen (unter “Appearance/Menu”) und die bisherigen Menüpunkte hinzufügen. Dort habt ihr auch die Möglichkeit eine Kategorie hinzuzufügen. Dies könnt ihr mit der eben von der Startseite verbannten Kategorie machen.

Schritt 3: Bilder und Links anzeigen

Wer nun die Kategorie über das neu gestaltete Menu aufruft, wird sehen, dass es keinerlei Links oder Bilder in den Posts gibt. Dies ist in WordPress für die Kategorie-, Archiv- und Suchergebnisansicht nicht vorgesehen. Dazu müsst ihr in eurem Template die loop.php bearbeiten. Dort sucht ihr (etwas Zeile 132) folgenden Ausdruck:

<?php if ( is_archive() || is_search() ) : // Only display excerpts for archives and search. ?>

und ersetzt ihn mit:

<?php if ( is_search() ) : // Only display excerpts for search. ?>

Dies hat zur Folge, dass WordPress nur für Suchergebnisse die Excerpt-Funktion nutzt und eure neu gestaltete Sektion in WordPress nun vollständig dargestellt wird.

CPE Plakat in Berlin

CPE (Campus Party Europe) ist laut eigenen Aussage das größte Tech-Event weltweit und findet an diesem Wochenende in Berlin-Tempelhof statt. Also ein Tipp für spontane Leser des Blogs.

CPE findet in Tempelhof statt und benennt als Hauptsprecher Sir Tim Berners-Lee (Erfinder des HTML und Begründer des World Wide Web), Den Tapscott (Vorsitzender des Think-Tanks nGenera Insight), Yossi Vardi (israelischer High-Tech-Unternehmer) und Paulo Coelho (brasilianischer Bestseller-Autor). Ein Besuch lohnt sich allein wegen dieser Beteiligung auf der Hauptbühne. Nebenher gibt es jedoch noch vieles mehr zu entdecken.

Also: Heute Abend und morgen ist noch Zeit.

Wenn es dazu kommt, dass in der Laufzeit Dateien zum Download generiert und dann zur Verfügung gestellt werden, ist es notwendig, dass diese eine eindeutige Referenz auf dem Webserver haben. Dabei kann man sich bei Hash-Funktionen bedienen – doch was bleibt ist ein für den Menschen “wirrer” Dateiname. Nehmen wir als Beispiel: 2012-08-23-ab467832b73279ncgtd7982.pdf in der wir Daten aus einer Datenbank aufbereitet, aggregiert und dargestellt haben. Diese soll nun heruntergeladen werden, ohne dass der Nutzer den Deeplink ohne weiteres Stöbern erfährt (über den Quelltext ist das nach wie vor möglich) und ohne die Datei manuell umbenennen zu müssen.

<a href="/reports/2012-08-23-ab467832b73279ncgtd7982.pdf"
download="report">Download Report</a>

Der Download wird gestartet und die Datei wird als report.pdf heruntergeladen. Die Funktion ist derzeit nur in Chrome unterstützt, wird zeitnah aber auch in Firefox erwartet. Dieses Attribut hat jedoch einen weiteren wichtigen Vorteil: Es handelt sich bei dem Link dann um einen Forced Download. Wird zum Beispiel eine .txt verlinkt, so wird diese standardmäßig im Browser angezeigt. Mit dem Download-Attribut ist dies unterbunden, die Datei wird als Download behandelt und in jedem Fall heruntergeladen und nicht direkt im Browser angezeigt.

Ein Beispiel könnt ihr Euch hier ansehen. Achtung: Auch diese Demo funktioniert derzeit nur in Google Chrome.

Die Daten, die ich vor mir hatten, waren automatisch erzeugt und äußerst ungünstig in der Datenbank abgelegt. Die erste Abbildung zeigt schematisch wie die Daten aufbereitet waren.

Die Tabelle enthält Daten zu Veranstalungen (Beispiel ist fiktiv). Das erste Element (ID=1) hat zwei Einträge zu component_ID=1. Dies sind die Redner. Hier Peter und Hans. Die Komponente 2 beinhaltet die Information, ob eine Kostenübernahme stattfindet, die Komponente 3 die Veranstaltungsorte/den Veranstaltungsort und die Komponente 4 die Anzahl der möglichen Gäste.

Das “Problem” liegt auf der Hand: Zu einzelnen Komponenten liegen mehrere Werte/Einträge vor. Will man diese Daten unkompliziert auslesen mit Hilfe von MySQL und dabei folgende Darstellungsform erreichen, ist eine kreative Lösung oder eine gute Funktion gefragt.

Um dies zu erreichen, habe ich die MySQL-Funktion GROUP_CONCAT() genutzt und in meinen PHP-Code zum Auslesen der Daten eingebaut.

SELECT

`parent`.`id` AS `id`,

(SELECT GROUP_CONCAT(content) FROM `events` `child` WHERE `child`.`id` = `parent`.`id` AND component_ID = 1) AS "Redner",
(SELECT GROUP_CONCAT(content) FROM `events` `child` WHERE `child`.`id` = `parent`.`id` AND component_ID = 2) AS "Kostenuebernahme",
(SELECT GROUP_CONCAT(content) FROM `events` `child` WHERE `child`.`id` = `parent`.`id` AND component_ID = 3) AS "Kostenuebernahme",
(SELECT GROUP_CONCAT(content) FROM `events` `child` WHERE `child`.`id` = `parent`.`id` AND component_ID = 4) AS "Anzahl"

FROM events `parent`
group by id

Mehr Informationen und Beispiele zu den Funktion befinden sich in der MySQL Hilfe.