Schwarze Schafe automatisiert finden

Ich stand vor kurzer Zeit vor dem Problem, wie man schnell voneinander abgeschriebenen Text in Protokollen finden kann. Die Protokolle wurden alle im Word-Format abgegeben. Dafür gibt es ein paar nette Helfer, die ich hier vorstellen möchte:
  1. Antiword wandelt .doc in einfache Textdateien um
  2. cat_open_xml.pl ist ein Perl-Skript für die gleiche Aufgabe bei .docx
  3. Das Paket similarity-tester kann sehr einfach Textfiles vergleichen
Und hier ein kleines Skript zur Automatisierung. Es geht davon aus, dass das Perl-Skript und die Word-Dateien im gleichen Verzeichnis liegen. Namensähnlichkeiten zum Tagesgeschehen sind natürlich nur Zufall.
#!/bin/bash
#Das Gutti-Skript: Wir finden Duplikate

#Aufräumen
rm *.txt

#Störende Leerzeichen entfernen
for i in *\ *
        do mv "$i" "${i// /_}"
done

#.doc umwandeln
for i in *.doc
        do antiword $i >& $i.txt
done

#.docx umwandeln
for i in *.docx
        do ./cat_open_xml.pl $i >& $i.txt
done

#Texte vergleichen und nach Ähnlichkeit in Prozent auflisten
sim_text -e -s -p -T *.txt
Natürlich muss man Treffer noch manuell nachkontrollieren.
lisa (Gast) - 30. Mai, 11:57

Klasse, danke für die Links!
LG

Trackback URL:
http://barahir.twoday.net/stories/schwarze-schafe-automatisiert-finden/modTrackback

User Status

Du bist nicht angemeldet.

Suche

 

Aktuelle Beiträge

VDR 1.7 auf Dockstar
weiss jemand wie man die abhängigkeit lösen...
karsten (Gast) - 16. Apr, 10:20
Umzug
Nach ganzen sechs Jahren ist hier nun Schluss und der...
Barahir - 3. Jan, 21:11
Ich hab versucht das...
Ich hab versucht das Verzeichnis anzupassen, das hat...
Barahir - 15. Nov, 13:22

Charts Lieblingskünstler - Diese Woche

RSS Box

Gesprächseinstieg
„Entschuldigung, kenn ich Sie nicht von Instagram?“
Torsten - 12. Jul, 10:20
Die Wahrheit über Ransomware
„Chef.“ „Ja?“ „Wär’s...
Torsten - 28. Jun, 11:13
Vorstellung
„Was machen Sie so beruflich?“ „Ich...
Torsten - 20. Jun, 22:50
How to fix the Dell light black printer issue
In 2015 I bought an Dell C1660w printer. Since now...
Joern - 5. Apr, 20:13
Passiv-agressive Push-Nachrichten
„Drei neue Nachrichten! Lies sie oder lass es...
Torsten - 3. Apr, 09:46
It’s a Mess
„Ich muss Dir was sagen. Hast du Signal?“ „Nee,...
Torsten - 28. Jan, 13:23
From Russia with love
Der Universal-Ratschlag „Schalten Sie den Computer...
Torsten - 12. Dez, 13:06
Who are you?
Deine Gene sind nur die API. Doch Du bist der Quelltext.
Torsten - 21. Jun, 11:01
Nerd ist…
…wenn in der neuen Wohnung das WLAN steht, bevor...
Torsten - 20. Jun, 10:06
KI Canary
Ich entkalke meine Kaffeemaschine nicht, bis sie mich...
Torsten - 4. Apr, 09:45
Amiga
Stell Dir einen Atari vor. Aber in cool.
Torsten - 5. Mrz, 20:58
Vom Blech zum Preis – Technische und betriebswirtschaftliche...
Meine Weiterbildung zum Betriebswirt (VWA) ist seit...
Joern - 22. Okt, 15:42
How to use a Dell C1660 printer from Ubuntu
So my old Samsung printer broke down and we needed...
Joern - 21. Aug, 18:58
ZFS auf dem Heimserver
So langsam ging der Speicherplatz auf meinem Heimserver...
Joern - 21. Jun, 10:51
Endlich wieder basteln
Nachdem ich seit Mitte Februar mit der Weiterbildung...
Joern - 12. Apr, 12:16

Status

Online seit 3978 Tagen
Zuletzt aktualisiert: 16. Apr, 10:20