Schwarze Schafe automatisiert finden

Ich stand vor kurzer Zeit vor dem Problem, wie man schnell voneinander abgeschriebenen Text in Protokollen finden kann. Die Protokolle wurden alle im Word-Format abgegeben. Dafür gibt es ein paar nette Helfer, die ich hier vorstellen möchte:
  1. Antiword wandelt .doc in einfache Textdateien um
  2. cat_open_xml.pl ist ein Perl-Skript für die gleiche Aufgabe bei .docx
  3. Das Paket similarity-tester kann sehr einfach Textfiles vergleichen
Und hier ein kleines Skript zur Automatisierung. Es geht davon aus, dass das Perl-Skript und die Word-Dateien im gleichen Verzeichnis liegen. Namensähnlichkeiten zum Tagesgeschehen sind natürlich nur Zufall.
#!/bin/bash
#Das Gutti-Skript: Wir finden Duplikate

#Aufräumen
rm *.txt

#Störende Leerzeichen entfernen
for i in *\ *
        do mv "$i" "${i// /_}"
done

#.doc umwandeln
for i in *.doc
        do antiword $i >& $i.txt
done

#.docx umwandeln
for i in *.docx
        do ./cat_open_xml.pl $i >& $i.txt
done

#Texte vergleichen und nach Ähnlichkeit in Prozent auflisten
sim_text -e -s -p -T *.txt
Natürlich muss man Treffer noch manuell nachkontrollieren.
lisa (Gast) - 30. Mai, 11:57

Klasse, danke für die Links!
LG

Trackback URL:
http://barahir.twoday.net/stories/schwarze-schafe-automatisiert-finden/modTrackback

User Status

Du bist nicht angemeldet.

Suche

 

Aktuelle Beiträge

VDR 1.7 auf Dockstar
weiss jemand wie man die abhängigkeit lösen...
karsten (Gast) - 16. Apr, 10:20
Umzug
Nach ganzen sechs Jahren ist hier nun Schluss und der...
Barahir - 3. Jan, 21:11
Ich hab versucht das...
Ich hab versucht das Verzeichnis anzupassen, das hat...
Barahir - 15. Nov, 13:22

Charts Lieblingskünstler - Diese Woche

RSS Box

Where a Wood Shop Goes, a Hackerspace Follows
The 2×4 Contest at my local hackerspace captured...
John Baichtal - 28. Jul, 19:01
OpenEMS Makes Electromagnetic Field Solving… Merely Difficult
To ordinary people electronics is electronics. However,...
Al Williams - 28. Jul, 17:30
North Carolina Hackerspace Destroyed by Fire, Members Vow to...
There’s something about old industrial buildings...
Dan Maloney - 28. Jul, 16:00
Four Chords Should Be Enough For Anyone
You might be surprised at how many pop songs are exactly...
Brian Benchoff - 28. Jul, 13:00
Give Your Bench Power Supply A Helping Hand
[Sverd Industries] have created a pretty cool bench...
Jack Laidlaw - 28. Jul, 10:00
Edit Hex in the Browser
If you can’t stand the thought of using an application...
Al Williams - 28. Jul, 07:00
Unholy Mashup Of SpaceMouse And Sculpt Keyboard Is Rather Well...
What do you do if you have a pair of input device peripherals...
Jenny List - 28. Jul, 04:00
Gesprächseinstieg
„Entschuldigung, kenn ich Sie nicht von Instagram?“
Torsten - 12. Jul, 10:20
Die Wahrheit über Ransomware
„Chef.“ „Ja?“ „Wär’s...
Torsten - 28. Jun, 11:13
Vorstellung
„Was machen Sie so beruflich?“ „Ich...
Torsten - 20. Jun, 22:50
How to fix the Dell light black printer issue
In 2015 I bought an Dell C1660w printer. Since now...
Joern - 5. Apr, 20:13
Passiv-agressive Push-Nachrichten
„Drei neue Nachrichten! Lies sie oder lass es...
Torsten - 3. Apr, 09:46
It’s a Mess
„Ich muss Dir was sagen. Hast du Signal?“ „Nee,...
Torsten - 28. Jan, 13:23
From Russia with love
Der Universal-Ratschlag „Schalten Sie den Computer...
Torsten - 12. Dez, 13:06
Who are you?
Deine Gene sind nur die API. Doch Du bist der Quelltext.
Torsten - 21. Jun, 11:01

Status

Online seit 3921 Tagen
Zuletzt aktualisiert: 16. Apr, 10:20