Lese-Ansicht

Es gibt neue verfügbare Artikel. Klicken Sie, um die Seite zu aktualisieren.

Linux Script - Postfix Mail Server Logauswertung mit dem Postfix Log Entry Summarizer

Wer sich schon einmal mit MTAs (Mail Transfer Agent) auseinandergesetzt hat, dem wird Postfix sicherlich ein Begriff sein. Postfix zählt zu den bekanntesten Mailservern im Linuxbereich, ist schnell und recht einfach zu konfigurieren, eine gewisse Grundkenntnis vorausgesetzt. Für einen sicheren Mailverkehr möchte ich hier noch einmal auf das Crypto Handbuch verweisen.

Letzte Woche war ja ein wenig Exchange Server im Programm, heute soll es aber um eine Auswertung des Mailverkehrs, welcher täglich über einen Postfix Server rauscht, gehen. 

Postfix Log Entry Summarizer

Hierfür gibt es sicherlich einige Monitoring Tools, eines davon ist Pflogsumm (Postfix Log Entry Summarizer), welches eine ausführliche Auswertung bietet, ohne, dass der Anwender viel konfigurieren muss.

Unter Ubuntu ist dieses Tool recht schnell konfiguriert und im Optimalfall erhaltet ihr am Ende eine Übersicht aller Nachrichten, egal ob gesendet, empfangen oder geblockt. Auch der Traffic, die Menge oder die Mailadressen werden ausgewertet. Bis zu dieser Statistik ist aber noch ein wenig Vorarbeit zu leisten.

Pflogsumm installieren (Ubuntu)

sudo apt-get install pflogsumm 

Postfix Log Entry Summarizer konfigurieren

Ihr habt nun die Möglichkeit das Tool direkt aufzurufen und euch eine Liveauswertung geben zu lassen, um zu sehen was gerade auf dem Mailserver passiert. Pflogsumm macht nichts anderes, als auf die Logfiles des Postfix Server zurückzugreifen und diese auszuwerten. Mit einem Einzeiler lässt sich so eine Statistik in eine Datei schreiben oder per Mail versenden.

sudo pflogsumm -u 5 -h 5 --problems_first -d today /var/log/mail.log >> test oder

sudo pflogsumm -u 5 -h 5 --problems_first -d today /var/log/mail.log | mail -s "Postfix Mail Report" info@example.com

Vorarbeit zur regelmäßigen Postfix Analyse

Eine IST Auswertung mag zwar interessant sein, die regelmäßige Auswertung der letzten Tage ist jedoch um einiges interessanter. Realisierbar ist dies mit den Logs des Vortages, diese werden Mittels logrotate gepackt und können danach ausgewertet werden. Zunächst muss logrotate angepasst werden, damit täglich neue Logs geschrieben werden.

sudo nano /etc/logrotate.conf

/var/log/mail.log {
    missingok
    daily
    rotate 7
    create
    compress
    start 0
    }
sudo nano /etc/logrotate.d/rsyslog

    #/var/log/mail.log

Wenn gewünscht ist, dass die Logrotation pünktlich zu einer gewissen Uhrzeit laufen soll, sagen wir um 2 Uhr Nachts , ist es nötig crontab zu editieren und dort die Laufzeit anzupassen.

sudo nano /etc/cron.daily anzupassen 0 2 * * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily )

Skript zur Postfix Analyse 

Nun können wir unser eigenes Script zusammen stellen, welches am Schluss eine Auswertung versendet. 

sudo nano mailstatistiken.sh

#!/bin/bash
#
###############
# mailstats   #
###############

PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

# Log Archive entpacken
gunzip /var/log/mail.log.1.gz

#Temporaere Datei anlegen
MAIL=/tmp/mailstats

#Etwas Text zum Anfang
echo "Taeglicher Mail Stats Report, erstellt am $(date "+%H:%M %d.%m.%y")" > $MAIL
echo "Mail Server Aktivitaeten der letzten 24h" >> $MAIL

#Pflogsumm aufrufen
/usr/sbin/pflogsumm --problems_first /var/log/mail.log.1 >> $MAIL

# Versenden der Auswertung
cat /tmp/mailstats | mail -s "Postfix Report $(date --date='yesterday')" stats@example.com

#Archiv wieder packen, damit alles seine Ordnung hat
gzip /var/log/mail.log.1

Insgesamt eine leichte Übung. Das fertige Skript noch mit "chmod +x" ausführbar machen und am besten via "crontab -e" zu einem gewünschten Zeitpunkt ausführen.

Am Ende solltet ihr jeden Tag per Mail eine ausführliche Zusammenfassung der E-Mails Statistiken erhalten.

Grand Totals

------------

messages

   4321   received

   1234   delivered

      5   forwarded

      1   deferred  (3  deferrals)

      0   bounced

      0   rejected (0%)

      0   reject warnings

      0   held

      0   discarded (0%)

   1234m  bytes received

   1234m  bytes delivered

    123   senders

    321   sending hosts/domains

   1234   recipients

    123   recipient hosts/domains

message deferral detail

-----------------------

  smtp (total: 3)

         3   invalid sender domain 'example.de' (misconfigured ...

message bounce detail (by relay): none

message reject detail: none

message reject warning detail: none

message hold detail: none

message discard detail: none

smtp delivery failures: none

Warnings: none

Fatal Errors: none

Panics: none

Master daemon messages: none

Per-Hour Traffic Summary

------------------------

    time          received  delivered   deferred    bounced     rejected

    --------------------------------------------------------------------

    0000-0100           0          0          0          0          0 
.....

 

Wireshark 1.4 Netzwerkanalyse und Überwachung

Da heute ja das Thema Analyse vorherrscht, gleich noch ein anderes Tool um den Netzwerkverkehr zu analysieren.

Wireshark ist in der Version 1.4 erschienen. Früher als "Ethereal" bekannt, hat sich das Open-Source-Tool zum Standard bei Netzwerküberwachungen gemausert. In den Release Notes könnt ihr nachlesen, was sich seit der letzten Version geändert hat. Wer mit Wireshark nicht zurechtkommt, der findet hier eine kurze Anleitung oder kann auf ein ausführliches Handbuch zurückgreifen.

wireshark

Google Analytics Alternative Piwik

Nachdem ich gestern erst das Update für Serendipity (1.5.4) eingespielt habe, habe ich im gleichen Zug mal Piwik 1.0 installiert. Dabei handelt es sich um eine Open Source Alternative zu Google Analytics. Also ein Tool, um die Zugriffe auf der eigenen Webseite zu analysieren.

Da Google in letzter Zeit Kritik wegen Datenschutz hinnehmen musste und Piwik nun endlich in der Version 1.0 erschienen ist, wollte ich das ganze selbst auszuprobieren.

Installiert ist das ganze schnell. Einfach die neue Version herunterladen und den Anweisungen der Dokumentation folgen. Das einzige was benötigt wird, ist eine SQL Datenbank und ein paar Codeschnipsel auf der eigenen Seite.

Piwik

Zurzeit sieht alles noch ein wenig leer aus, ist ja auch gerade erst frisch installiert worden. Aber wenn ich ein paar Daten zusammen habe, werde ich mich noch genauer mit Piwik beschäftigen. Wer dennoch das Ganze in Aktion sehen will, der kann auf die Online Demo zurückgreifen und sich mal anschauen, was Piwik so alles kann.

Der erste Eindruck ist bis jetzt super, d.h. längerfristig, werde ich Google Analytics wohl den Rücken zudrehen.

Piwik Demo

ThinkUp Social Media Analyse

Vor kurzem habe ich über Twitter ein praktisches Programm namens "ThinkUp" gefunden. Das Tool ist eine Open Source Social Media Monitoringsoftware. Der Bereich Social Media wird beim zentralen Monitoring bis jetzt leider nicht sehr gut abgedeckt. Das soll sich nun ändern.

Auf diesem Blog wird inzwischen Piwik (Google Analytics läuft aus) als Monitoring Tool verwendet. Dort hat man zwar jede Menge Möglichkeiten seine Seite zu analysieren, jedoch bleibt der Social Media Bereich außen vor. Diesen muss man bis jetzt immer noch für jedes einzelne Netzwerk, in dem man aktiv ist, selbst vornehmen. Genau in diese Lücke stößt ThinkUp. Das Monitoringtool unterstützt zurzeit Facebook und Twitter und kontrolliert Followers, Replies und Postings. Das Ganze wird zusätzlich grafisch aufbereitet und bietet einen Überblick über die Social Aktivitäten. Die Software benötigt nur eine MySQL DB mit PHP 5.2.

Sollte ich mal wieder einen Abend Zeit finden, werde ich das Tool aufsetzen und in ein paar Wochen einen genauen Erfahrungsbericht darüber bringen.

ThinkUp

OSINT - Analyse Tools fürs Netzwerk

Der Begriff OSINT (Open Source Intelligence) ist nicht erst seit 2022 ein allgemein bekannter Begriff, hat allerdings durch den Krieg in der Ukraine, Krisen und dem Durst nach Informationsgewinnung, viel Aufschwung erfahren. Das erste Mal wurde die Öffentlichkeit durch Bellingcat im Jahr 2012 darauf aufmerksam.

Der Begriff steht für die Informationsgewinnung aus öffentlichen Daten. Dabei helfen Tools, diese Daten zu analysieren, zu interpretieren und zu sortieren. Gerade im Netzwerkbereich finden sich hier spannende Programme.

Ich selbst nutze für persönliche Zwecke diverse öffentliche bzw. freie Tools, sei es zur Netzwerkanalyse, für verdächtige E-Mailheader oder zum DNS Check. Möglichkeiten gibt es sehr viele.

Dabei ist eine kleine Liste zusammen gekommen, welche ich euch gerne zur Verfügung stellen möchte.

Eine dauerhaft aktualisierte Liste findet ihr in Zukunft unter osint.itrig.de.

Browser User Agent & Bot Analyse (online)
  • https://whatmyuseragent.com
  • https://robotsdb.de/robots-verzeichnis
  • https://www.cimtools.net/en/extra/bots_list.php
Domain Certificates SSL Check (lokal)
  • https://github.com/drwetter/testssl.sh
Domain Certificates SSL Check (online)
  • https://ciphersuite.info
  • https://crt.sh
  • https://www.ssllabs.com/ssltest
  • https://observatory.mozilla.org
  • https://ciphersuite.info
Domain DNS Tools (lokal)
  • https://github.com/darkoperator/dnsrecon
Domain DNS Tools (online)
  • https://dnsdumpster.com
  • https://www.whatsmydns.net
  • https://toolbox.googleapps.com/apps/dig
  • https://viewdns.info
Domain URL Tools (online)
  • https://osint.sh
  • https://urlscan.io
  • https://www.brightcloud.com/tools/url-ip-lookup.php
  • https://unshorten.me
  • https://securitytrails.com
  • https://www.maxmind.com/en/locate-my-ip-address
Firmen Analyse (online)
  • https://www.bundesanzeiger.de
  • https://www.insolvenzbekanntmachungen.de
  • https://www.northdata.de
Git Search Tools (online)
  • https://grep.app
IP Search & Scan Tools (lokal)
  • https://github.com/robertdavidgraham/masscan
IP Search & Scan Tools (online)
  • https://www.shodan.io/explore
  • https://search.censys.io
  • https://fullhunt.io

Mail Analyse Tools (lokal)

  • https://github.com/ninoseki/eml_analyzer
  • https://github.com/cyberdefenders/email-header-analyzer
  • https://thatsthem.com/reverse-email-lookup
 
Mail Analyse Tools (online)
  • https://hunter.io
  • https://emailrep.io
  • https://eml-analyzer.herokuapp.com
  • https://www.spf-record.de
  • https://toolbox.googleapps.com/apps/messageheader
Malware & File Analyse (lokal)
  • https://github.com/mandiant/capa
  • https://github.com/horsicq/Detect-It-Easy
Malware & File Analyse (online)
  • https://labs.inquest.net
  • https://www.virustotal.com/gui/home/search
  • https://www.filescan.io/scan
Messenger Analyse (online)
  • https://telemetr.io (telegram)
Multitools (lokal)
  • https://github.com/pyhackertarget/hackertarget
  • https://github.com/laramies/theHarvester
Multitools Browser Add-ons
  • https://github.com/ninoseki/mitaka
  • https://addons.mozilla.org/de/firefox/addon/hacktools
Network BGP / ASN Tools (online)
  • https://bgp.he.net
  • https://www.peeringdb.com
  • https://bgp.tools
  • https://bgpstream.crosswork.cisco.com
Sammlungen - Collections
  • https://github.com/jivoi/awesome-osint
  • https://github.com/cipher387/osint_stuff_tool_collection
  • https://osintframework.com

Schwachstellen - CVE (online)

  • https://www.cvedetails.com
  • https://www.cve.org
  • https://www.opencve.io
Sonstiges
  • https://iknowwhereyourcatlives.com (Katzen)
  • https://intelx.io (Darkweb)
  • https://github.com/secdev/scapy (Traffic Tests)
  • https://locust.io (Traffic Tests)

Website Traffic

  • https://www.similarweb.com/de
Webtech Analyse (online)
  • https://www.wappalyzer.com
  • https://osint.sh/stack
  • https://website.informer.com
  • https://builtwith.com
  • https://www.whatruns.com
❌