Ziirish's blog

Aug 26 2013

Comme vous l'avez sans doute remarqué, mon serveur a été indisponible durant quelques jours.

Je n'ai pas encore trouvé l'origine exacte du problème, mais je vais tenter de vous donner un début de réponse.

Alors déjà, je vais vous indiquer le contexte... Je rentre tout juste de 2 semaines de vacances en camping, avec une tente, sans électricité, le tout dans les Alpes où le réseau GSM est encore assez médiocre. Et pour couronner le tout, mon smart-phone de la mort qui tue est mourrant depuis quelques mois. Après 3 ans de bons et loyaux services, il m'est désormais impossible d'utiliser la 3G sans être relié au secteur sous peine de voir la batterie tomber instantanément à 0%.

Samedi 18/08

Je reçois un SMS de mon binôme adoré m'indiquant que mon blog est "tout cassé". Je trouve une prise electrique et je capte un réseau EDGE qui fait du yoyo, mais j'arrive à prendre la main sur ma "station d'administration", malheureusement, mon serveur web (et mail, par la même occasion) reste injoignable.

Je constate que mon MX secondaire fait son boulot, ouf, mais mails sont à l'abris pour quelques jours.

Je décide de basculer mon serveur en mode "rescue" grâce à l'application ovh sur android (c'est pas aussi complet que le manager, mais pour le coup, ça dépanne bien)

Je laisse tout ça comme ça pendant 1 semaine (bah oui, après tout c'est quand même les vacances, il faut en profiter !)

Dimanche 25/08

Ça y est, je suis rentré de vacances, je relance le serveur (qui n'avait pas rebooté depuis plus d'un an...), et là je remarque une petite erreur de configuration qui m'empêche de me connecter... Après quelques minutes, c'est corrigé, et le serveur est de nouveau accessible (tous mes services redémarrent sans aucun problème, croyez moi, avec toutes les modifs que je peux faire à la gruik voir ce serveur démarrer de la sorte relève quasiment du miracle (ou bien de la maîtrise de l'administrateur, mais ce serait me lancer un sacré bouquet de fleurs ))

Au bout de quelques minutes, je vois le load monter anormalement et je constate que ma mailq contient 10000 messages. Oups, on a un problème !

Je fais un peu de ménage, je récupère les mails "legit" qui étaient en attente depuis plus d'une semaine, la situation est dans l'ordre.

Lundi 26/08

Le serveur load à nouveau, et la mailq déborde à nouveau, cette fois je creuse un peu plus, le problème semble venir d'un défaut de configuration de mon serveur mail. La situation semble désormais s'être calmée.

Début d'Analyse

Je vais encore attendre quelques jours avant de vous indiquer les éléments de configuration qui semblent corriger le problème (j'attends de voir si ça tient le coup), mais voici quelques logs et les reflexions que je me suis faite (d'autres analyses sont en cours, je vous tiendrai informé si il y a du nouveau).

Première idée qui vient à l'esprit, c'est une compromission du serveur (perte subite d'accès à ce dernier malgré un ping OK) Deuxième idée, une exploitation d'une faille PHP (ou autre)

Pour l'instant je ne peux pas infirmer la première hypothèse, mais je n'ai pas trouvé de fichiers suspects modifiés ces 15 derniers jours (pendant mes vacances donc). Pour la deuxième, je n'ai pas trouvé de choses étranges dans mes logs non plus.

J'ai donc regardé d'un peu plus près mes logs postfix d'aujourd'hui, et j'ai repéré que l'attaque semble venir de l'extérieur : l'attaquant utilise mon serveur comme relai.

Conclusion (partielle)

J'ai blindé encore un peu plus ma conf postfix + ajouté la bonne règle fail2ban, et pour le moment, ça semble s'être calmé. J'ai remarqué que pendant une grosse charge, amavis fait bien son boulot, et du coup la RAM fond comme neige au soleil, probablement à cause de clamd et spamassassin, il est donc probable que oom killer soit intervenu autour du 15/08, ce qui m'a empêché d'accéder à mon serveur, ou bien OVH est intervenu pour bloquer ma machine en voyant dans leurs logs que je me prennais/générais une charge.

Point positif

Même si la partie WEB de mon infrastructure a été indisponible quelques jours, la partie mail quant à elle a fonctionné en mode dégradé, c'est à dire que les mails étaient mis en queue sur mon mx secondaire. Je n'ai donc perdu aucune correspondance, et ça c'est bien !