utzer@f.utzer.de

@tom_s Danke für die Hinweise. Ich habe das jetzt in einer kurzen Stichprobe getestet:

• UA-Filter vorübergehend deaktiviert
• Anubis auf DEBUG gestellt
• separates TLS-Light-Logging in Nginx aktiviert

Ergebnis für den angeblichen Android-6-/Chrome-65-Client:

Requests:              13
Unterschiedliche IPs:  13
Challenges ausgestellt: 11
Challenges gelöst:       0

Die 13 Verbindungen ergaben zunächst zwölf verschiedene TLS-Profile. Die Unterschiede bestanden allerdings ausschließlich aus zufälligen GREASE-Werten. Nach deren Normalisierung hatten alle Verbindungen exakt dasselbe TLS-Profil.

Der TLS-Fingerprint allein eignet sich trotzdem nicht für eine sichere Sperre: Dasselbe normalisierte Profil wurde in der Stichprobe auch von aktuellen Chrome-142-, Chrome-148- und Chrome-149-Clients verwendet.

Die Kombination ist jedoch eindeutig verdächtig: Der User-Agent behauptet Android 6 / Chrome 65, verwendet aber einen modernen TLS-1.3-/HTTP/2-Stack und über alle IP-Adressen hinweg dasselbe vollständige HTTP-Headerprofil.

Auch der User-Agent Mozilla/5.0 (compatible; crawler) löste keine seiner zwölf Challenges.

Der aktuelle Flood verbraucht in dieser Stichprobe also hauptsächlich Anubis-Ressourcen und gelangt nicht bis zu Forgejo.

UA-Filter und normales Anubis-Logging sind inzwischen wieder aktiv.

Further update: I have replaced the temporary path-specific rate limit with an exact User-Agent filter.

The ten evenly rotated browser identities responsible for 96.79% of the Anubis challenges, plus the explicit `Mozilla/5.0 (compatible; crawler)` identity, are now rejected by Nginx before reaching Anubis or Forgejo.

The pull-request and issue pages are available normally again, regular web and Git access remain unaffected, and backend load is close to zero.

The crawler has since introduced a new identity:
Android 6 / Nexus 5 / Chrome 65

This identity produced 527 requests from 526 different IPv4 addresses within one hour, confirming the rotating proxy-network pattern. However, the overall volume reaching Anubis has dropped from roughly 35,800 challenges per hour at the peak to about 1,000 per hour, so the exact filtering is currently working very well.

This remains a temporary mitigation because User-Agent strings can be changed at any time.

@tom_s Es ist tatsächlich ein neuer dominanter User-Agent nachgerückt:

Android 6 / Nexus 5 / Chrome 65

In einer Stunde kamen damit 527 Requests von 526 unterschiedlichen IPv4-Adressen. Das sieht also weiterhin nach demselben rotierenden Proxy-Netz aus.

Das Headerprofil hat sich allerdings geändert:

vorher: Accept-Language: en-US,en;q=0.9
jetzt: Accept-Language: en-US,en;q=0.5

Priority: u=0, i ist gleich geblieben, wird aber auch von echten Browsern verwendet. Darauf kann ich daher nicht sauber filtern.

TLS wird bereits im Reverse-Proxy-Nginx terminiert. Anubis sitzt dahinter und erhält nur noch normales HTTP. Anubis kann in diesem Aufbau deshalb keine TLS-/JA3-Fingerprints ermitteln. Dafür müsste ich den ClientHello vor der TLS-Terminierung am Nginx separat erfassen.

@tom_s Anubis hält dem Ansturm gar nicht Stand. Das Setup ist so, dass der Reverse Proxy das aufiltern muss, Anubis kommt erst danach, dann der Dienst.

Ich schau mal es dann neue UA gibt.

@tom_s aber sind das nicht alles echt alte UA, also wenn ich die blocke was kann das für Nebeneffekte haben? Firefox 119 oder 120 ist doch echt alt.

Aber ich schaue morgen nochmal ob ich es weiter optimieren kann.

@pasjrwoctx

@pasjrwoctx

More details regarding user-agent distribution

Retained log window: 2026-08-14 17:50–22:42 CEST
Challenge requests: 164,435
Distinct user-agent strings: 160
Share represented by the top ten: 96.79%

The almost perfectly even distribution among the first ten identities is particularly striking.

 COUNT  USER AGENT
------  ------------------------------------------------------------

 16106  Mozilla/5.0 (Windows NT 10.0; Win64; x64)
        AppleWebKit/537.36 (KHTML, like Gecko)
        Chrome/118.0.0.0 Safari/537.36

 16097  Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:120.0)
        Gecko/20100101 Firefox/120.0

 15993  Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:121.0)
        Gecko/20100101 Firefox/121.0

 15959  Mozilla/5.0 (Windows NT 10.0; Win64; x64)
        AppleWebKit/537.36 (KHTML, like Gecko)
        Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0

 15924  Mozilla/5.0 (Windows NT 10.0; Win64; x64)
        AppleWebKit/537.36 (KHTML, like Gecko)
        Chrome/119.0.0.0 Safari/537.36

 15914  Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)
        AppleWebKit/537.36 (KHTML, like Gecko)
        Chrome/119.0.0.0 Safari/537.36

 15899  Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)
        AppleWebKit/537.36 (KHTML, like Gecko)
        Chrome/120.0.0.0 Safari/537.36

 15887  Mozilla/5.0 (Windows NT 10.0; Win64; x64)
        AppleWebKit/537.36 (KHTML, like Gecko)
        Chrome/120.0.0.0 Safari/537.36 Edg/120.0.0.0

 15855  Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0)
        Gecko/20100101 Firefox/121.0

 15800  Mozilla/5.0 (Windows NT 10.0; Win64; x64)
        AppleWebKit/537.36 (KHTML, like Gecko)
        Chrome/120.0.0.0 Safari/537.36

  2871  Mozilla/5.0 (compatible; crawler)

   709  Mozilla/5.0 (X11; Linux x86_64)
        AppleWebKit/537.36 (KHTML, like Gecko)
        Chrome/148.0.7778.0 Safari/537.36

   413  Mozilla/5.0 (Windows NT 10.0; Win64; x64)
        AppleWebKit/537.36 (KHTML, like Gecko)
        Chrome/144.0.0.0 Safari/537.36

    86  Chrome/135.0.0.0 — Windows
    40  Chrome/116.0.0.0 — Windows
    40  Chrome/107.0.0.0 — Windows
    39  Chrome/148.0.0.0 — macOS
    34  Chrome/150.0.0.0 — Windows
    33  Chrome/131.0.0.0 — Windows
    32  Chrome/133.0.0.0 — Windows
    25  Edge/135.0.0.0 — Windows
    24  Chrome/146.0.0.0 — macOS
    23  Chrome/145.0.0.0 — Windows
    23  Chrome/110.0.0.0 — Windows
    22  Chrome/126.0.0.0 — Linux
    22  Chrome/123.0.0.0 — macOS
    21  Chrome/146.0.0.0 — Windows
    21  Chrome/109.0.0.0 — Windows
    21  Chrome/136.0.0.0 — macOS
    20  Chrome/99.0.4844.51 — Windows
    20  Chrome/149.0.0.0 — Windows
    20  Chrome/145.0.0.0 — macOS
    19  Chrome/133.0.0.0 — macOS
    18  Chrome/105.0.0.0 — Windows
    17  Chrome/134.0.0.0 — Windows
    17  Chrome/111.0.0.0 — Windows
    17  Safari/15.3 — macOS
    17  Chrome/131.0.0.0 — macOS
    16  Edge/99.0.1150.30 — Windows
    16  Chrome/104.0.5112.81 — Windows
    16  Firefox/135.0 — macOS
    16  Safari/18.0 — macOS
    16  Safari/15.5 — macOS
    15  Chrome/100.0.4896.75 — Windows
    15  Chrome/149.0.0.0 — macOS
    14  Firefox/137.0 — Windows
    14  Chrome/147.0.0.0 — Windows
    14  Chrome/124.0.0.0 — Windows
    14  Chrome/117.0.0.0 — Windows
    14  Chrome/112.0.0.0 — Windows
    14  Chrome/108.0.0.0 — Windows
    14  Chrome/101.0.4951.67 — Windows
    14  Safari/26.0 — macOS
    14  Safari/17.0 — macOS
    14  Chrome/124.0.0.0 — macOS
    13  Chrome/104.0.0.0 — Windows
    13  Safari/18.4 — macOS
    13  Chrome/150.0.0.0 — macOS
    12  Firefox/133.0 — macOS
    12  Chrome/135.0.0.0 — macOS
    11  Chrome/148.0.0.0 — Windows
    11  Chrome/103.0.0.0 — Windows
    10  Edge/101.0.1210.47 — Windows
    10  Safari/18.3.1 — macOS
    10  Chrome/134.0.0.0 — macOS
     9  Chrome/106.0.5249.119 — Windows
     9  Chrome/147.0.0.0 — macOS
     8  Chrome/142.0.0.0 — Windows
     7  Firefox/137.0 — Ubuntu Linux
     7  Firefox/125.0 — Linux
     7  Chrome/132.0.0.0 — Linux
     7  Chrome/151.0.0.0 — Windows
     7  Chrome/130.0.0.0 with CCleaner — Windows
     7  Chrome/139.0.0.0 with Safari WebKit string — macOS
     6  Chrome/137.0.0.0 — Linux
     6  Chrome/114.0.0.0 — Linux
     6  Firefox/153.0 — Windows
     6  Edge/151.0.0.0 — Windows
     5  Chrome/131.0.0.0 — Linux
     5  Chrome/134.0.0.0 — ChromeOS
     5  Chrome/106.0.0.0 — Windows
     5  Chrome/128.0.0.0 — macOS
     5  Chrome/151.0.0.0 — Android
     4  Firefox/136.0 — Ubuntu Linux
     4  Chrome/129.0.0.0 — Linux
     4  Firefox/140.0 — Windows
     4  Firefox/135.0 — Windows
     4  Chrome/138.0.0.0 — Windows
     4  Edge/136.0.0.0 — Windows
     4  Chrome/129.0.0.0 — Windows
     4  Safari/17.6 — macOS
     4  Safari/17.5 — macOS
     4  Chrome/147.0.0.0 — Android
     3  Chrome/136.0.0.0 — Linux
     3  Chrome/130.0.0.0 — Linux
     3  Chrome/124.0.0.0 — Linux
     3  Chrome/133.0.0.0 — ChromeOS
     3  Obsidian/1.8.10, Electron/34.2.0 — Windows
     3  Chrome/58.0.3029.110 — Windows
     3  Edge/138.0.0.0 — Windows

@pasjrwoctx Thanks, I checked the user agents. The pattern looks highly coordinated.

Out of 164,435 Anubis challenge requests, there were only 160 distinct user-agent strings. The top ten account for 96.79% of all requests and were used almost perfectly evenly:

• Firefox 120 / Windows — 16,066
• Chrome 118 / Windows — 16,052
• Firefox 121 / macOS — 15,949
• Edge 119 / Windows — 15,917
• Chrome 119 / Windows — 15,874
• Chrome 119 / macOS — 15,872
• Edge 120 / Windows — 15,863
• Chrome 120 / macOS — 15,853
• Firefox 121 / Windows — 15,812
• Chrome 120 / Windows — 15,761

These are old browser versions from around 2023. Combined with almost one IP per request, this looks like a single coordinated tool rotating through a fixed list of spoofed browser identities and a very large residential/proxy network. It does not prove whether the objective is scraping or disruption, but it is clearly not ordinary independent crawling.

Update: The flood is still ongoing and intensified again today.

Between approximately 17:50 and 22:03 CEST, Anubis recorded at least 141,090 challenges from 136,393 different IP addresses, peaking at roughly 35,800 challenges per hour.

Most of the current traffic is still targeting the friendica-addons pull-request list. Our temporary rate limit is successfully keeping this traffic away from the backend: the rest of git.friendi.ca remains fast and accessible, normal Git access works, and server load is currently back to normal.

The affected pull-request page may continue to return “Too Many Requests” while the flood persists.