Seit ein paar Wochen Verbindungsabbrüche bei POST auf /api/offer/v1.0/user/me/realestate/<id>/attachment

[Christian]

Hallo,

seit ein paar Wochen bekommen wir regelmäßig (bei ca. jeder zweiten Immobilien-Übertragung) Verbindungsabbrüche bei der Übertragungen von Anhängen/Bildern zu Immobilien. 

Konkret äußert sich das in der folgenden Fehlermeldung: "org.apache.http.NoHttpResponseException: rest.immobilienscout24.de:443 failed to respond", was bedeutet, dass die Gegenstelle die Verbindung abgebrochen hat, ohne valide HTTP Response Header zu schicken. Ein späterer Retry des selben Requests geht dann ohne Probleme durch. 

Mails an "ser...@immobilienscout24.de" bleiben seit einer Woche leider unbeantwortet. 

API Key schicke ich gerne nicht öffentlich.

Vielen Dank

Christian

[Christian]

Kleiner Nachtrag: Das Problem tritt auch bei GET Requests auf. 

Wenn wir zu Testzwecken in einer Schleife die folgende URL (http://rest.immobilienscout24.de/restapi/api/search/v1.0/expose/87460890) per HTTP GET Request abfragen, erhalten wir ca. alle 100-200 Request die selbe Fehlermeldung bzw. eine leere HTTP Response zurück.

[Fabian Mielke]

Hallo Christian,

klingt sehr komisch. Wie lautet dein API Key? Den kannst du problemlos hier posten, denn ohne Secret kann man damit nichts anfangen.

MfG Fabian

[Christian]

hab den Key an Deine Email Adresse geschickt.

[Fabian Mielke@ImmobilienScout24]

Okay, ich sehe in den letzten 3 Tagen 2109 Requests auf /restapi/api/search/v1.0/expose/87460890. Alle wurden mit 200 beantwortet.

Wann genau hattest du so eine Antwort bekommen?

MfG Fabian

[Christian]

Habe jetzt gerade in einer Schleife 1010 Request auf die URL geschickt. Davon wurden 10 (# 107, 163, 236, 419, 421, ...) nicht beantwortet. 

Also die Verbindung getrennt, ohne eine valide HTTP Response zurückzugeben. Habt Ihr eventuell ein Problem mit dem Load Balancer?

[Christian]

Das Problem ist nach wie vor vorhanden und weiterhin ziemlich nervig. 

[Fabian Mielke@ImmobilienScout24]

Hi Christian,

könntest du das gleiche durchführen wie am 17.03.? Das wäre hervorragend. Danke!

MfG Fabian

[Christian]

ok, sehr gerne. Da die ursprüngliche Immobilie nicht mehr online ist. Diesmal mit dieser URL: http://rest.immobilienscout24.de/restapi/api/search/v1.0/expose/87718390

Interessanterweise gab es bei 1010 Request wieder genau 10 Fehler. --> Stabile Fehlerquote bei 1% in dem Fall. 

Folgende Requests gingen schief (#21, 31, 192, 240, 561, ...)

[Fabian Mielke@ImmobilienScout24]

Gut zu wissen. Bei uns kommen auf den Kisten (Loadbalancer und REST) auch nur 1000 an. 

2016-04-04T12:38:24.923+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

[DIESER REQUEST FEHLT ANGEBLICH]

2016-04-04T12:38:24.868+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.807+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.753+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.696+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.643+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.586+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.529+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.466+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.408+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.346+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.285+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.228+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.171+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.104+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:24.039+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:23.987+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:23.931+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:23.873+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:23.819+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

2016-04-04T12:38:23.723+02:00 GET /restapi/api/search/v1.0/expose/87718390 200

Kannst du das so bestätigen?

Noch etwas zur Klärung: Die Fehlermeldung "org.apache.http.NoHttpResponseException: rest.immobilienscout24.de:443 failed to respond" gibt deine Applikation aus und nicht unsere Server, oder? Falls das korrekt ist, was bekommst du genau von uns? Steht nichts im Body und nichts im Header?

MfG Fabian

[Christian]

wenn bei Euch 1000 Request ankommen, sieht es stark danach aus, als würden die Requests bzw. TCP Verbindungen dazwischen irgendwo "gedropped".

Wie schon geschrieben, wird die Fehlermeldung von unserer HTTP Client Library ( Apache HttpComponents 4.3) erzeugt und bedeutet, dass die HTTP Response weder Body noch Header enthielt. Dies tritt immer dann auf, wenn die TCP Verbindung von der Gegenstelle (Server) beendet wird, ohne eine HTTP Antwort zu senden. 

Das Verhalten tritt bei uns sowohl aus dem Office Netzwerk (M-net 50Mbit FTTB Anschluss) als auch aus dem Rechenzentrum (Netcup Gbit Anbindung) auf. Geschätzt schlägt bei uns jeder 10 - 20 Attachment upload über HTTP POST fehl. D.h. die Fehlerwahrscheinlichkeit ist bei größerem Request Payload wesentlich höher.

Für mich sieht das so aus, als würde irgendeine Netzwerk Komponente (Firewall, Loadbalancer, ...) bei Euch die Verbindungen schließen/droppen. Das Problem existiert seit ca. Anfang des Jahres.

[Christian]

zur Bestätigung meiner Theorie, dass das Problem irgendwo im Netzwerk und nicht im Application Layer liegt. Habe ich nochmals folgenden Test durchgeführt.

Anstatt eine konkrete API Funktion zu testen, habe ich 1000 mal die URL "http://rest.immobilienscout24.de" über HTTP GET abgerufen.

In 99% der Fälle erhalten ich eine korrekte HTTP 404 Response zurück. In 1% der Fälle wird die Verbindung ohne HTTP Response beendet. Also das selbe Ergebnis wie bei den Tests oben. 

Als Gegenprobe haben ich nun den selben Test auf die URL "http://www.immobilienscout24.de" gemacht. Dabei wurden alle 1000 Anfragen ohne Fehler beantwortet. 

Offensichtlich liegt das Problem also irgendwo in der Netzwerk/Loadbalancer/Firewall Konfiguration von "rest.immobilienscout24.de". Ihr könnt den Fehler ganz einfach selbst reproduzieren. Ein einfacher HTTP Request in einer Schleife reicht dafür aus. Es wird nicht mal ein API Key dafür benötigt.

Wir würden es sehr begrüßen, wenn das Problem zeitnah behoben wird. 

[Fabian Mielke@ImmobilienScout24]

Hallo Christian,

wir arbeiten mit Hochdruck an diesem Problem. Unangenehm ist es auf unserer Seite, da wir den Fall nicht reproduzieren können. Unsere Requests in einer Schleife werden alle beantwortet. Wir bleiben am Ball und melden uns bei dir, falls du uns bei der Problembehebung helfen kannst. Bisher gibt es noch ein weiteres API System, welches davon betroffen ist.

MfG Fabian