Hab jetzt ein Node.js Chat-Beispiel gefunden und diese Anwendung mal genauer unter die Lupe genommen.

Das ganze ist im Prinzip nichts neues!

Die einzige Besonderheit, ist das man seinen JS-Script auch auf dem Server laufen lassen kann sobald man das installiert hat ... Allerdings ist es bei größeren Projekten Sinnvoller es mit einem andere Programm auf dem Server laufen zu lassen da JavaScript nicht unbedingt das Schnellste ist.
Perfekt wäre ein Serveranwendung mit C++!

So jetzt zum Inhalt des ganzen:
Das ganze funktioniert innerhalb einer normalen Website mit Javascript.
Der Client ruft die Webseite ab.
Der Server Antwortet sofort.
Der Browser verarbeitet das ganz und findet unseren node.js
Der befehlt folgendes:
Sende eine AJAX-Anfrage an den Server (z.B.: GET website.com/chat)
Der Server empfängt diese Anfrage, macht aber nichts!
Er lässt diese Verbindung offen.
In dieser Zeit wartet der Client immer noch auf eine Antwort.
Bekommt der Server eine Chat Nachricht von Client2 die an unseren Client gesendet werden soll beantwortet er unsere Anfrage.
Der Client bekommt endlich eine Antwort, der Browser verarbeitet sie und die Nachricht ist angekommen! (Damit ist die Anfrage beendet)
Der Client eröffnet dann sofort eine neue Anfrage mit einer Empfangsbestätigung.
 ... usw. ...!

Um eine Nachricht zu senden wird übrigens auch eine AJAX-Anfrage gesendet, die bleibt aber nicht offen sondern wird sofort beantwortet.

Der Server sollte allerdings in Abständen unter einer Minute Antworten (Auch ohne neue Informationen) um sicherzustellen, dass die Verbindung noch besteht. Der Client kann dann nach einer Minute ohne Antwort eine neue Anfrage senden.