Hola,
Bueno. A veces me meto en camisas de once varas, y este puede ser uno de estos casos. Nunca he llevado a cabo un chat, ni con PHP ni con nada, y así, aunque tengo alguna que otra idea, la verdad es que no sé nada a ciencia cierta.
Se me ocurre que la página Web no recogería de la base de datos los nuevos mensajes solamente, sino que cada uno de estos incluiría algo más de información, posiblemente, el ID del usuario al que podría mostrarse el mensaje en cuestión.
Claro, esto conlleva que el usuario se autentifique en la página Web y esta conozca su ID, pongamos por caso. Si no hiciera falta esta autentificación... cómo discriminar entre un usuario y otro sin saber nada de estos usuarios... la verdad, no veo ahora la forma, si es que tenemos que "avisar" a un usuario pero no tenemos modo de saber a quién...
La página Web que has enlazado la he echado un vistazo, pero, chico, no he terminado de verle el quid al asunto. Tal vez quisiera comentar esto, o sea, curarme en salud, antes que otra cosa.