No se exactamente a qué te refieres:

• Hacer un cliente Jabber en Java.
• Hacer un programa no relacionado con mensajeria instantánea en Java que utilizara Jabber para comunicarse con otros.

En ambos casos la respuesta es claro que puedes. De hecho ya hay clientes Jabber en Java, y programas que utilizan Jabber para cosas distintas que para mensajeria. La definición del protocolo es pública, la implementación está libre de cualquier tipo de contrato. Simplemente lo haces y lo disfrutas, sin depender de nadie. En JabberStudio.org hay algunos de los proyectos, tanto clientes como librerias.