à mon avis publique est un adjectif donc on devrait écrire
service-publique.fr
alors que le public c'est un nom (comme pour dire un public, un groupe de spectateurs) sauf si on met service-au-public ou service-du-public etc.
et ces cassos écrivent
service-public.fr
même chez les hauts placés on a des bouffons