Poslije Borca iz Banja Luke, Željezničar je jedan od najuspješnijih klubova u BiH. Bili su prvaci Jugoslavije 1978. godine, što je ujedno najveći uspjeh klub.Također su igrali polufinale EHF kupa 1982. godine. gdje su izgubili od Gummersbacha.