Après avoir obtenu son diplôme, Nikolaus Schwarz a étudié avec A. Weigert à Würzburg et avec G. Janzer à Bloomington / Indiana, États-Unis.
En 1982, Nikolaus Schwarz obtient son premier poste d’orchestre d’alto solo au Staatstheater de Darmstadt. Cinq ans plus tard, il rejoint le Philharmonique d’Essen en tant que premier alto solo, poste qu’il occupe encore aujourd’hui.
En 1988, il devient membre du « Quatuor à cordes de Mannheim », pendant 25 ans. Il a également été membre du « Consortium Classicum » et a enregistré près de 40 CD avec les deux ensembles avec lesquels il s’est produit dans de nombreuses villes d’Europe, d’Asie et d’Amérique.
De 1991 à 2003, Nikolaus Schwarz a enseigné l’alto à la Musikhochschule Köln / Wuppertal. Depuis 2008, il est maître de conférences en musique de chambre et professeur d’alto à la Hochschule Robert Schumann à Düsseldorf.
Nikolaus Schwarz a donné de nombreuses conférences à la « Junge Deutsche Philharmonie » et il est jury de concours en Hollande. Il a enseigné en Corée du Sud, entre autres, et en été, il donne aussi des master classes à Quintanilla de Onesimo en Espagne.