Spolu s farním kostelem je klášter jednou z nejvýznamějšch barokních architektonických památek města. Jeho současná podoba pochází z 18. století a je výsledkem tvůrčí aktivity jeho posledních proboštů. Budova proboštství, dnes fara, byla postavena za probošta Patricia Vavřince Lehmanna asi v letech 1718 - 1723. Vlastní stavba konventu byla provedena ve 30. a 40. letech 18. století. Na výzdobě klášterních budov se podíleli vynikající umělci moravského baroka - malíř Jan Kryštof Handke, sochaři Filip Sattler a Jan Kammereith. Barokní přestavba kláštera byla završena novostavbou klášterního a farního kostela Zvěstování Panny Marie.
Někdejšího klášter je v těsné blízkosti šternberského hradu.