Ukazem carskim z 1849 r., zachodnią część zabudowań klasztornych na Świętym Krzyżu przeznaczono na Instytut Księży Zdrożnych, zwanych demerytami, czyli duchownych, którzy zostali skazani wyrokami sądów kanonicznych i państwowych, będący dla nich rodzajem więzienia, dającym czas na pokutę i poprawę. Instytut ten przeniesiono tu z Liszkowa w powiecie augustowskim. Jak podają źródła, liczba przebywających w odosobnieniu łysogórskim duchownych, przez cały okres istnienia Instytutu, wahała się od 20 do 40, a karę odbywali tu oni m.in.