Ukazem carskim z 1849 r., zachodnią część zabudowań klasztornych na Świętym Krzyżu przeznaczono na Instytut Księży Zdrożnych, zwanych demerytami, czyli duchownych, którzy zostali skazani wyrokami sądów kanonicznych i państwowych, będący dla nich rodzajem więzienia, dającym czas na pokutę i poprawę. Instytut ten przeniesiono tu z Liszkowa w powiecie augustowskim. Jak podają źródła, liczba przebywających w odosobnieniu łysogórskim duchownych, przez cały okres istnienia Instytutu, wahała się od 20 do 40, a karę odbywali tu oni m.in. za pijaństwo, rozpustę, włóczęgostwo, nieposłuszeństwo zwierzchnikom, podburzanie społeczeństwa i publiczne głoszenie nieprawomyślnych poglądów. Więźniowie spędzali czas pokuty na wspólnych modlitwach, przepisywaniu tekstów kościelnych, czytaniu pobożnych lektur i pracy w gospodarstwie Instytutu, przerywając te zajęcia na trzy – postne ponoć – posiłki dziennie. Cele ich były surowe, skromnie urządzone, a ponadto obowiązywał ich zakaz wzajemnych odwiedzin i wychodzenia poza obręb klasztornych ogrodzeń. Ubrano ich w przydzielone sutanny z zielonymi guzikami. Pieczę nad osadzonymi sprawował duchowny regens i świecki przedstawiciel zaborczych władz – intendent, wraz z podległym mu 20 – osobowym personelem. O czystość pokuty oraz odpowiednie zorganizowanie czasu swoim podopiecznym dbali – ks. Kazimierz Lipowski – regens do 1855 r. – i jego następca – znany nam już – ks. Kacper Kotkowski.
Tak – ten sam ksiądz rewolucjonista, co to nawet rewolucjoniście z krwi i kości – Marianowi Langiewiczowi – zarzuci już wkrótce – w czas styczniowej rewolucyi 1863 roku – „brak ducha rewolucyjnego”… A tutaj – w owym instytucie jeszcze – dbał o pokutę innego rewolucyjnego radykała – kapucyna z resztą – Agrypina Konarskiego (1820 – 1863). Jest to do dziś postać wręcz legendarna...
Zawadiacki brunet z orlim nosem i czarną brodą, który – za gorszący sposób bycia – w 1856 r. został tu osadzony. Jednak w nocy z 11 na 12 XI 1859 r. – wraz z bonifratrem, ks. Klemensem Cichockim – zbiegł z Instytutu i udał się do Krakowa, a potem do Rzymu, gdzie uzyskał od papieża dyspensę i jako misjonarz wyjechał do Konstantynopola i Bułgarii. W roku 1860 powrócił do Galicji i przebywał w klasztorze Kapucynów w Krakowie. Na wieść o wybuchu Powstania Styczniowego wyruszył do Kongresówki i w marcu 1863 r. dotarł do korpusu gen. M. Langiewicza, obozującego w Goszczy. Niespokojny duch nie pozwolił mu ograniczyć się jedynie do roli spowiednika i celebransa. Już 18 III 1863 r., podczas słynnej bitwy pod Grochowiskami, z krzyżem w jednej dłoni, a z rewolwerem w drugiej, poprowadził powstańców do boju, zaś 19 IV 1863 r., w czasie bitwy pod Grzybową Górą, stanął na czele kosynierów i wraz z nimi rozbił trzykrotnie silniejszy oddział Moskali. Pochwycony 3 czerwca w Warce przez kozaków, osadzony został w Cytadeli Warszawskiej, a następnie skazany na karę śmierci przez powieszenie. Wyrok wykonano 12 VI 1863 r. na stokach Cytadeli w obecności jego spowiednika – o. Honorata Koźmińskiego.
Jak podają źródła, w pocz. lutego, gdy na Łyścu obozował korpus gen. M. Langiewicza, prawie wszyscy księża demeryci wstąpili w powstańcze szeregi, zaś wkrótce przeniesiono Instytut do Wysokiego Koła pod Kozienicami.
Jednak dopiero teraz nadchodziły ponure czasy nad klasztor łysogórski, bowiem – po odpowiednich przebudowach zach. części budynków dawnego opactwa (w trakcie których zniszczono wiele zabytków) – od 1884 r. swe piekielne podwoje otwarło tu Opatowskie Więzienie Karne – zwane „carską turmą” i „polskim Sachalinem”. Teren więzienia został otoczony wysokim murem z wieżyczkami strażniczymi, do budynków z więziennymi celami wchodziło się przez trzy bramy, a dawny ogród klasztorny zamieniono na główny dziedziniec, zaś dom gościnny na szpital, natomiast w piwnicach urządzono pralnię i łaźnię. Wschodnią stronę dziedzińca więziennego zamykał gmach dawnego klasztoru, w którym cele więzienne obliczono na kilkuset mężczyzn. Więźniowie zatrudniani byli przy różnych pracach, m.in. w warsztatach tkackich, założonych na pocz. 1886 r., a także w stolarni i ślusarni, bowiem więzienie to – wzorem tych w głębi Rosji – miało być samowystarczalne. Początkowo osadzano tu w większości pospolitych przestępców ze wszystkich guberni przywiślańskiego kraju – m.in. zbiegów, oszustów, złodziei, włóczęgów, przemytników, morderców – rzadziej politycznych. Warunki bytowania w świętokrzyskiej „turmie” były bardzo ciężkie – niedożywieni, zziębnięci, nierzadko bici przez nadzorców więźniowie, często stali po kostki w wodzie ze skutymi rękami i nogami w zawilgoconych pomieszczeniach. Śmiertelność wśród nich była wysoka, a umierali najczęściej na reumatyzm, dotykały ich również inne choroby – nagminnie panujące w ówczesnych rosyjskich więzieniach, jak „katary żołądków i kiszek, krwawe dezynterie, niewytłumaczalne ślepoty”. Dnia 11 XI 1887 r. wybuchł – pierwszy zapewne w świętokrzyskim więzieniu – bunt osadzonych, który został jednak szybko i brutalnie stłumiony przez strażników, a 13 sprawców surowo ukarano – postem, karcerem i przedłużeniem okresu odsiadki. Dwóch „głównych prowodyrów” przeniesiono dodatkowo na miesiąc do więzienia w Chęcinach (które również mieściło się w budynkach klasztornych), gdzie czas ten spędzili w specjalnie przygotowanych dla buntowników ciemnicach.
Od czerwca 1893 r. zmieniono status więzienia i – co za tym idzie – jego nazwę na Kieleckie Więzienie Poprawcze, które funkcjonowało tu do roku 1914. Część więźniów w 1893 r. przetransportowano do innych aresztów, pozostawiając tylko skazanych na więzienie poprawcze, którzy podjęli od tej pory jeszcze bardziej wytężoną pracę w więziennych warsztatach tkackich, wyrabiając tu płótno na odzież i pościel dla wszystkich aresztantów w guberni kieleckiej. I tak oto, dwustu, czasem trzystu, świętokrzyskich więźniów pracowało na nowy sort tego typu dla kilkudziesięciu tysięcy pozostałych osadzonych. Dalej dziesiątkowały ich choroby i terror strażników. Niektórzy próbowali ucieczek, co odnotowały oficjalne statystyki więzienne. Dla przykładu – w 1907 r. siedmiu więźniów zmyliło straże i wyrwało się na wolność, a w 1910 r. sztuka ta udała się pięciu osadzonym. Wiele jednak prób tego typu zakończyło się niepowodzeniem, jak np. ucieczka dwóch więźniów w 1912 r., którym udało się, co prawda, zbiec i dotrzeć do pobliskiej Huty Szklanej, gdzie ukryli się w zbożu, lecz pojmali ich tam następnego dnia żandarmi, przebrani ponoć przebiegle za… „świętokrzyskie baby w zapaskach”. W tym okresie naczelnikiem więzienia na Łyścu był Piotr Wasilewicz Górskij, a w roku 1912 stanowisko to objął Paweł Arkadiew.