В начале XIX века во всех уездных центрах Кавказской области были созданы арестные дома. В Ставрополе таким домом стало двухэтажное здание, нанятое у купца 1-й гильдии Ивана Алафузова. Этот дом назывался острогом. Позднее, после перевода арестантов в «дом Реброва» (ныне ул. Советская), он был