Будинок Мільнера був розроблений і побудований А.Н. (Алекс) Фрейзер, з Qualicum Construction, для генерала Ноеля Мані в 1931 році. Він був розроблений таким чином, щоб включити в себе риси цейлонської чайної плантації, про що свідчать численні двері, що ведуть у сад.
У 1823 році Мілнер Гібсон орендував землю в Іслінгтоні у місцевого землевласника Вільяма Тафнелла, а його геодезист і архітектор Френсіс Едвардс заклав маєток між 1828 і 1846 роками.. Ділянка утворила Тебертон-стріт, дві сусідні площі Мілнер-сквер і Гібсон-сквер, а також деякі менші вулиці.
23 травня 1886 року преподобний Ебенезер Робсон освятив будівлю як методистську церкву Ленглі Прері.. 10 червня 1925 року в результаті союзу між пресвітеріанською та методистською церквами вона стала Об’єднаною церквою Мілнера. Саме в цей час до будівлі прибудували хол і кухню.
Альфред Мілнер, державний діяч і колоніальний адміністратор, став губернатором Капської провінції та Верховним комісаром Південної Африки в 1897 році. Він підштовхнув Республіку Трансвааль до війни, спостерігав за війною та організував відновлення після війни. Мільнер народився в 1854 році в місті Гіссен в герцогстві Гессен в Німеччині.
У 1960 році Алекс Джордан відкрив для публіки будинок своєї мрії, побудований на камінній трубі. З роками Алекс розширив своє бачення за межі Будинку, збирав і будував у величезних масштабах. Те, що починалося як високе місце відпочинку з приголомшливим краєвидом, перетворилося на вражаючу пам’ятку, відому як Будинок на скелі.
Прізвище Мільнер є вважається, що походить з Баварії, Німеччина. Коли починаючи з 12 століття в цій місцевості почали приймати спадкові прізвища, людей часто ідентифікували за роботою, яку вони виконували. Мільнер — це професійна назва мірошника, яка походить від старогерманського «Mulinari».