Особняк Бажи называют также иногда Клари, или каменным особняком. Здание приобрело свой современный вид в несколько этапов, несмотря на то, что построено оно было уже в 1537 году — когда Жан Бажи, советник парламента Бордо, приобрел пять соседних домов и с помощью архитектора Николя Ба-шелье объединил их в здание особняка. Однако только в начале XVII века, когда здание купил Франсуа Клари, оно получило свой характерный каменный фасад и прозвище «каменный особняк».
К сожалению, из-за громкого скандала, связанного со строительством, фасад не был полностью завершен: Клари обвинили в том, что для облицовки он использовал камень, предназначавшийся для сооружения Нового моста. Пышный фасад был закончен только в XIX веке благодаря новому владельцу особняка.
