Бахчисарайский Дворец был не единственной ханской резиденцией.
В Крыму существовало еще пять т.н. малых ханских дворцов – старый дворец Девлет Сарай, дворцы Улаклы Сарай, Алма Сарай, Качи Сарай, Сюйрень Сарай. Однако это были загородные виллы ханского рода, а главным местом пребывания крымских государей всегда оставался Бахчисарай.
За те два с половиной столетия, которые Хансарай служил резиденцией главы Крымского государства, его внешний облик претерпел существенные изменения. Непросто будет в точности восстановить ту последовательность перемен, которая в итоге привела к складыванию знакомого нам нынешнего облика Хансарая. Почти при каждом новом правителе во Дворце появлялись новые сооружения, производились ремонты. Крымские ханы ставили себе памятники на века в виде дворцовых построек, ряд которых можно видеть в Бахчисарае поныне.
Памятником Сахибу I Гераю служит сам Бахчисарай. При Девлете I Герае (или чуть позже) во Дворце возникло первое ханское дюрбе, при Исляме III Герае – второе дюрбе и зал собраний, при Бахадыре I Герае — еще одно помещение для официальных приемов. Каплан I Герай увековечил память о себе в сооружении Золотого фонтана. Селямет II Герай возвел беседку, названную его именем. Его же имя запечатлено на многих постройках Дворца (в частности, Большой Ханской мечети) восстановленных им после пожара, что практически разрушил Дворец во время русского вторжения. Арслан Герай построил рядом с Ханской мечетью медресе. Крым Герай возвел прекрасное дюрбе Диляры-бикеч, «Фонтан слёз» и богато украсил внутренние покои Дворца. Как говорил турецкий путешественник XVII в. Э. Челеби, «Каждое строение построено кем-нибудь из падишахов (т.е. ханов)». Ханский Дворец – истинная летопись рода Гераев, многие представители которого внесли вклад в его великолепие.
С течением времени менялись архитектурные и орнаментальные стили: лаконичные узоры стенных росписей XVII в., изображавшие гроздья винограда и плиты мрамора, сменялись изысканными растительными композициями в стиле «крымского рококо»; на смену торжественным гулким залам XVI в. в XVIII столетии во Дворце начали строить легкие постройки. Этот список можно продолжать: внимательное искусствоведческое изучение Дворца может дать довольно ясный срез чередования стилей в крымскотатарском архитектурном искусстве.
Последний крымский хан Шахин Герай, имел намерение перенести крымскую столицу из Бахчисарая в Кефе (ныне Феодосия). Он даже начал постройку новой резиденции – но, потеряв в 1783 г. власть, не успел реализовать свой план.
В имперский период Дворец находился в ведении МВД. Здесь пребывал полицейский чин, при наличии разрешения губернатора позволявший важным гостям осматривать бывшую ханскую резиденцию. Время от времени Дворец посещали императоры и члены императорской фамилии. Во время Крымской войны 1854-55 гг. здесь размещался лазарет.
Тот облик, который Хансарай имеет сейчас, в общих чертах сложился в XVIII в., когда орнаментальное и строительное искусство Крымского ханства достигло высот совершенства. Дворец – великолепный памятник архитектурного искусства, но пожар, устроенный прорвавшимся в Бахчисарай царским фельдмаршалом Минихом в 1736 г., не принес такого вреда дворцу, как «реставрации» XIX века.
История этих ремонтов берет начало в 1787 г., когда дворец готовили к приезду в Бахчисарай Екатерины II. Как правило, и в будущем подобные работы совпадали с подготовкой дворца к приему очередного коронованного гостя. Чаще всего ремонты проводились случайными людьми, а когда за дело брались профессионалы – они мало интересовались традициями местной архитектуры, подходя к ремонту дворца со стандартными мерками. В итоге внутренние покои Хансарая  переделывались на «европейский» лад, неподражаемые росписи придворных художников искажались, а ветхие здания попросту сносились. Так, в 1820-х гг. было снесено три из четырех зданий гарема, Зимний дворец, обширный банный комплекс и многие другие ценные постройки.
Цари гневались за искажение экзотического облика Дворца, ревизоры обнаруживали бреши в  сметах. За прошедшие два столетия площадь дворцового комплекса значительно сократилась.
Научно обоснованная реставрация началась в 1960-х гг. В 2003 г. во Дворце была предпринята новая серия ремонтно-реставрационных работ, производители которых под тщательным научным контролем старались по крупицам восстановить оригинальный и неповторимый изначальный облик ханской резиденции.