Летняя беседка построена на рубеже XVII-XVIII вв. Первоначально беседка была одноэтажной, имела тонкие колонны и стрельчатые арки. Она была перестроена мастером Омером после пожара 1736 г. Колонны стали массивнее, их усилили, а над беседкой построили второй этаж – Фруктовый или Золотой кабинет. Беседка была открытой с трех сторон, росписи мастера Омера сохранились на потолке и стенах. В центре был установлен мраморный фонтан с бассейном, возможно перенесенный из Зала Дивана.
Во время ремонта под руководством архитектора Колодина (20-е гг. XIX в.) беседка была перестроена. Ее закрыли деревянными панелями и остеклили. Мастер Михаил Кладо расписал стены, унтер-офицер Василий Дорофеев выполнил деревянный резной потолок с плафоном. Реставрационными работами 60-х гг. XX в. были обнаружены изящные рисунки на падугах и пейзажи над входом, возможно принадлежащие мастеру Омеру.
В ханские времена Летняя беседка служила местом отдыха для хана и его окружения.