Строительство Хлебного дома началось только летом 1784 г. в тот момент, когда почти все основные постройки царицынской резиденции императрицы были уже возведены. Уже через год к лету 1785 г. Хлебный дом был поставлен. Правда, его не успели покрыть кровлей и выполнить парапет. Осенью 1786 г Кухонный корпус накрыли временной лубяной «крышкой» и только в 1787-1788 годах – постоянной железной.
Что только не размещалось в Хлебном доме в XIX-XX веках: больница и богадельня (в 1852-1859 гг.), земское училище, а после революции 1917 года в Хлебном доме разместились коммунальные квартиры, которые просуществовали до 1970-х годов!