Celé Rakousko pocítilo hospodářskou krizi. V roce 1814 vypukl v Aši obrovský požár, který postihl podstatnou část obce včetně radnice a zámečku na Mikulášském vrchu. Plamenům padlo za oběť 167 domů a 78 stodol. Zatímco radnice byla o dva roky později obnovena, ašský zámek Zedtwitzů se této obnovy nedočkal. Po katastrofální neúrodě roku 1817 a zničení úrody o rok později vznikl velký nedostatek potravin. V roce 1850 bylo ašské území rozšířeno o Hazlov, Polnou a Skalku. Hospodářská moc rodu Zedtwitzů skončila. V roce 1854 byl zřízen c. k. okresní soud. Ašsko ztratilo až na daňovou svobodu svou autonomii. V roce 1872 obdržela Aš, jako místo s počtem obyvatel větším než deset tisíc, statut města.
Velkých změn se dočkalo i školství. Otevřela se Radniční škola, měšťanská škola, škola Kamenná a hudební škola. Postupně vzrůstal počet obyvatel a i předměstí – Mokřiny a Krásná. To ovlivnilo další stavební práce, byla dokončena nová nemocnice, plynárna, vodovod, městské lázně, městské muzeum a budovy odborné textilní školy.
Zhruba v polovině století odkoupila Aš vrch Háj a vzápětí se zahájila stavba kamenné vyhlídkové věže, dnes známe jako Bismarckova rozhledna. Roku 1883 došlo k odhalení sochy dr. Martina Luthera, k příležitosti 400. výročí jeho narození.