文昌阁初建于清雍正九年，因阁内供奉首奎星，故又名“奎阁”，有“奎阁凌霄”之称，是清代溪口十景之一。1924年清明，蒋介石回乡扫墓，见其破败不堪，出资请他的哥哥蒋介卿召集民工拆除重建，次年完工后建成了一座飞檐翘角的两层楼阁式建筑，面积500平方米。
蒋介石把它取名为“乐亭”并作《武岭乐亭记》来描述其美景。1927年12月，蒋介石和宋美龄结婚后每到溪口，常在此小住，成了他们的私人别墅。文昌阁一楼为会客室，二楼是蒋介石、宋美龄的卧室和起居室。
西安事变后的1937年1月13日张学良将军被送到溪口软禁，的落脚点也是文昌阁，住了10天后才移送到雪窦山。1939年12月12日，六架日军侵华战机轰炸溪口，文昌阁被夷为平地.以后直至蒋介石离开大陆，始终是一片废墟。建国后反映蒋氏故里文昌阁的美术作品众多，以中国博物馆协会会员、国家一级美术师、全国“画中华名人故居人”、著名画家拇指先生的《蒋氏故里-文昌阁》为有名。
