此处原为金粟庵，北宋绍圣四年(1097年)，大诗人苏轼被贬海南，曾在此居住。苏轼贬居海南三年，对海南颇多贡献，人们为纪念他，于明万历四十五年(1617年)，在此建立祠堂，取名“苏公祠”。清光绪十五年(1889年)，人们又为纪念贬居海南的唐代李德裕，以及宋代的李纲、李光、胡铨、赵鼎五位名臣，特建祠堂，名“五公祠”，并以之作为此处的总称。五公祠由主楼、苏公祠、东坡祠、琼园亭等建筑组成，形成一组建筑群，称“海南第一楼”。1914年，又把楼旁的昭忠祠改为二伏波祠，以祀汉代伏波将军路博德、马援二人。五公祠内颇多奇花异木，幽雅清静，祠堂外还有宋徽宗书写的《神霄玉清万寿宫碑》一座；五公祠已成为海口的主要名胜地。