香山寺位于十三朝古都洛阳城南13公里处的香山西坳，与世界文化遗产——龙门石窟西山窟区一衣带水，隔河相望，与龙门石窟东山窟区和白园一脉相连，并肩邻立。
香山因盛产香葛而得名。
香山寺微始建于北魏熙平元年(公元516年)，唐垂拱三年(公元687年)，印度来华高僧地婆诃罗(日照)葬于此，为安置其遗身重建佛寺。天授元年(公元690年)，武则天在洛阳称帝，建立武周王朝，梁王武三思奏请，敕名“香山寺”，并重修该寺，当时香山寺危楼切汉，飞阁凌云，巍巍壮观，武则天常驾亲游幸，御香山寺中石楼坐朝。留下了“香山赋诗夺锦袍”的佳话。
唐大和六年(公元832年)，河南尹白居易捐资六七十万贯，重修香山寺，并撰《修香山寺记》，寺名大振，这篇文章开篇第一句即是对香山寺的推崇“洛都四郊山水之胜，龙门首焉，龙门十寺，观游之胜，香山首焉”，白居易自号“香山居士”与如满和尚等人结成“香山九老会”吟咏于该寺的堂上林下，会昌六年(公元846年)白居易去世，遗命葬于香山寺如满大师塔侧。
宋金时期香山寺犹存，元末废弃，清康熙年间重修，乾隆皇帝曾巡幸香山寺，称颂“龙门凡十寺，第一数香山”，这句诗摘自他当时所作的诗《香山寺二首》，被镌刻在石碑之上，位于香山寺的乾隆御碑亭就矗立着这块石碑，已有两百多年了，清末民国初年，香山寺又渐荒芜了，1936年香山寺进行重新修建后，为蒋介石庆祝五十寿辰而在寺内建一幢两层小楼。蒋介石和宋美龄多次在此避暑，这幢小楼位于香山寺内东南侧，被称为“蒋宋别墅”。
解放后，香山寺又进行了多次修葺，如今，为了实施“旅游强市”战略，拓展龙门石窟景区的观光项目，丰富香山寺的文化内涵，提升香山寺的旅游品位，弘扬中华民族的传统文化，洛阳市委、市政府及龙门石窟管理局依据《龙门石窟区规划》和《洛阳市龙门石窟保护管理条例》，投资600万元于2003年上半年完成了对香山寺的改造。该改造工程从2002年年底到2003年四月上旬完成，历时100天，创造了我国寺院速度之最。这也是香山寺历史上的第五次修复，新香山寺借鉴唐代风格，对蒋宋楼，乾隆御碑亭，衣钵塔等作为历史文物予以修缮、保留、保护。在原址上新建了钟楼、鼓楼、大雄宝殿，整修了天王殿、罗汉殿、步游道等。
