1917年8月8日，葛香亭出生于江苏省徐州萧县，就读于萧县师范学院，毕业后在小学任教。教了一学期书后因抗战而投身军职，并加入军中剧团，正式开始其演艺生涯。1940年，葛香亭考进上海著名的“金星影剧训练班”，与欧阳莎菲、谢晋等人结为同学，一年后毕业，留在公司参与《白云塔》、《乱世风光》等片的演出，并兼任公司的化妆师。不久，日本全面侵华，全国各地抗日活动纷起，他即前往北京加入九十二军的义工队，为政府演出鼓舞民心士气的话剧。同时天赐良缘，认识了妻子张琳。
国共内战期间，葛香亭因友人介绍进入装甲兵剧队，之后随装甲兵渡海赴台。移居台湾后不久他转入国防部康乐总队，继续在军中从事话剧表演工作，直到1969年退役。他进入中央电影公司，演出多部知名电影，包括：《养鸭人家》、《还我河山》、《高山青》、《我女若兰》、《葡萄成熟时》等。由于演技老练、精湛，葛香亭凭借《养鸭人家》与《高山青》获得1965年第三届及1970年第八届金马奖最佳男主角奖。1975年，葛香亭加入中国电视公司，一面拍电影、一面演电视剧，另外也接一些话剧。直到现在，葛香亭参演的电影作品至少有176部以上。葛香亭一生从事演艺工作，对其热情从未减退，并于2005年获得第42届台湾金马奖终身成就奖。
2010年5月16日，葛香亭在台湾家中与世长辞，享年94岁。
