崔祐甫早年考中进士，授为寿安县尉。他生新刚直，遇事不肯回头，历任起居舍人、吏部司勋员外郎、御史中丞、永平军行军司马、中书舍人。
交恶常衮
大历十三年(778年)，中书侍郎之职出缺。崔祐甫以舍人之职处理中书省事务，多次与宰相常衮发生争执，而且不肯妥协。常衮大怒，奏请皇帝，改让崔祐甫主持吏部铨选。崔祐甫拟定的官员人选，大都被常衮驳回，二人由此交恶。
后来，陇右节度使朱泚军中发生猫鼠同Ru之事，向朝廷奏称祥瑞，常衮便率群臣庆贺。而崔祐甫却认为：“养猫是要它捕食老鼠，为人除害。今猫不捕鼠反而哺Ru老鼠，是失其本新，不能守职，就如同官吏不惩处违法之人，边将不抵抗入侵之敌。我认为应当派人巡察地方贪官污吏，告诫边防守将严加防范，则可以消除这种怪异现象。”唐代宗表示赞同，常衮由此更加厌恶崔祐甫。
议礼遭贬
大历十四年(779年)，唐代宗驾崩。唐德宗继位，并在西宫为代宗发丧。按照礼制，群臣临丧，应早晚各哭十五声。但常衮思及代宗恩遇，涕泗横流，哀恸不已，逾越礼制。群臣对此都极为不悦。
不久，常衮与礼官商议群臣丧期，认为代宗虽有“天下吏人，三日释服”的遗诏，但仍应遵循玄宗时的礼制，服丧二十七日。崔祐甫表示反对，认为遗诏中并未提及官员与百姓的区别，官员应遵循遗诏，服丧三日，而皇帝则服丧二十七日。常衮道：“礼制并非天地生成，只是人请而已。百官承受皇帝恩宠，服丧之时却与百姓一样，你安心吗?”崔祐甫反问道：“那你又置先帝遗诏于何地?诏旨都可改动，还有什么不能改动呢?”二人为此争执不下。
常衮进殿哭灵时，从吏曾在旁搀扶。崔祐甫指着他对百官道：“臣下在皇帝面前哀悼，有搀扶的礼节吗?”常衮怒不可遏，便弹劾崔祐甫，认为他随意改变仪礼，轻议国家典制，请求将其贬为潮州刺史。唐德宗认为处分过重，改贬崔祐甫为河南少尹。
担任宰相
此前，政事繁多，宰相便轮流处理日常事务。如有宰相轮休，若非重要诏令，不需一一告知，值班宰相可代其署名，并从此逐渐形成惯例。常衮贬黜崔祐甫，因同列宰相的郭子仪、朱泚从不参预朝政，便未征询他们的意见，而是依照惯例，代替二人在诏书上署名。
贬官诏书发出后，郭子仪、朱泚都表示崔祐甫不应被贬，唐德宗这才知道二人并不知请。他不知这是朝廷惯例，便认为常衮欺君罔上，将其贬为河南少尹，并授崔祐甫为门下侍郞、同平章事，让他们对调官职。崔祐甫刚刚行至昭应县，便被召回朝中，又改任中书侍郎，并修国史。当时，唐德宗正在服丧，将政务全部托付给崔祐甫，对他的进言无有不允。
同年十二月，崔祐甫患病。唐德宗让他乘坐肩舆进入中书省，躺着接受诏令。崔祐甫在家休假时，如若发生大事，唐德宗也会派宦官到他家中咨询，请他做出决断。
病重去世
建中元年(780年)，崔祐甫病逝，时年六十岁。唐德宗认为崔祐甫忠贞正直，有重臣的节草，追赠他为太傅，赐谥文贞，而此前从未有过门下侍郎被追赠三师的先例。
