刘大夏，自号东山居士，是湖广华容（今属湖南）人。他的父亲刘仁宅曾经担任瑞昌知县、广西副使，为自己的儿子们做了榜样。他的哥哥叫刘大中，弟弟叫刘大奇，他排行老二。他历经明英宗、明宪宗、明孝宗、明武宗四个朝代，历官皆著政声，朝廷嘉奖，百姓为之颂扬。朱祐樘观察他不仅为官清廉，办事也干练，远远超过其他朝中大臣，于是对他倍加倚重，也十分器重他。刘大夏也不负众望，竭诚辅佐，贡献颇多，成为朝堂公认的“弘治中兴”第一名臣，深得朝野上下青睐。
弘治二年（1489年），刘大夏被任命为广东右布政使，当地官府有一种“羡余”钱。之所以叫“羡余”，是因为它从来不记在账上，也就相当于现在的小金库。以前的布政使可以随意花销这笔钱，甚至可以直接塞进自己的腰包，这在当时看来是一件无可非议的事。可是刘大夏刚上任第一天，就打开库房清点。没想到，眼里不揉沙子的他，第一眼就发现有一笔前任布政使没有用完而剩下的“羡余”钱。于是，他立即命令掌管仓库的吏员将其记入官库账簿。
库吏翻出旧例，提醒刘大夏说：“如今您已经是这里的新布政使了，这笔钱理应归您，而不应该记入官簿。”刘大夏在官场奔波干了这么多年，自然明了“羡余”钱的惯常用途。他知道即使把这笔钱塞进自己的腰包，既不违法，也不会遭非议。对于库吏的再三提示，他迟迟未作回应。刘大夏沉默了许久，突然自责道：“我刘大夏平时读了不少圣贤书，一直希望做一个好人。今天遇上这件事，我怎么会考虑这么久？此举实在是愧对古代贤人，不是一个大丈夫所做的事。”想到这里，他立刻命令库吏将那摞“羡余”统统列入官账，并作为正式支销，自己一分钱也不要。
弘治十一年（1498年），刘大夏考虑到身体状况，从户部侍郎任上退休，回到湖北华容老家。他一边养病，一边读书，并在闲暇时间亲自率领子弟耕田种地。因为家中的田地不多，耕种所得只够他们一大家人吃饭穿衣。俗话说“人善被人欺”，刘家人世代忠厚仁义，可是在那些恶霸邻居眼中，觉得他们一家人软弱可欺，就凑成一伙儿，肆意侵夺刘家的田地。在当时，凡是曾在朝廷担任过高官，即使退休后在地方上也仍然属于霸主，百姓们都会惧让三分。可是，刘大夏身为朝廷财政大臣，官居三品，他居然主动拿土地让给恶霸，不与其争论一番。他这样做，固然深受古贤“食禄之家，不与民争利”的思想影响。
弘治十三年（1500年），也就是刘大夏在老家歇息了两年后，他又被朱祐樘征召为官，回朝任职。治水有功的刘大夏，成为朱祐樘身边最受倚重的大臣。
弘治十八年（1505年）春，有一天，明孝宗朱祐樘下早朝之后，单独召见了刘大夏和另一廉臣戴珊。商议完事情后，朱祐樘就命令宦官拿来两锭白金，给他们每人赐锭，然后动情地说：“两位爱卿，拿着这枚锭去买些茶果饮用吧，最近是官员述职的时候，各地官员都来到了京城。我听闻朝廷中有一些公卿，为了避受行贿之嫌，故意闭户不与别人接触。可是唯有你们两位，开门延客。可是居然没有一个人敢向你们行贿。我了解你们，所以想单独赏赐你们。这是命令，不必朝谢我的。”因为刘大夏每次立功回朝，都会以各种借口推掉朱祐樘的赏赐，可是这一次他居然没有拒绝。
刘大夏在从政的40多年里，一直担任要职。特别是在弘治后期，深得明孝宗朱祐樘的信任和赏识。从皇帝到朝野，都把他视作“当今第一人”。但是，功绩辉煌的他却从没有产生过私心，替自己的子孙谋取一官半职，而是一直教育并亲自为他们做示范，要他的子孙靠自己的辛劳和实业谋生。
在辅佐朱祐樘的时候，他力革宦官弄权之弊。此举遭到宦官和谄附宦官的阉党们的忌恨。朱祐樘病逝，朱厚照刚一即位，就立即以反朱祐樘弘治之政，开始重用宦官和阉党。此时的刘大夏知道，如今朝廷大局已变，自己再怎么努力也无力回天。于是，他在正德元年（1506年）的时候提出第二次退休，当时的刘大夏已经71岁了，也真到了退休的年龄了。
正德三年（1508年），刘大夏跟宦官刘瑾的仇怨也到了结的时候了。刘瑾开始想尽办法陷害他，想要刘大夏彻底消失。当他被刘瑾矫旨逮捕时，同行们都觉得他会被迫害致死，于是劝告他说：“你可以向他行贿，先保住一命要紧。”刘大夏听后坚决不同意，他说：“我这样死了，祸害发生在我一个人身上，如果我为了免一死，向宦官行贿，就会连累我的子子孙孙，毁了我一生高洁的操守，也会坏了家风国风。”刘大夏心里清楚，受贿可耻，行贿也不是什么光彩的事情。所以，他宁肯选择一死，也不肯让神圣的廉洁受到一丝玷污。
正德五年（1510年），刘大夏从发配地回到了家中，当时的他已经75岁了。回到家后，他依然耕读不辍。没过多久，他的一个时任巡抚的门生从百余里外来拜见他，途中向一个犁地的“老农”打听“刘尚书家”，老农亲为他带路。到家后，门生才发现这位带路的“老农”，就是曾经的刘大夏。