他生於貧苦農家，但人小志遠，13歲就參加了進步學生運動。他17歲考取武漢中央政治學校，加入中國共產黨。他在葉挺領導下參加了擊退叛軍夏斗寅部的戰鬥。他跟隨毛澤東上井岡山，並護送毛澤東夜走茶陵找主力部隊。攻打吉安，他身先士卒，追殲逃敵於烏江時，右腿負重傷。他20歲任紅20軍參謀長，22歲升任紅15軍軍長，26歲任紅二方面第6軍團軍團長，後來成為新中國軍區副司令員，1955年被授予上將軍銜。
學運積極分子
1910年11月26日，陳伯鈞出生在四川省達縣河市鄉的一個小康農家。原名陳國懋。陳伯鈞在兄弟中排行第五，上有長姐一人，胞兄四人，下有小弟一人。陳家人口多，田地稍寬，父親出租谷田23石，兼營酒坊，日子過得還算溫飽。
7歲那年，小伯鈞到了讀書的年齡，父親便把他送到河市壩小學讀書。父親對他讀書要求很嚴，因此，小伯鈞養成了刻苦用功、自立自強的性格。放學後，他總是幫助母親做些力所能及的家務勞動、放牛砍柴。他還喜歡讀書，從父兄處借來的《史記》、《三國演義》、《水滸》等書，他都愛看，看了以後，非常喜愛那些除暴安良、抱打不平的豪俠。
高小畢業後，因家庭經濟不足，陳伯鈞便自主投考了免費的省立第四師範。1923年春被該校錄取。
第四師範設在萬縣，這是川東地區的高等學府，也是該地區新文化、新思想的傳播中心。特別是先烈肖楚女1923年春到該校任教，推動了那裡的學生運動。
陳伯鈞聽過肖老師的演講，並讀了《新青年》、《先驅》、《嚮導》等許多進步書刊，深受教育，積極參加了1924～1925年反對國家主義派的鬥爭，和同學們一道驅逐了反動校長。
「五卅」運動中，陳伯鈞又積極組織宣傳隊，帶領同學走上街頭宣傳反帝反封建思想，支援工人運動。由於工人運動遭到反動當局的鎮壓，陳伯鈞等一批學運積極分子被校方開除了。
堅決不離開革命隊伍
陳伯鈞離開萬縣第四師範後，便邀集同窗好友劉夢笙，趕到重慶，參加黃埔軍校的招生考試。為革命投筆從戎的志氣與決心，使他倆都被錄取為黃埔軍校第六期學員。
1927年1月，黃埔軍校第6期遷到武昌兩湖書院開學，不久更名為中央政治學校。陳伯鈞入學後編入第1大隊第2隊，同學中還有羅瑞卿、張赤男、程子華等。
當時武漢是全國革命運動的中心，軍校學員可以看到《共產黨宣言》、《共產主義ABC》等革命書刊。陳伯鈞酷愛讀書看報，思想覺悟提高很快。
1927年3月6日，江西工人運動領袖陳贊賢遭慘殺，武漢等地的反蔣運動高漲。陳伯鈞積極參加了追悼陳贊賢，向國民黨政府請願等反蔣鬥爭。3月下旬，政治分校正式改名為中央軍事政治學校，取消蔣介石的校長制，改為五人委員制，實由惲代英負責。
5月17日，夏斗寅在宜昌叛變，率部進襲武漢，前鋒抵達離武昌只有20公里的紙坊。危急關頭，軍校學生奉令編入中央獨立師，在葉挺指揮下迎擊叛軍。陳伯鈞所在的1大隊編為第1團，當天開到紙坊作戰，經土地堂打到賀勝橋，又乘勝追擊，轉戰咸寧、蒲圻、嘉魚、赤壁新堤，最後攻克沔陽，擊潰了叛軍。
平定叛軍後，陳伯鈞經熊修武介紹，在咸寧前線被接收為中共黨員。
中央獨立師回師武漢後，許克祥5月20日在湖南叛變。6月，朱培德在江西「禮送」共產黨人出境，何鍵在武漢高喊「清黨」，蠢蠢欲動，汪精衛集團的反動面目愈加暴露。為了保護軍校這支黨、團員占百分之七十的革命隊伍，黨組織借「打野外」之名，將隊伍拉到武昌市郊。此時，第二方面軍總指揮張發奎招兵買馬，黨利用這個機會，將軍校學生改編為第二方面軍總指揮部教導團。
7月15日，汪清衛集團在武漢公開叛變，形勢急轉直下。陳伯鈞的父兄均來信要他回家，甚至以「母病重」為由，催他速歸。陳伯鈞拒絕了父兄的要求，決不離開革命隊伍。
小排長與毛澤東同值下夜班
1927年9月10日，正是農曆中秋節。這天，毛澤東從瀏陽脫險來到銅鼓。此前，陳伯鈞隨第武漢國民政府警衛團，也經宜豐到達銅鼓縣城休整。為訓練新兵，團部設立了訓練處，由陳伯鈞任主任。他既教軍事，又教政治，工作極其認真負責。
在團部駐地肖家祠召開的排以上幹部會上，陳伯鈞聽了毛澤東號召舉行秋收起義的講話。會後，毛澤東又親切地詢問了陳伯鈞的年齡、籍貫和經歷。
此後，警衛團正式改編為工農革命軍第1師第3團。陳伯鈞任該團第3營第6連第1排排長。第3團的任務是協同第1、2團打下平江、瀏陽，會攻長沙。前委書記毛澤東直接領導第3團行動。
9月12日下午，陳伯鈞隨第3團繼續西進，攻打瀏陽東門市後，轉移到上坪。毛澤東在上坪召開第3團幹部會議，得知第1團進軍長壽街，因遭到叛變的第4團邱國軒部(剛收編的夏斗寅殘部)的偷襲而失敗，第2團攻克瀏陽後被圍，大部傷亡、失散。攻打長沙的計劃已不能實現，遂決定通知第1團速來會合，並親率第3團退向銅鼓的排埠。
9月19日，陳伯鈞和第3團隨毛澤東進軍文家市，接著盧德銘率第1團也來會合。毛澤東在文家市里仁學校召開前委擴大會議，說服師長余灑渡，放棄攻打瀏陽、長沙的計劃，決定向湘贛邊界地區退卻。
9月20日，毛澤東和盧德銘率第1、第3兩團離開文家市南進。途經萍鄉蘆溪，又一次遭到敵人伏擊，盧德銘英勇犧牲，後衛第3團遭到很大損失，僅陳伯鈞所在的第3營在營長伍中豪帶領下衝出重圍，追上第1團，趕到永新縣，參加了著名的三灣改編。
在三灣，工農革命軍縮編為第1軍第1師第1團，僅有第1、第2兩個營。陳伯鈞雖患虐疾，經張子清、游雪程推薦，仍擔任了3營8連1排排長，還一度代理連長。
10月3日，部隊到達寧岡的古城，陳伯鈞參加了前委召開的擴大會議。毛澤東在會上總結了秋收起義的經驗教訓，決定在井岡山建立留守處，並爭取袁文才、王佐領導的兩支農民武裝。
部隊到酃縣水口後，毛澤東派游雪程、徐顏剛、陳伯鈞上井岡山，去做團結改造袁文才部的工作。出發前，毛澤東在水口朱家祠找他們促膝談心，要他們充分認識爭取這支武裝的重要性，注意搞好團結。當天，陳伯鈞等隨袁文才部交通員離開水口，經過3天行軍，到達茅坪步雲山。
袁文才部平時分散活動，陳伯鈞等到職後，集中在步雲山練兵。不久，毛澤東也到茅坪養腳傷，並進行調查研究。他經常找袁文才和陳伯鈞等談心，還到練兵場上檢查戰士們的軍事訓練，講《封神榜》的故事，鼓勵大家學土行孫和哪吒上天入地、能打能走的本事。
在毛澤東的親自指導和陳伯鈞的努力下，袁文才部很快走上正軌，並接受了作戰任務。陳伯鈞率一個排負責維護井岡山同茶陵前方的交通聯絡，掩護和接送來往的傷病員和工作同志。
12月，陳伯鈞帶—個班，護送毛澤東去茶陵找主力部隊。出發第一天走了六七十里，夜宿茶陵坑口圩。次日，這個班戰士先回井岡山，只留陳伯鈞和毛澤覃與毛澤東同行。
大約離縣城二三十里時，前方傳來機槍和步槍聲。毛澤東決定在離城五六里的小村子住下，由赤衛隊派人到城邊偵察。晚上大家輪流放哨，毛澤東和陳伯鈞值下夜班，以應付緊急情況。
天剛亮，偵察員回來報告說，茶陵城東門通井岡山的浮橋被拆掉了，敵人尚未進城，而我軍卻向南撤退。毛澤東判斷情況有變，決定馬上追趕部隊。陳伯鈞說：「我打掩護，你們往前走!」趕到水口，天已黃昏，終於追上了正在休息的部隊。
當晚，毛澤東召集會議，討論部隊行動方向問題，爭論很激烈。毛澤東命令部隊折回井岡山，向寧岡礱市開發。散會後，毛澤東交給陳伯鈞一封信，要他連夜走小路趕回礱市，送交中共永新縣委。
隨後，毛澤東帶著大部隊返回礱市，召開了全體黨員大會，處理了團長陳皓(舊軍官)等企圖把部隊拖去投靠方鼎英的事件。
毛澤東總結這個事件的經驗教訓，決定成立工農革命軍教導隊，任命呂赤為隊長，陳伯鈞為副隊長兼黨支部書記。
三打永新，三占永新
1928年4月下旬，在毛澤東率部接應和掩護下，朱德、陳毅率領的部隊到達寧岡礱市，兩支革命軍隊勝利會師。5月4日，在礱市召開會師慶祝大會，正式宣布成立工農革命軍第4軍(6月改稱工農紅軍第4軍)。陳伯鈞所在的第1團改稱第11師第31團，陳伯鈞任第1營第1連連長。
不久，贛敵兩個團對井岡山根據地發動第二次「進剿」。陳伯鈞所在的31團奉命在七溪嶺阻擊敵人，掩護28團、29團攻打黃垇。接著又側擊進犯五斗江之敵，打垮敵人第81團。全軍乘勝追擊，第一次攻下永新城，粉碎了敵人的「進剿」。
5月中旬，贛敵發動第三次「進剿」。毛澤東採取「聲東擊西」的戰術，派31團1營佯攻茶陵的高隴，併到譚延閶的老家收集報紙，以便進一步判斷敵情。
陳伯鈞率第1連隨營進至高隴，營長員一民布置1連擔任警戒，2連作預備隊，3連去偵察游擊。3連剛到山腰上，與敵遭遇，敵憑有利地勢射擊，3連連長犧牲，被迫撤退。陳伯鈞立即集合1連與敵接火，猛烈反攻。
戰鬥快要結束時，員營長被敵人冷槍打中犧牲。陳伯鈞臨時代理營長的職務，率1連和3連撤到梅花，適逢28團前來增援，合力打垮了敵軍。
隨後，接到毛澤東的通知，他們又連夜摸黑趕回永新里田。當地靖衛團急忙向縣城敵師長楊如軒報告，楊派79團進犯里田。陳伯鈞等隨部進至距永新15里的草市壩，與敵79團相遇，激戰兩小時，打死敵團長劉鬍子，乘勝直搗永新城，正在聽留聲機的楊如軒倉皇爬城逃跑，被紅軍打傷。這是二占永新的大勝利。
6月下旬，湘贛兩省敵軍共10個團聯合向井岡山發動第一次「會剿」。毛澤東、朱德召開軍事會議，決定集中兵力在新、老七溪嶺一帶殲敵。陳伯鈞所在的31團第1營，奉命和29團迎擊由新七溪嶺進攻之敵。陳伯鈞派兩個排埋伏在望月亭營指揮所兩側，伏擊敵人。經過激烈戰鬥，將敵人擊退，又配合堅守老七溪嶺的28團，乘勝追殲逃敵於龍源口。此役全軍殲敵1個團，擊潰兩個團，繳槍千餘支，粉碎了敵人的「會剿」，第三次占領永新城，使井岡山鬥爭進入了全盛時期。
攻打吉安，他身先士卒，兩次負傷
1930年2月6日至9日，毛澤東在吉安的陂頭主持召開紅4軍前委、中共贛西特委和紅5軍、紅6軍軍委聯席會議(即「二七會議」)，確定以擴大根據地和工農武裝，深入土地革命，奪取江西全省為主要任務。
2月23日，敵唐雲山旅進逼吉安水南。毛澤東、朱德指揮4軍全部及6軍一縱隊奪取水南。陳伯鈞和柯武東等率一縱隊於24日晨出發，上午10時到達，即與敵軍開火。這次戰鬥，僅用了半小時，紅軍就俘敵百餘人，繳獲步槍500餘支，水機槍3挺，迫擊炮兩門，子彈40擔。殘敵六七百人向距離吉安城20公里的值夏、施家邊逃竄。
26日拂曉，4軍和6軍一縱隊帶領武裝群眾萬餘人，進攻施家邊。紅軍上午10時到達，敵人還在山上築工事，想用機槍頑抗。紅軍英勇進攻，激戰至下午5時，敵全部繳械。號稱「鐵軍」的唐雲山旅全軍覆沒。
在水南、施家邊兩次殲滅戰中，陳伯鈞指揮6軍一縱隊參戰。他身先士卒，追殲逃敵於烏江時，右腿負重傷。
1930年7月中共贛西南特委軍事會議決議並經特委常委通過，成立紅20軍，下轄4個縱隊，歸屬紅1軍團建制。上級考慮該軍軍長曾炳春是師範生，沒有進過軍校，但是「只要有一個好的參謀長也可以指揮」，遂決定任命正在醫院治傷的陳伯鈞為紅20軍參謀長。此時，陳伯鈞養傷地區的地方武裝升編為紅20軍二縱隊(後改稱第2團)，他還一度兼任該縱隊(團)政委。
8月下旬，中共贛西南特委組織第八次圍攻吉安。由北路行委調工農武裝兩萬多人，配合紅20軍第2團向真君山進攻。27日，陳伯鈞指揮第2團猛攻真君山，打下了敵人的幾個地堡之後，直撲吉安城。由於敵人裝備精良，地形好，城外又有幾道鐵絲網和又寬又深的壕溝，攻城沒有奏效。
不久，紅20軍占袁州、出峽江，9月底回師打吉水，斷絕吉安交通和糧食出路。10月2日，紅20軍奉紅1軍團命令，由南源出發，進至湖家、三角塘、華家一帶。陳伯鈞親自帶人偵察吉安城西真君山、天華山一帶地形，準備4日拂曉攻擊。根據上級命令，紅20軍在正面，向真君山、天華山之敵佯攻，與紅3、4、12軍協同作戰，發起了第九次攻打吉安的戰役。
為了攻占真君山陣地，陳伯鈞和軍長曾炳春指揮紅20軍在螺子山附近配合紅4軍一部，從敵人的薄弱點打進城去。敵拚命反攻，激戰一天。後兄弟部隊陸續趕到，終於把敵人趕跑，占領了吉安城。是役陳伯鈞在螺子山負傷。
22歲升任軍長
第三次反「圍剿」結束後，1932年3月，紅3軍撥歸紅5軍團，並由紅1、5軍團組成東路軍，向閩西發展。毛澤東隨軍指揮，提出東路軍必須直下漳(州)、泉(州)，方能調動敵人，打開局面，並要在信豐的5軍團儘快到龍巖。
陳伯鈞率7師於4月14日趕到龍巖，19日與紅1軍團協同進攻漳州。在漳州地區工作了1個月左右，十九路軍已進入福建，粵軍侵入贛南，紅軍於5月20日撤離漳州，6月初回到贛南。
7月初，陳伯鈞調任紅15軍軍長。此時，正逢粵軍12個團占贛南數縣，有6個團踞南雄附近；蔣介石5個師駐贛州北；何鍵在湖南包圍紅3軍團。紅5軍團和紅1軍團及獨立3師奉命由信豐直取南雄，誘粵敵南援，以解紅3軍團之圍。
7月7日，粵軍第4師到達烏徑。紅5軍團奉命殲滅該敵。8日凌晨，紅5軍團向烏徑進發，發現該敵由湞水南岸向南雄逃竄，即改變行軍方向，向水口堵擊。當天下午，在水口以東的翡角村，隔河與敵接火。陳伯鈞率紅15軍任右翼，配合正面紅13軍、左翼紅3軍迅速擊潰敵人2個團。
9日，粵軍布置第4師固守水口待援，又派第3師和獨2旅急由南雄馳援水口，以優勢兵力向紅軍猛撲。紅5軍團誤將9個團的敵人當成3個團打，雙方激烈拚殺。紅5軍團官兵非常英勇，許多戰士手持大刀與敵肉搏，雙方傷亡很大。後紅1軍團和紅12軍趕來增援，終將敵人擊潰。水口戰役後，粵敵全部退出贛南根據地，以後很長時間未敢輕舉妄動。
8月初，中共蘇區中央局在興國召開會議，決定對紅軍進行整編，並調主力北上，發起樂安、宜黃戰役。
8月15日，朱德、毛澤東簽發紅一方面軍攻擊樂安的訓令，布置紅5軍團在樂安城南作預備隊，保證紅一軍團攻占樂安城。8月20日，紅1、3、5軍團協同攻打宜黃，激戰一天，繼續夜攻，守敵高樹勛師全部被殲。兩仗共俘敵5000多人。
樂安、宜黃戰役後，陳伯鈞率紅15軍隨紅1、3軍團到達南城外圍。該處守敵有3個師，工事很堅固。全軍按照毛澤東的計劃，將主力撤退到新占區做群眾工作。9月上旬，敵以6個師的兵力重新侵占了樂安、宜黃、南豐。紅1、3、5軍團撤回東韶、洛口休整。
10月，中共中央政治局在寧都召開擴大會議。執行王明「左」傾錯誤的領導人，批評毛澤東反對打贛州是反對中央「爭取一省數省首先勝利」的總方針；說他三次反「圍剿」後，以主力打土圍子不是正規作戰；說他放棄打南城是重犯了分兵籌款的錯誤等等。10月12日，中央免去了毛澤東方面軍總政委職務，還在部隊中撤換了一些領導幹部。陳伯鈞也因執行毛澤東的戰略方針，10月間被免去紅15軍軍長，調到瑞金紅軍學校學習。
年輕的軍團參謀長
從1930年至1934年，陳伯鈞參加了中央蘇軍五次反「圍剿」戰鬥。1934年10月率部參加長征，12月任紅5軍團參謀長，那一年他24歲。長征中，他參與指揮部隊擔負中央紅軍的後衛任務。紅一、四方面軍會合後，調任紅四方面軍第9軍參謀長，同張國燾的分裂活動進行了鬥爭。1936年任紅4軍參謀長，同年7月調任紅二方面軍第6軍團(亦稱6軍)軍團長。
抗日戰爭爆發後，陳伯鈞任八路軍第120師359旅旅長，同年入中共中央黨校學習。1938年起任抗日軍政大學訓練部部長、抗大第2分校校長，組織幹部、學員進入河北陳莊、神南地區，在參與指揮反日偽軍「掃蕩」的同時，堅持辦學。1940年5月回延安，後任軍事學院副教育長、陝甘寧邊區保安司令部副司令員、第385旅副旅長、兼隴東軍分區副司令員、陝甘寧晉綏聯防軍副參謀長。1945年參加中共第七次全國代表大會。
抗日戰爭勝利後，陳伯鈞率幹部隊到冀熱遼軍區。1946年任北平軍事調處執行部熱河執行小組中共方面代表。後任東北軍政大學教育長、合江軍區司令員兼東北野戰軍上級幹部大隊大隊長、東北軍區第一前線指揮所副司令員、第四野戰軍12兵團第一副司令員兼45軍軍長，參加遼瀋、平津、衡寶、廣西戰役。
中華人民共和國成立後，陳伯鈞兼任湖南軍區第一副司令員。率部清剿湘西國民黨殘餘武裝和土匪。後參與組建軍事學院，先後任訓練部副部長、副教育長兼學術研究部部長、教育長、副院長、代理院長。1957年起任高等軍事學院副院長、院長。1955年被授予上將軍銜和一級八一勳章、一級獨立自由勳章、一級解放勳章。