後來，曹操一統北方，將呼廚泉的兵眾分為五部，任命劉豹為左部帥，其餘部帥也都由劉姓擔任。
轉眼晉室代魏，太康年間改變舊制，設定都尉，匈奴各部中，左部居住在太原的茲氏，右部居住在祁地，南部居住在蒲子，北部居住在新興，中部居住在大陵，傳到了劉淵一代。
史書記載，劉淵自幼愛好學習，拜上黨人崔遊為師，學習《毛詩》、《京氏易》和《馬氏尚書》，他尤其喜愛《春秋左氏傳》、《孫吳兵法》這兩部書，大致都能誦讀，而《史記》、《漢書》及諸子的著作，沒有不閱讀的。
劉淵曾經對一起學習的同學朱紀、範隆說：“我每次看書傳的時候，往往禁不住要鄙棄隨何、陸賈的缺乏武功，周勃、灌嬰的缺少文才。道是由人來發揚光大的，一個方面的知識不瞭解，本來就是君子所看不起的。隨何、陸賈遇上漢高祖而不能夠建立起封侯的功業，周勃、灌嬰跟隨漢文帝而不能開創教化的大業，可惜啊！”
於是劉淵開始學習武學知識和技能，他聰明過人，姿態、儀表魁梧，身高八尺四寸，鬍鬚長三尺多， 學習武藝上手很快，臂長而善於射箭，體力超過一般人。
劉淵的父親左部帥劉豹去世後，西晉朝廷於是任命劉淵為代理左部帥，後來又任命他為北部都尉。
劉淵在任期間，嚴明刑法，禁止各種奸邪惡行，他不看重財物，愛好施捨，與他人相交，推誠相見，吸引了大批人才投奔到他的麾下，不僅僅是匈奴五部的豪傑，就連幽州、冀州知名的儒生，後學中傑出的人士，都不遠千里來此遊歷，由於招納了各色人才，劉淵名聲盡顯。
永熙元年，成都王司馬穎鎮守鄴城，為了發展自己的力量，捨棄羯人拉攏匈奴部，上表推薦劉淵擔任寧朔將軍、監五部軍事，兩人私底下還結拜為兄弟。
劉淵表現得感激涕零，暗地裡向司馬穎效忠，投入到司馬穎的懷抱裡，成為司馬穎手中一支秘密力量，後來成都王司馬穎調離鄴城，東海王調任幷州鎮守，此人雄心勃勃，一心想成就一番事業，於是拉攏各色力量。
劉淵手握匈奴五部勢力，自然是重點拉攏物件，劉淵也不含糊，馬上投入司馬越的懷抱。
司馬越興高采烈，以為收了一條忠心的獵犬，卻不知道這是一頭蹲伏的猛虎。
司馬遹兼併司馬倫的力量起兵後，司馬越也接到賈南風的秘密書信，邀請他南下，司馬越在謀士的慫恿下，覺得自己的機會到了，便帶著本部人馬並一部分匈奴精騎，南下洛陽，雖然輸了洛陽之戰，但還是裹挾當今皇帝司馬衷安全撤離。
劉淵鎮守幷州大後方，接到司馬越的求援後，意識到這是離開山區進入中原的大好時期，於是帶著本部人馬，晝夜馳援，趕上了這場大戰。
“羯狗兒，投降吧，我只要軍官的命，士卒全部貶為奴隸，這樣能讓很多人活命，給你們羯人留一點種子。”
劉淵看著被團團包圍的羯人殘部，得意洋洋。
“做夢，羯人寧可站著死，不願跪著活。”
石勒一聲長嘯，揮舞著長劍帶頭髮起衝鋒，劉淵揮手，遮天蔽日的箭雨灑向羯人騎兵……
幷州一戰，追擊東海王石勒羯族騎兵主力幾乎全軍覆沒，只有桃豹帶著幾十人拼死突圍，將石勒救出來，一行人護送著石勒逃回鄴城。
劉淵趁機擴張兵勢，控制了幷州各個隘口，進可攻退可守，然後出兵進攻鄴城。
此時的鄴城，雖然城深池厚，但是主力都被司馬遹帶走，根本無力防守，僅僅堅持了一天就被攻破，河北之地，盡入其手，劉淵由此成為北方最大的勢力。
石勒帶著臨時從留守的本族中徵集的數萬精銳北逃，遁入茫茫草原。
另一邊，東海王河間王雖然得救，但是在石勒的圍攻下也損失慘重，本來是想借劉淵的勢力重整旗鼓，卻沒想劉淵反客為主，將其手下將領，或收買或處決，慢慢地自己也被架空了。
洛陽城破之後，城內齊王的殘軍在慕容皝的帶領下也跟著撤出洛陽，穿州過鎮，輾轉回到齊國封地，擁戴司馬囧之子司馬超為新的齊王。