“來了以後，把他們當作貴賓，讓他們時常跟著太子入朝，叫陛下見到他們，那麼陛下一定會感到驚異並詢問他們；一問他們，陛下知道這四個人賢能，那麼這對太子是一種幫助。”
於是呂釋之派人攜帶太子的書信，用謙恭的言辭和豐厚的禮品，迎請這四個人；四個人來到後，就定居在建成侯呂釋之的府邸作客。
高皇帝十一年（公元前196年），英布反叛，高皇帝身患重病，打算派太子劉盈率兵前往討伐叛軍。這四個人互相商議說：“我們之所以來，是為了要保全太子，太子如若率兵平叛，事情就危險了。”
於是勸告建成侯呂釋之說：“太子率兵出戰，如立了功，那麼權位也不會高過太子；如無功而返，那麼從這以後就是遭受禍患了。”
“再說，跟太子一起出徵的各位將領，都是曾經同皇上平定天下的猛將，如今讓太子統率這些人，這和讓羊指揮狼有什麼兩樣，他們決不肯為太子賣力，太子不能建功是必定的了。”
“我們聽說‘愛其母必抱其子’，現在戚夫人日夜侍奉陛下，趙王如意常被抱在陛下面前，陛下說‘終歸不能讓不成器的兒子居於我的愛子之上’，顯然，趙王如意取代太子的寶位是必定的了。”
“您何不趕緊請呂后打機會向皇上哭訴：‘黥布是天下的猛將，很會用兵，現今的各位將領都是陛下過去的同輩，您卻讓太子統率這些人，這和讓羊指揮狼沒有兩樣，沒有人肯為太子效力，而且如讓黥布聽說這個情況，就會大張旗鼓地向西進犯。”
“陛下雖然患病，還可以勉強地乘坐輜車，躺著統轄軍隊，眾將不敢不盡力。陛下雖然受些辛苦，為了妻兒還是要自己奮發圖強一下。’”
於是呂釋之立即在當夜覲見呂后，呂后找機會向高皇帝哭訴，說了四個人授意的那番話。高皇帝說：“我就知道這小子派不上用場，老子自己去吧。”
雖然高皇帝嘴上這麼說，但其實還是因為周呂侯去世，漢家沒有帥才可用，高皇帝忌憚於韓信往日謀逆的往事，不敢再信任外臣，所以希望太子能夠找出來幫幫自己。
最終，高皇帝還是親自帶兵東征，群臣留守，都送到灞上。
張良患病，自己勉強支撐起來，送到曲郵，謁見高皇帝說：“我本應跟從前往，但病勢沉重。楚國人馬迅猛敏捷，希望陛下不要跟楚國人鬥個高低。”
張良又趁機規勸高皇帝說：“讓太子做將軍，監守關中的軍隊吧。”
高皇帝說：“子房雖然患病，也要勉強在臥床養病時輔佐太子。”這時叔孫通做太傅，張良任少傅之職。
高皇帝十二年（公元前195年），高皇帝隨著擊敗英布的軍隊回來，病情更加嚴重，愈發想要更換太子。張良勸諫，劉邦不聽，張良就託病不再理事。
太傅叔孫通引證古今事例進行勸說，死命爭保太子；高皇帝假裝答應了他，但還是想更換太子。
等到安閒的時候，設定酒席，太子劉盈在旁侍侯，建成侯呂釋之先前請來的四人跟著太子，他們的年齡都已八十多歲，鬚眉潔白，衣冠非常壯美奇特。
高皇帝感到奇怪，問道：“他們是幹什麼的？
”四個人向前對答，各自說出姓名，叫東園公、甪里先生、綺裡季、夏黃公。
高皇帝於是大驚說：“我訪求各位好幾年了，各位都逃避我，現在你們為何自願跟隨我兒交遊呢？”
四人都說：“陛下輕慢士人，喜歡罵人，我們講求義理，不願受辱，所以惶恐地逃躲。我們私下聞知太子為人仁義孝順，謙恭有禮，喜愛士人，天下人沒有誰不伸長脖子想為太子拼死效力的。因此我們就來了。”
聽到四人的話，高皇帝若有所思地說：“煩勞諸位始終如一地好好調理、保護太子吧。”
四個人敬酒祝福完畢，小步快走離去。
高皇帝目送他們離去後，召喚戚夫人過來，指著那四個人給她看，說道：“我想更換太子，他們四個人輔佐他，太子的羽翼已經形成，難以更動了。呂后真是你的主人了。”
戚夫人哭了起來，高皇帝說：“你為我跳楚國的舞蹈，我為你唱楚國的歌。”
高皇帝唱道：“鴻鵠高高飛起，一躍翱翔千里。羽翼已經長成，橫跨超越四海。已然縱橫四海，還能奈他如何！雖有利箭長繩，又能何處施展！”
高皇帝唱了幾遍，戚夫人抽泣流淚，高皇帝起身離去，酒宴結束。
高皇帝最終沒更換太子，原因是張良（教呂釋之）招攬的這四個人效力太子，讓高皇帝認為，朝中的文武大臣都很擁護太子，太子仁義的名號也傳遍了天下。
而在高皇帝一朝，呂氏外戚的兩個男丁呂澤、呂釋之兩人，一個幫高皇帝平定了天下，另一個幫孝惠皇帝穩住了太子的位置，二人都是國家的棟樑。
但呂家很不幸的是，呂澤、呂釋之的兒子都沒有得到很好教養。
呂澤的兒子呂臺、呂產，都是後來謀劃叛逆之事的人，呂釋之的長子呂則得侯第二年，建成侯國就因罪被廢除，呂釋之得另一個兒子呂祿，也同樣是謀逆之人。
呂臺是呂產的長兄，在後來太祖高皇帝駕崩之後，呂產勸說長兄呂臺為呂家攬收權力，呂臺因為父親呂澤戰功赫赫而沒有顧忌，才導致了後來呂氏外戚子弟不恭，呂產、呂祿舉兵謀逆的事。
呂祿的父親是建成侯呂釋之，呂產、呂臺的父親是周呂侯呂澤；周呂侯、建成侯對漢室立下了汗馬功勞，他們的子孫卻憑仗著父輩的武勳，謀劃叛逆的事，實在是為公侯勳貴做出了壞的榜樣。
如果沒有呂祿、呂產等人得謀逆行為，呂氏外戚本來應該在我的筆下得到《世家》一篇，但發生了那樣的謀逆之事後，呂澤、呂釋之二人只能被我歸為列傳，其他的呂氏族人，則分散在其他幾個部分當中。
對於呂氏一族，呂產、呂祿二人的罪孽可謂罄竹難書，對於漢室，呂氏外戚得功過也算得上是譭譽參半，但終歸功大於過。