憑藉父蔭任左親衛府大都督、東宮千牛備身。有一次，隋煬帝在儀衛中看見他，回宮後問宇文述說：“剛才在左邊警衛隊裡的黑臉小孩是個什麼人？”宇文述回答說：“他是已故蒲山公李寬的兒子，叫李密。”隋煬帝說：“這個小孩顧盼的神態很不尋常，別讓他在宮裡擔任宿衛。”後來，宇文述對李密說：“賢弟天資這麼好，應該憑才學獲得官職，宮廷警衛是個瑣碎差事，不是培養賢才的地方。”李密非常高興，於是借病辭職，專心致志讀書，人們很少看到他。他曾經準備去拜訪包愷，騎著一頭黃牛，牛背上蓋著一塊蒲草坐墊，還把一套《漢書》掛在牛角上，一隻手捏著牛繩，一隻手翻書閱讀。