早年經曆
伏龍芝的父親是摩爾多瓦人，母親是俄羅斯人，當初是響應沙俄政府開發邊疆的号召來到了吉爾吉斯斯坦。伏龍芝的父親是一名醫生，除了從事農務外還治病救人。年輕的伏龍芝曾立志成為一名生物學家，但随後決定投身于革命事業。
伏龍芝1904年在彼得堡工學院上學時參加俄國社會民主黨，逐漸地他成為一名出色的工人運動組織者，在說到他的志願時，1905年參加彼得堡10萬工人請願遊行受傷後給他媽媽的信中，就說得很清楚，他“已把自己的一切獻給革命”，革命的需要，就是他可選擇的一條不平坦的道路。在他生命中，有一件永遠使他無法忘懷的事，那就是他第一次和列甯交談。
軍事生涯
1906年4月，他作為伊萬諾沃—沃茲涅先斯克布爾什維克的代表，出席了俄國社會民主工黨第四次代表大會。在會議休息時間，列甯很有興趣地和他談起了關于軍事鬥争問題。列甯當時曾對他說，莫斯科起義說明革命需要自己的軍事家、布爾什維克要比沙皇軍官更好地懂得軍事。列甯的這次談話給了他極大的鼓舞，使他開始了對軍事的研究，并在革命鬥争中開始注意了對工農群衆的武裝訓練。1917年彼得格勒武裝起義爆發時，他正在舒雅縣任蘇維埃主席。當聽到武裝起義勝利的消息後，他就立即率領一支由2000多名工人和士兵組成的武裝隊伍趕到莫斯科支援。
伏龍芝在早期的武裝鬥争已經充分地表明他的軍事才能，這也就決定了他在蘇維埃政權遭到帝國主義武裝幹涉後，真正地走上軍事的崗位。1918年8月，他正式被任命雅羅斯拉夫爾軍區的軍事委員，同時12月，又被任命為第4集團軍司令員。1919年春，盤距在西伯利亞的沙俄海軍上将高爾察克以20萬兵力越過烏拉爾山向莫斯科推進時，他以東方面軍南集群司令員的身份組織起對高爾察克的反攻。1919年8月，他又改任土耳其斯坦方面軍司令員，肅清了當時的反革命武裝。
以後，他又轉戰于南方面軍，一次又一次地擊潰了協約國的武裝幹涉軍。其中最著名的一仗，就是克裡米亞戰役。弗蘭格爾部憑借彼列科普地峽的天然地形，請法國軍事專家修築了堅固的工事，吹噓這裡是第二個凡爾登，是不可攻破的。但是，戰鬥中，伏龍芝奇兵突起，強渡錫瓦什海峽成功，一切神話都破滅了。列甯對這次戰役評價很高，認為“這次勝利是紅軍史上最光輝的一頁”。為了表彰他的功績，蘇維埃政府授予他榮譽革命武裝—一把帶有“人民英雄”題詞的軍刀。
自此以後，伏龍芝曆任軍職。1924年3月被任命為蘇聯革命軍事委員會副主席，陸海軍副人民委員，并兼工農紅軍總參謀長，軍事學院院長（後該軍事學院以他名字命名，即伏龍芝軍事學院）。1925年1月，任蘇聯革命軍事委員會主席、陸軍、海軍人民委員。
因病去世
伏龍芝患有胃潰瘍，經過食療後在1925年秋天基本沒有複發過，但是醫生的兩次會診都認為他應該手術。他認為不用手術，但是斯大林堅持讓他去做手術，說這可以“一勞永逸”地擺脫胃潰瘍。手術開始後，醫生果然發現沒有必要手術，因為沒有發現任何潰瘍。但是由于伏龍芝的心髒承受不了因麻醉效果不好而增加一倍的氯仿的劑量（當時已有更好的藥乙醚但沒有給他使用），他在手術30個小時後死于心髒麻痹。
當時斯大林正進行反托洛茨基反對派的鬥争，而伏龍芝接替了托洛茨基的軍隊職務。伏龍芝死後，接替他被任命為陸海軍人民委員的是忠于斯大林的伏羅希洛夫。
