1953 哈爾濱工程大學的前身是1953年創建的中國人民解放軍軍事工程學院。陳賡大將任軍事工程學院首任政委兼院長。毛澤東主席為學院的成立頒發了訓詞。學院按軍兵種設立空軍工程系、炮兵工程系、海軍工程系、裝甲兵工程系、工程兵工程系五個系。1961年學院被確定為全國重點大學。學院的發展和建設始終得到中共中央、政務院、中央軍委的關懷和重視。黨、國家、軍隊領導人周恩來、朱德、鄧小平、董必武、彭德懷、劉伯承、賀龍、陳毅、葉劍英、彭真、譚震林、薄一波及各總部、軍兵種等50多位領導同志先后到學院視察和指導工作。1960年到1962年，學院進行了分建和改建。學院炮兵工程系遷往武昌，與武昌高級軍械技術學校合并，成立炮兵工程學院，不久又遷往南京(現為南京理工大學)；裝甲兵工程系遷往西安，成立裝甲兵工程學院。工程兵工程系遷往西安，后又遷往南京，現為解放軍理工大學工程兵工程系；原子化學防護系遷往長春，成立防化學兵工程學院(現為防化指揮工程學院)；空軍工程系的機場建筑和氣象兩個專業移交給空軍氣象學校；學校又陸續成立原子工程系、導彈工程系、電子工程系、計算機工程系。1966年4月，根據中央軍委決定，“中國人民解放軍軍事工程學院”改名為“哈爾濱工程學院”，退出部隊序列。
1970年，國務院、中央軍委決定，哈爾濱工程學院海軍工程系全建制及原軍工其他各機關系部的部分干部教師調整歸第六機械工業部（后為中國船舶工業總公司）領導,在“哈軍工”原址組建哈爾濱船舶工程學院。航空工程系遷往西安，并入西北工業大學飛機工程系，現發展為西北工業大學航空學院。電子工程系、導彈工程系、計算機工程系、基礎課部和院機關等部分遷往長沙，成立長沙工學院（現為國防科技大學）。1978年哈爾濱船舶工程學院被國家教委確定為全國重點院校。
1994年4月，經國家教委批準，哈爾濱船舶工程學院更名為哈爾濱工程大學。1996年，學校通過 “211工程”預審，成為國家“211工程”的首批建設學校。2002年，教育部批準試辦研究生院。2002年科技部教育部批準啟動建設“國家大學科技園”。2002年國防科工委、黑龍江省政府確定實施重點共建。2003年，學校研究生院正式掛牌。2007年，國防科工委、教育部、黑龍江省政府、海軍四方共建哈爾濱工程大學。2008年，學校劃歸工業和信息化部管理。2010年，學校躋身國家“優勢學科平臺”建設高校。2017年學校以鮮明的“三海一核”特色優勢進入國家“雙一流”建設行列。2019年，成為工業和信息化部、教育部、黑龍江省人民政府、哈爾濱市人民政府共建高校。
