运河是人工开凿的通航水道。唐以前称为沟、渠、漕渠、漕河、运渠，宋代始有运河之称，元明以来渐成通城。我国历史上为了弥补自然地理条件的不足，发展水上运输，早在春秋时期甚至更早的时候已经开挖运河。而隋朝是我国历史上运河的大发展时期。隋朝建立以前，我国各地区已经先后开凿了白沟、漕渠、阳渠、鸿沟、邗沟、江南运河、浙东运河等多条运河。这些运河因为自然环境的变迁，或多年失修，已经淤塞断航；有的虽然代有修浚，仍可通航，但又各自独立不成系统，所以很难担当全国性大范围的水上运输。
隋朝的建立，结束了长期的分裂局面。公元605年，隋朝第二位皇帝隋炀帝杨广为了适应统一国家政治、经济和军事上的需要， 4月14日(隋大业元年三月二十一日)，隋炀帝下令始凿运河。“命尚书右丞皇甫议发河南、淮北诸郡民，前后百余万，开通济渠”。通济渠起于洛阳城，西引榖(即涧水)、洛水入黄河;又从极清(今河南荥阳县把水镇东北周黄河水向东到洋州(今河南开封)，再顺汴水经商丘，折向东南，接通蕲水，经皖北至淮阴入淮水。第一段工程沟通了洛水、黄河和淮河。
同年，隋扬帝又征发淮南民十几万开邢沟。
608年2月，再次下“诏发河北诸军百余万穿永济渠，引沁水南达于河，北通深郡”。
611年元月，隋炀帝“敕穿江南河油京日至余杭，800余里”。这段工程的告竣，全长4000多里的大运河贯通，成为中国南北交通的大动脉。
至此，隋朝沟通的南北大运河是世界上修建时间最早，跨度最长的运河。