中国是世界上公认的火箭发源地。“火箭”的名称，最早出现在距今1700多年前三国时代（公元220-265年）的古籍上。当时的兵家曾在箭杆的前部绑上油松、艾草等易燃物，把它们点燃后，用弓、弩射出去进行火攻战。到了唐末宋初（公元10世纪），随着火药的发明，箭杆上的易燃物被换成了火药，具有了更大的燃烧威力，于是被迅速地用于军事活动。

据《宋史·兵志》记载，公元970年北宋的兵部令史冯继升便做成了带火药的箭。宋真宗咸平3年至5年（公元1000-1002年）士兵出身的神卫水军队长唐福和石普，也先后制成了火球、火蒺藜、火箭，献给朝廷，并为皇帝进行了表演。

这个时期的火箭，虽然有火药燃气喷射的反作用力成份，但它飞行的动力主要还是靠弓、弩发射的力量。

大约到了南宋孝宗年代（公元1163-1189年），民间出现了用火药制作的各种炮竹和花炮。有利用火药一次爆炸产生的反作用力升到空中，然后再引爆另一部分火药炸出响声的“二踢脚”；也有利用自身的喷气反作用力向前推进的烟火“地老鼠”；还有一种在头部绑着火药筒、尾部装上羽毛，点燃后用喷气推动飞行的“起火”。这些原始的娱乐型火箭是最早靠自身喷气推进的火箭的雏型。

元、明时代，火箭进一步发展，在军事上的应用更加广泛，其技术不仅样式增多，而且能多箭齐射。明代茅元仪编著的《武备志》，记载了近300种火箭的结构与作用。其中一种最简单的火箭就是一个带箭头、羽尾的杆上绑着一个火药筒，把火药筒尾端的药捻点燃，火药燃烧产生的推力使箭向前飞行。这种原始火箭虽然没有现代火箭那样复杂，但已经具备了现代火箭的基本组成部分。如战斗部（箭头）、推进系统（火药筒）、稳定系统（尾部羽毛）和箭体结构（箭杆）。