青铜器上，就有象兵的记载。不过后来北方气温持续下降，导致象群迁徙到了南方。第一次真正的大规模战斗，是宋神宗时期交趾国也就是安南国进犯两广，大将郭逵率领精锐的西军南下，以火箭阵大破交趾国的象兵部队。

    不过最有名的还是南明李定国在云南组建的象兵部队。不但将孔有德的部队冲的七零八落，顺利拿下桂林城，孔有德自杀。而且于衡州大败由尼堪率领的满清八旗精锐骑兵，主将尼堪被斩杀。其实尼堪当时要是想跑还是能跑的，他的副将多罗贝勒屯齐就跑了。但是当时满清八旗的主将全都是黄盔黄甲，尤其是头盔上面还顶着一个避雷针，谁看见都知道杀了他能立大功。所以他的脑袋就变成了献给李定国的军功。由此，李定国完成了”两蹶名王”，名扬天下，成为了民族英雄。