这个成语来源于《晋书.谢玄传》，坚众奔溃，余众弃甲宵遁，闻风声鹤唳，皆以为王师已至，草行露宿，重以饥冻，死者十七八。

公元383年，前秦皇帝苻坚组织90万大军，南下攻打东晋。东晋王朝派谢石为大将，谢玄为先锋，带领8万精兵迎战。

苻坚认为自己兵多将广，有足够的把握战胜晋军。他把兵力集结在寿阳（今安徽寿县）东的淝水边，等后续大军到齐，再向晋军发动进攻。

为了以少胜多，谢玄施 出计谋，派使者到秦营，向秦军的前锋建议道：“贵军在淝水边安营扎寨，显然是为了持久作战，而不是速战速决。如果贵军稍向后退，让我军渡过淝水决战，不是 更好吗？” 秦军内部讨论时，众将领都认为，坚守淝水，晋军不能过河。待后续大军抵达，即可彻底击溃晋军。因此不能接受晋军的建议。

但是，苻坚求胜心切，不同意众将领的意见，说：“我军只要稍稍后退，等晋军一半过河，一半还在渡河时，用精锐的骑兵冲杀上去，我军肯定能大获全胜！”

于是，秦军决定后退。 苻坚没有料到，秦军是临时拼凑起来的，指挥不统一，一接到后退的命令，以为前方打了败仗，慌忙向后溃逃。 谢玄见敌军渍退，指挥部下快速渡河杀敌。秦军在溃退途中，丢弃了兵器和盔甲，一片混乱，自相践踏而死的不计其数。那些侥幸逃脱晋军追击的士兵，一路上听到 呼呼的风声和鹤的鸣叫声，都以为晋军又追来了，于是不顾白天黑夜，拼命地奔逃。就这样，晋军取得了“淝水之战”的重大胜利。

西晋末年发生内乱，因为长期的动荡不安，最后西晋不幸灭亡。琅琊王司马睿就在建康建立了东晋。

当晋朝渡江来到南方，胡人就霸占了北方。不过，北方后来被前秦全部占领，与江南的东晋对立。当时前秦的首领叫苻坚，他请汉人王猛当他的宰相，一心要让国家变得十分强盛。为了完成统一中国的心愿，苻坚就带着八十万大军攻打南方。晋朝的君臣一听到消息都非常害怕，只有丞相谢安十分镇定，从容不迫地安排打仗的事情。就在淝水这个地方，谢安趁前秦军队还没集合好，迅速派兵渡河去偷袭前秦的军队。前秦因此输得很惨，士兵到处逃命，听到风声或鹤叫的声音，都以为晋军来了，非常害怕。在这场战役中，前秦的士兵伤亡惨重，同时决定了南北日后长期对峙的局面。