Trường Vũ tên thật là Huỳnh Văn Ngoảnh, sinh năm 25 tháng 2 năm 1963 tại huyện Vĩnh Châu, tỉnh Bạc Liêu (nay là thị xã Vĩnh Châu, tỉnh Sóc Trăng). Anh là con thứ năm trong gia đình có sáu người con gốc Triều Châu đã sang lập nghiệp tại Việt Nam từ nhiều đời trước.

Năm 1983, anh vượt biên và ở trại tỵ nạn Pulao Bidong, Philippin hơn một năm, sau đó định cư tại Los Angeles. Trong thời gian ở Los Angeles được nghe những băng nhạc thu âm cũ từ quê nhà qua giọng ca Chế Linh và Duy Khánh đã ảnh hưởng nhiều tới sự nghiệp sau này của anh. Sau đó, Trường Vũ có ghi danh học trung học phổ thông nhưng đã bỏ ngang vì quá đam mê ca hát.