Los esclavos africanos lo introdujeron en Latinoamérica, donde se conoce como marimba. En los años 1500 este instrumento llegó a Europa, usándose como instrumento folclórico en la Europa Central, y fue en el siglo XIX que intérpretes polacos y rusos popularizaron el xilófono en la Europa Occidental. Este instrumento posee una gran relevancia en un número de piezas clásicas. Su primera aparición orquestal fue en la Danza macabra (1874) de Camille Saint-Saëns; éste compositor también lo empleó en «Fósiles» de Carnival of the Animals (1886), al igual que Ígor Stravinski en Petrushka (1911).
El xilófono requiere un gran virtuosismo por parte del percusionista; su técnica actual es muy compleja y precisa de un gran especialista. Su papel en la actual orquesta no es el de ofrecer un toque exótico a la obra, sino que es un timbre independiente y muy importante dentro del desarrollo orquestal. Los instrumentos como el xilófono, pero con láminas metálicas, se llaman metalófonos.
