Aquellos que promovieron el nacimiento de AMIA eran parte de los judíos de origen asquenazí, una rama del judaísmo con sus propias tradiciones y un idioma, el yiddish.
Una de las primeras acciones que tuvo lugar fue la creación de un cementerio para enterrar a los judíos fallecidos según los preceptos religiosos que marcan la tradición de la Torá. De hecho, el primer nombre de la entidad era «Jevrá Kedushá», que en hebreo significa entierro u honroso entierro.
Paralelamente, los miembros de esta asociación promovieron todo tipo de actividades culturales y educativas con el objetivo de consolidar sus valores en la sociedad argentina. Del mismo modo, los miembros de AMIA promovieron programas sociales para ayudar a la comunidad judía más desfavorecida, especialmente a los inmigrantes de Europa del Este.
En el verano de 1994 se conmemoró el centenario de su fundación y el 18 de julio la sede de la AMIA. En este ataque, que fue causado por la explosión de un coche bomba que estaba estacionado a la entrada de la institución, murieron 85 personas, la mayoría judíos y otros empleados que estaban en el lugar trabajando o transeúntes que pasaban por uno de los más dinámicos áreas de la ciudad de Buenos Aires.
Durante años, la investigación judicial de lo sucedido quedó paralizada, pero en 2001 se reabrió el caso y finalmente la justicia argentina culpó al grupo terrorista libanés Hezbolá como máximo responsable del ataque y se consideró al gobierno iraní como el promotor de la acción terrorista. Sin embargo, desde entonces no ha habido un juicio final y el ataque a la sede de AMIA ha estado involucrado en todo tipo de controversias, debates y misterios (la muerte en 2015 del fiscal que iba a presentar nuevas pruebas, problemas con el extradición de algunos de los acusados, la acusación de imparcialidad al primer juez que tomó el caso y una largo lista de situaciones anómalas).