Jytomyr est l’une des villes les plus anciennes de la Rous’ de Kiev. D’après la légende, elle aurait été fondée en 884 par le prince Jytomyr, chef d’une tribu de Slaves, issus des Drevlianes.

En 1240, la ville est saccagée par les Mongols de la Horde d’or, et ses habitants massacrés.

En 1320, Jytomyr est prise par les Lituaniens et incorporée au Grand duché de Lituanie. Elle reçoit des privilèges urbains (droit de Magdebourg) en 1444. Après l’union de la Pologneet de la Lituanie, en 1569 (Union de Lublin), elle fait partie du royaume de Pologne.

En 1667, après la trêve d’Androussovo, la ville est le chef-lieu de la voïvodie de Kiev, jusqu’à la deuxième partition de la Pologne, en 1793, qui l’intègre à l’Empire russe. Elle devient alors la ville principale du gouvernement de Volhynie.

En 1920, elle passe aux mains des bolcheviks et fait partie de la République socialiste soviétique d’Ukraine. Elle est occupée de 1941 à 1944 par l’Allemagne nazie.

Le Reichsführer-SS Heinrich Himmler en fait alors l’un de ses quartiers généraux et le chef-lieu du district de Jytomyr.

En août 1941, Paul Blobel, un officier supérieur de la SS, chef pendant la Seconde Guerre mondiale du commando spécial et du commando spécial 1005 des Einsatzgruppen, est responsable de nombreux massacres, en particulier à Babi Yar fin septembre 1941. Il décide de créer un ghetto à Jytomyr pour y enfermer 3 000 Juifs qui sont exécutés un mois plus tard et de nombreux Ukrainiens sont déportés.