Башня построена в 1493-1495 годах на северо-западной стороне кремлевской стены, сегодня протянувшейся вдоль Александровского сада. Расположена между Боровицкой и Комендантской башнями. В начале XVII века она имела проездные ворота к Конюшенному двору в Кремле. Отсюда ее древнее название.

В 1676-1686 годах башня была надстроена шатровым верхом и по сегодняшний день хорошо сохранила свои средневековые формы. Ее архитектурное решение близко к соседней Комендантской башне - массивный, квадратный в плане четверик, завершенный боевой площадкой с парапетом, над ним открытый четверик, увенчанный шатром со смотрительной вышкой. Внутри основного объема башни - два яруса сводчатых помещений, в нижний ведет вход со стороны Кремля.

Свое современное название башня получила в XIX веке по построенному на территории Кремля зданию Оружейной палаты.

Высота башни - 38,9 м.