Рождение Главного артиллерийского управления (далее - ГАУ) было связано со временем тяжелейших испытаний для Русской императорской армии, её артиллерии и Российской империи в целом, связанных с результатами и итогами Крымской войны (1853-1856 гг.). Жизнь и боевая практика в середине XIX века подсказывали необходимость создания единого центрального органа управления, который бы комплексно решал вопросы, связанные с производством вооружения и боеприпасов, снабжением ими войск, развитием артиллерийской науки, подготовкой научных и командных кадров. И таким центром стало ГАУ во главе с генерал-фельдцейхместером великим князем Михаилом Николаевичем Романовым, которое было создано путем слияния Штаба генерал-фельцейхмейстера с Артиллерийским департаментом Военного министерства.
По его представлению император Александр II 24 декабря 1862 года утвердил Положение о новом органе военного управления, а 28 декабря военный министр генерал-адъютант Д.А. Милютин своим приказом за № 375 объявил о создании ГАУ и его структуре. Время показало, что структура и функции нового учреждения определены были настолько удачно, что в течение многих десятилетий не требовались какие-либо коренные изменения, а некоторые идеи, формы и структуры не утратили своего практического значения и по сей день. О масштабах его деятельности можно судить уже по Положению о нем: «...По технической, ученой и учебной частям ГАУ обязано: 1) наблюдать за благоустройством оружейных и пороховых заводов, арсеналов, парков, лабораторий, ракетного и капсюльного заведений, за состоянием технических школ и за тем, чтобы предметы артиллерийского довольствия, выделяемые техническими заведениями, хранящиеся в складах и запасах, равно находящиеся в войсках и крепостях, соответствовали своему назначению; 2) снабжать заводы, арсеналы, парки и другие технические заведения знающими офицерами и искусными мастерами; 3) следить за всеми открытиями и усовершенствованиями по артиллерийской части и за введением их у нас после должного испытания...»
В состав ГАУ включено было и артиллерийское отделение Военно-учёного комитета, именовавшееся с этого времени Артиллерийским комитетом ГАУ. С созданием нового органа военного управления упростилось и стало более эффективным руководство родом войск, снабжение армии вооружением и боеприпасами. Улучшилась координация научных изысканий в области развития артиллерийского вооружения.
На правительственном уровне решались вопросы укрепления военного потенциала государства. Об этом свидетельствует тот факт, что к концу XIX - началу ХХ века ГАУ имело свои казённые военные артиллерийские и оружейные заводы: Луганский литейный, Петербургские орудийный и трубочный, Николаевское ракетное заведение, Казанский, Охтинский и Шосткинский пороховые заводы, Ижевские сталелитейный и оружейный, Петербургский и Луганский патронные и др. Функционировали арсеналы ГАУ: Брянский, Киевский, Петербургский, Варшавский и Туркестанский. Производство оружия и боеприпасов налаживалось также на предприятиях других ведомств и на частных заводах.
ГАУ вплоть до 1917 года, кроме великого князя Михаила Николаевича, возглавляли генералы А.А. Баранцов, Л.П. Софиано, А.А. Барсов, М.Е. Альтфатер, Д.Д. Кузьмин-Караваев, А.А. Маниковский и В.А. Лехович.