Ещё в детстве стихи Пушкина и Лермонтова, воспевавших Кавказ, произвели на него сильное впечатление. Эти строки пробудили в нём мечту о путешествиях к величественным горным хребтам. Андрей Пастухов родился в бедной семье работника конного завода при Деркульском государственном конезаводе Харьковской губернии. Любознательного мальчика ожидало немало испытаний на пути к мечте: упорная учёба, служба рядовым. Он окончил Деркульское коннозаводское училище и в 1878 году поступил рядовым в корпус военных топографов. Через год службы Пастухов уже имел звание унтер-офицера, а через три года получил первый классный чин, сдав специальный экзамен. Впервые на Кавказе он оказался в 1882 году. Поводом для этого стала командировка: годом ранее, в 1881-м, Пастухов был направлен служить в Военно-топографический отдел Кавказского военного округа (Тифлис). Именно с этой должности началась его долгая и плодотворная работа по изучению региона. Излюбленным местом отдыха для Пастухова стал Пятигорск. Здесь у него было много друзей, а с вершины Машука он любил наблюдать за живописной панорамой Кавказских гор.

В 1883 году Пастухову поручили картографирование Дагестана в районе вершины Шахдаг вверх по реке Самур. В последующие годы Пастухов провёл на Кавказе множество экспедиций, составил карты вершин Большого Кавказа (Эльбруса, Казбека, Арарата, Алагеза, Халаца, Ушбы), проводил научные наблюдения в области геодезии, гляциологии, биологии и этнографии. Он стал первым русским альпинистом, поднявшимся на обе вершины Эльбруса. С историей восхождения напрямую связано современное географическое название «Скалы Пастухова» - на этой скальной гряде, на высоте 4800 метров во время своего восхождения на Эльбрус ночевала группа Андрея Пастухова. С тех пор это название появилось на географических картах и в лексиконе новых восходителей. Конечно, и до Пастухова совершались восхождения на вершины Кавказских гор, но, как правило, это были альпинисты-иностранцы, хорошо снаряжённые и имевшие опытных проводников. Андрей Васильевич пользовался примитивным снаряжением (палка со штыком, бурка, полушубок, сапоги, валенки) и сам был одновременно проводником, альпинистом, топографом и носильщиком.

В 1897 году Пастухова избрали действительным членом Общества любителей естествознания, антропологии и этнографии и пригласили в Москву с докладом на любую тему. Пастухов выбрал Эльбрус – вершину, которую он покорил годом ранее. Выступление произвело настоящий фурор: слушатели были поражены рассказами о восхождении и научными наблюдениями исследователя. Президент общества, известный учёный, профессор Д. Н. Анучин впоследствии говорил: «У этого крестьянского сына та же закваска, что и у знаменитого холмогорского мужика Михайла Ломоносова…». Тогда же в журнале «Нива» был опубликован очерк, в котором отмечалась заслуга А. В. Пастухова в том, что он заложил основы современного альпинизма на Кавказе, разработал систему подготовки альпинистов при горовосхождении, подобрал рациональные продукты питания и снаряжения, впервые применил на ботинках подошвы со стальными шипами, так называемые «кошки». Сделанное им описание пути, собранные коллекции, чертежи и зарисовки до сих пор сохраняют свою научную ценность.

Талантливому картографу было отмерено совсем немного земного пути. Чрезмерные физические нагрузки подорвали здоровье Пастухова. Летом 1899 года он вынужден был прервать полевой сезон из-за болезни, а в сентябре того же года скончался в больнице Пятигорска. Согласно завещанию его похоронили на склоне горы Машук, недалеко от её вершины. А. В. Пастухову поставлен памятник в Баксанском ущелье Кабардино-Балкарии, его именем названа гора в Антарктиде. Имя исследователя  носят скалы на ледовом склоне Эльбруса на высоте 4610 м.