Родился в д. Висяга Алатырского уезда Симбирской губернии (ныне д. Крылово Порецкого района Чувашской Республики).
В 1872 г. его семья переехала на юг Франции, в г. Марсель. В частном пансионе освоил курс математики и французский язык. По возвращении в Россию он с родителями некоторое время жил в г. Севастополь, г. Рига. В 1878 г. поступил в Петербургское морское училище. В 1888 г. – на кораблестроительное отделение Морской академии в г. Петербург. В 1891 г. начал преподавательскую деятельность в Морской академии, которая продолжалась более 50 лет. Впервые в мире внедрил в лекции принцип приближенного вычисления с той точностью, которая необходима для практики. На основе этих лекций позже создал фундаментальный труд «Приближенные вычисления». В 1908 г. ему было поручено возглавить кораблестроение всей России. Назначен главным инспектором кораблестроения и исполняющим обязанности председателя Морского технического комитета Морского министерства, руководил проектированием и постройкой мощных боеспособных линкоров типа «Севастополь», эсминцев типа «Новик», долгое время остававшихся лучшими кораблями своего класса в мире.
В 1916 г. избран действительным членом Академии наук по кафедре математической физики. В том же году стал директором Главной физической обсерватории и Главного военно-метеорологического управления. В 1919 г. назначен начальником Морской академии. В 1921 г. в составе группы видных ученых выехал по заданию советского правительства за границу для возобновления научной связи, приобретения научной литературы и приборов для Академии наук и для выполнения ряда других задач в интересах страны. С 1928 г. являлся директором Физико-математического института Академии наук СССР, директором Института физики Академии наук СССР. В последующие годы он принимал активное участие в создании новых кораблей, гироскопических приборов, в строительстве мостов, доков. Внес большой вклад в укрепление Военно-морского флота СССР. Автор трудов, посвященных теории корабля, теории магнитных и гироскопичных компасов, артиллерии, механике, математике. Главный его труд «Теория корабля» принес ему мировую известность. Он разработал теорию килевой качки, теорию вибрации, таблицы непотопляемости судов, создал ряд корабельных и артиллерийских приборов. Построил первую в России машину интегрирования дифференциальных уравнений, предложил метод решения, так называемого векового уравнения. Создал труды, посвященные разработке наследия классиков науки – И. Ньютона, Л. Эйлера, К. Гаусса и др., написал очерки о жизни и деятельности Ж. Лагранжа, П.Л. Чебышева и др.
Награжден орденом Ленина (трижды). Заслуженный деятель науки и техники. Удостоен Сталинской премии 1-ой степени. За выдающиеся достижения в области математических наук, теории и практики отечественного кораблестроения и большие заслуги в подготовке высококвалифицированнх специалистов для Военно-Морского Флота в 1943 г. был удостоен звания Героя Социалистического Труда.
В 1958 г. Академия наук СССР в память о А.Н. Крылове завершила издание «Сборник трудов» академика в 12 томах. В 1960 году в г. Москва установлен его бюст. Его именем названы кратер на Луне, мыс на берегу Харитона Лаптева в Карском море, полуостров в Антарктиде, учреждения и корабли, улицы в городах Санкт-Петербург, Севастополь, Алатырь, Чебоксары. Его именем названы улицы в 12 населенных пунктах Порецкого района. Премия имени академика А.Н. Крылова Российской академии наук присуждается «за выдающиеся работы по использованию вычислительной техники в решении задач механики и математической физики». Премия имени А.Н. Крылова Правительства Санкт-Петербурга присуждается за выдающиеся научные результаты в области технических наук. В 1963 г. в честь 100-летия со дня рождения ученого д. Висяга переименована в д. Крылово. В 1984 г. там открыт музей.