Niedługo przed śmiercią spisał swoją ostatnia wolę: „Nie wiem czy nie zechcą mnie pochować na Wawelu. Niech! Niech tylko moje serce wtedy zamknięte schowają w Wilnie gdzie leżą moi żołnierze co w kwietniu 1919 roku mnie jako wodzowi Wilno jako prezent pod nogi rzucili. (…) A zaklinam wszystkich co mnie kochali sprowadzić zwłoki mojej matki z Sugint Wiłkomirskiego powiatu do Wilna i pochować matkę największego rycerza Polski nade mną. Niech dumne serce u stóp dumnej matki spoczywa. Matkę pochować z wojskowymi honorami ciało na lawecie i niech wszystkie armaty zagrzmią salwą pożegnalna i powitalna tak by szyby w Wilnie się trzęsły. Matka mnie do tej roli jaka mnie wypadła chowała.”

Ostatniego namaszczenia udzielił Marszałkowi ksiądz Władysław Korniłowicz z Lasek. Piłsudski odszedł w obecności żony i córek.

15 maja trumnę z ciałem Piłsudskiego przewieziono na lawecie zaprzężonej w sześć koni do katedry św. Jana. Ustawiono ją w nawie głównej świątyni. Tam marszałka żegnały tłumy.

Dzień później została odprawiona msza pontyfikalna, po której kondukt z trumną przemaszerował na Pole Mokotowskie, gdzie odbyła się defilada na cześć zmarłego. Generałowie przenieśli trumnę na platformę kolejową, a później przeciągnęli ją sznurami do lokomotywy. Podróż do Krakowa trwała całą noc. Pociąg zatrzymywał się na stacjach, gdzie czekały tłumy ludzi. 18 maja o godzinie 8:30 pociąg żałobny dotarł do Krakowa. Trumna została przewieziona na Rynek, a stamtąd na Wawel. Na Wawelu na przywitanie trumny zabił dzwon Zygmunta. Po mszy odprawionej przez arcybiskupa Adama Sapiehę generałowie złożyli ciało w krypcie św. Leonarda. (22 czerwca 1937 rok trumnę Marszałka przeniesiono do krypty pod Wieżą Srebrnych Dzwonów.) Działa ustawione na wawelskim wzgórzu oddały 101 strzałów armatnich. Szacuje się, że w pogrzebie Józefa Piłsudskiego uczestniczyło ok. 100 tys. ludzi. Rok po śmierci Piłsudskiego, zgodnie z jego wolą 12 maja 1936 roku, jego serce zostało złożone w grobie matki na cmentarzu Na Rossie w Wilnie.