Próby zorganizowania oddziałów zbrojnych
Po krótkim pobycie w Londynie Piłsudski powrócił do kraju i zastał struktury partyjne słabe, a kasę pustą. W krótkim
czasie rozpoczął zdecydowane działania, mające na celu naprawę sytuacji i zradykalizowanie działań organizacji. Od
1902 rozpoczęto wydawanie nowego czasopisma pod tytułem Walka.
Wyprawa do Japonii
W lutym 1904, pod wpływem rozwoju sytuacji na Dalekim Wschodzie, zaczął myśleć o zorganizowaniu konspiracyjnych
oddziałów bojowych.
W czasie wojny rosyjsko-japońskiej (1904 1905), pragnąc wyzyskać kłopoty carskiego reżimu, działacze PPS nawiązali
nieoficjalne kontakty z przedstawicielami innych ugrupowań niepodległościowych, także z Narodową Demokracją. W
rozmowach z Romanem Dmowskim pośredniczyli Zygmunt Balicki i Stanisław Grabski. Socjaliści postulowali
tworzenie legionów polskich w Japonii, złożonych z Polaków dezerterujących z armii rosyjskiej. Do pomysłu tego
działacze ruchu narodowego podchodzili bardzo sceptycznie. PPS próbowała nawiązać kontakty z poselstwami
japońskimi w Londynie i Paryżu, proponując dostarczanie im informacji wywiadowczych w zamian za poparcie sprawy
niepodległości Polski na przyszłej konferencji pokojowej. To się jednak nie udało i PPS postanowił wysłać do Tokio
Piłsudskiego oraz Tytusa Filipowicza.
Przez Londyn, Nowy Jork, San Francisco, Vancouver i Honolulu wysłannicy PPS dotarli do Tokio, stolicy cesarstwa
japońskiego. Odwiedzili tam m.in. Sztab Generalny, gdzie pod adresem rządu japońskiego wysunęli propozycje stałego
subwencjonowania PPS-owskiej organizacji bojowej, dostarczania broni, wysuwania kwestii polskiej na arenie
międzynarodowej i utworzenia legionu polskiego na terenie Japonii. Rząd japoński reprezentował gen. Atsushi Murata,
który od razu odrzucił koncepcję utworzenia polskich oddziałów zbrojnych. Stanowisko Polaków z punktu widzenia
Japończyków nie było jednolite, ponieważ w tym samym czasie w Tokio przebywał Roman Dmowski, który rysował im
obraz PPS-u jako grupy marginalnej, zajmując się jedynie sytuacją polskich jeńców z armii rosyjskiej przetrzymywanych
w japońskich obozach. Dmowski i Piłsudski spotkali się nawet, ale przebieg ich rozmowy jest nieznany. Następnie lider
endecji przedłożył japońskiemu MSZ memoriał, w którym odradzał zaangażowanie się w wojskową współpracę z
Polakami. Dmowski dążył do prowadzenia polityki "rozumnie ugodowej". Z tego powodu Japończycy odrzucili
propozycję umowy z PPS. Skończyło się na przekazaniu organizacji 20 tysięcy funtów.
Organizacja bojówek i oddziałów paramilitarnych [edytuj]
Po powrocie do kraju, na konferencji Centralnego Komitetu Robotniczego (CKR) w Krakowie, Piłsudski opowiedział się
za rozpoczęciem radykalnych akcji politycznych i bojowych. Postulował przygotowanie i wzniecenie powstania.
Skutkiem takiego działania była demonstracja 13 listopada 1904 na warszawskim Placu Grzybowskim, która przerodziła
się w zamieszki uliczne.
Po wybuchu rewolucji 1905 roku Piłsudski organizował bojówki PPS do walki z zaborcą. W końcu został przywódcą
nowej Organizacji Bojowej PPS, którą w dużym stopniu uniezależnił od wpływów kierownictwa partii, zdominowanego
przez starych działaczy, niechętnych radykalnym poglądom Piłsudskiego. W krótkim czasie liczba bojowców wzrosła do
2 tys. Dokonywali oni zamachów na carskich dygnitarzy, ataków na kasy powiatowe i pociągi przewożące pieniądze, co
powodowało, że przez dużą część społeczeństwa byli uważani za zwykłych bandytów. Wpływ na to miała też nastawiona
przeciwko PPS propaganda endecji.
PPS  Frakcja Rewolucyjna
W listopadzie 1906 doszło w Wiedniu do rozłamu w PPS. Piłsudski stanął na czele PPS  Frakcji Rewolucyjnej, do której
przeszła większość członków Organizacji Bojowej (OB). Wkrótce PPS-FR zaczęła borykać się z problemami
finansowymi, z których wyjściem były ekspropriacje.
Akcja pod Bezdanami.
26 września 1908 OB przeprowadziła udaną akcję pod Bezdanami, napadając na wagon pocztowy pociągu
przejeżdżającego przez oddaloną 25 km od Wilna stację. Bojowcy zdobyli ponad 200 tys. rubli. Pieniądze posłużyły do
spłaty długów organizacji oraz wsparcia uwięzionych i ich rodzin.
Mniej więcej w tym czasie Piłsudski, przeżywający od dłuższego czasu głęboki kryzys małżeński, poznał Aleksandrę
Szczerbińską. Z ich nieformalnego związku na świat przyszły dwie córki  Wanda urodzona w 1918 oraz Jadwiga, która
urodziła się w 1920. Nieformalny status związku trwał aż do 1921, kiedy to 17 sierpnia zmarła pierwsza małżonka
Piłsudskiego, co pozwoliło Piłsudskiemu 25 paz
dziernika 1921 ożenić się z Aleksandrą Szczerbińską.
Związek Walki Czynnej
W ostatnich dniach czerwca 1908 we Lwowie z inicjatywy Piłsudskiego powstał konspiracyjny Związek Walki Czynnej,
kierowany przez Kazimierza Sosnkowskiego. ZWC powiązany był z PPS Frakcją Rewolucyjną, ale starał się wychodzić
poza podziały partyjne  dołączały do niego inne, przeważnie niewielkie organizacje niepodległościowe, dlatego też w
jego szeregach znalazł się m.in. Władysław Sikorski. Regulamin ZWC pozbawiony był partyjnej retoryki  Związek miał
być w zamyśle Piłsudskiego zalążkiem póz
niejszej armii polskiej. W sierpniu 1909 Piłsudski ponownie wszedł w skład
wyłonionego na zjez
dzie w Wiedniu CKR, stając się osobą, której wpływ na poczynania partii był decydujący. Piłsudski
w tym czasie był głównym twórcą orientacji antyrosyjskiej, planującej przy pomocy Austro-Węgier doprowadzenie do
uzyskania przez Polskę niepodległości (postulaty swe zawarł w Zadaniach praktycznych rewolucji w zaborze rosyjskim z
1901), w przeciwieństwie do Narodowej Demokracji, chcącej najpierw zjednoczyć ziemie polskie wszystkich zaborów
pod berłem cara, a następnie dążyć do uniezależnienia się. Z czasem ZWC wiązał swą działalność z organizacjami
jawnymi takimi jak Związek Strzelecki we Lwowie, Towarzystwo "Strzelec" w Krakowie i Polskie Drużyny Strzeleckie.
W 1912 Józef Piłsudski został wybrany na Komendanta Głównego Związku Strzeleckiego i przyjął pseudonim
Mieczysław. Szefem jego sztabu został Kazimierz Sosnkowski