Die Wurzeln des Judo reichen bis in die Nara-Zeit (710–784) zurück. In den beiden damaligen Chroniken Japans, dem Kojiki (712) und dem Nihonshoki (720), gibt es Beschreibungen von Ringkämpfen, die mythischen Ursprungs sind. Seit 717 fanden am Kaiserhof alljährlich Preisringen statt, an denen Ringer aus allen Provinzen teilnahmen. Dieses Ringen wurde Sechie-Zumo genannt. Die Bushi griffen dieses Sumo auf und entwickelten daraus das yoroikumiuchi (Ringen in voller Rüstung).
Mit dem Aufstieg der Kriegerklasse Ende des 12. Jahrhunderts erlebten die Kampfkünste einen starken Aufschwung. Das kulturelle Geschehen wurde immer mehr vom Geist der Bushi bestimmt. In dieser Zeit entwickelten sich die Ursprünge des legendären Ehrenkodexes, der später von Nitobe als Bushido beschrieben wurde.
Im Japan der Ashikaga-Epoche (1136–1568) entwickelten sich unterschiedliche waffenlose Nahkampfsysteme: Eine Variante war Kogusoku (kleine Rüstung). Diese Kampfart war nach den in dieser Zeit neu entwickelten leichteren Rüstungen benannt. In der Literatur und den historischen Dokumenten aus dieser Zeit finden sich weitere Nahkampfsysteme wie Tai-Jutsu (‚Körperkunst‘), Torite (‚Ergreifen der Hände‘), Koshi-no-Mawari (‚Hüfteindrehen‘), Hobaku (‚Ergreifen‘), Torinawajutsu (‚Kunst des Ergreifens und Verbindens‘).
In der Mitte des 16. Jahrhunderts führten die Portugiesen die Schusswaffen in Japan ein und die Kriegskünste – bugei mit Schwert, Pfeil und Bogen – verloren auf dem Schlachtfeld an Bedeutung. Ihre Traditionen wurden aber in der Edo-Zeit fortgeführt und im Sinne des Prinzips Bunbu (literarische Bildung und militärische Praxis) zur Pflicht gemacht.
Für das Prinzip des Nachgebens Ju in der Kampfkunst gibt es verschiedene Einflüsse, Erklärungen, Legenden und Anekdoten: Im Konjaku-Monogatari findet man zum ersten Mal den Begriff yawara (weich) im Zusammenhang mit einer Geschichte über das japanische Ringen. Stark waren sicherlich auch die chinesischen Einflüsse, denn seit der Ashikaga-Epoche wurde offiziell der Handel mit China aufgenommen und bis zum Ende des 16. Jahrhunderts immer weiter ausgedehnt.
Über die Entstehung des Jiu Jitsu existieren unterschiedliche Berichte, die einen legendenhaften Charakter haben. Ihr historischer Wahrheitsgehalt ist schwer nachzuweisen. Die poetisch schönste ist sicherlich die Legende des Arztes Akiyama Shirobei aus Hizen, der in China Medizin und die Kunst der Selbstverteidigung studierte haben soll. Wieder in Japan, zog er sich in einen Tempel namens Dazai-Tenjin zurück. Der Überlieferung nach war es Winter, und am 21. Tag im Tempel setzte starker Schneefall ein. Er betrachtete die Bäume; ihm fiel auf, dass viele Äste unter der Last des Schnees brachen, die des Weidenbaums aber wegen ihrer Elastizität nachgaben und den Schnee abgleiten ließen. Auf Grund dieses Vorgang soll der Arzt Shirobei das Prinzip des „Ju“ – Nachgebens – in der Kampfkunst eingeführt haben. In der ersten Hälfte der Edo-Epoche (17./18. Jahrhundert) entwickelten sich unzählige Jiu-Jitsu- oder artverwandte Schulen – jap. Ryu.
Mit dem Ende der Tokugawa-Zeit und der Öffnung Japans kam es auch zu starken Veränderungen in der japanischen Gesellschaft. Durch die Meiji-Reform kam es zu einer Fülle von staatlichen, wirtschaftlichen und kulturellen Reformen. Die japanischen Künste wurden stark zurückgedrängt, alles „Westliche“ hatte Vorrang. Doch schon zu Beginn der 1880er-Jahre gab es eine Rückbesinnung in Bezug auf die geistlichen und sittlichen Werte.
Kanō Jigorō (1860–1938) wuchs in diesem Japan der extremen Veränderungen auf. Er lernte Jiu Jitsu an verschiedenen Schulen wie der Tenshinshinyo-Ryu und der Kito-Ryu.
1882 gründete Kanō Jigorō seine eigene Schule, den Kodokan (‚Ort zum Studium des Weges‘) in der Nähe des Eisho-Tempels im Stadtteil Shitaya in Tokio. Er nannte seine Kunst Judo, da das Kanji (Schriftzeichen) Ju sowohl ‚sanft‘ als auch ‚Nachgeben‘ bedeuten kann und das Zeichen Do ebenfalls mit ‚Grundsatz‘ und nicht nur mit ‚Weg‘ übersetzt werden kann.
Sein System bestand neben Wurftechniken (Nage Waza) aus Bodentechniken (Ne Waza) sowie Schlag-, Tritt- und Stoßtechniken (Atemi Waza), die u. A. dem System der Kito-Ryu und der Tenshinshinyo-Ryu (traditionelle Jiu Jitsu Schulen, bei denen Kanō mittlerweile das Menkyo-Kaiden, die universelle Lehrerlaubnis bzw. Meisterwürde innehatte) entnommen wurden. Es war sogar eine kleine aber feine Sparte Waffentechnik (z. B. mit Schwert und Stöcken) im Curriculum vorhanden. Kanō selektierte aber auch viele Techniken aus, welche dem von ihm gefundenen obersten Prinzip „möglichst wirksamer Gebrauch von geistiger und körperlicher Energie“ widersprachen. Dass er dabei aber alle „bösen“ Techniken entfernt hätte, die geeignet sind, einen Menschen ernsthaft zu verletzen oder zu töten, ist ein weitverbreiteter Irrtum. (Spätestens beim Studium der Katas wie Kimeno-Kata oder der Kodokan Goshin-Jitsu tritt dieser Irrtum offen zutage.)
Im Laufe der Zeit (insb. ab 1947, nachdem das Kodokan nach 2-jähriger Zwangspause nach dem 2. Weltkrieg wiedereröffnet wurde) veränderte sich Judo immer mehr vom Nahkampfsystem zum Wettkampfsport. Schlag-, Tritt- und andere, den Gegner ernsthaft verletzende Techniken wurden als für den Wettkampf unnötig nicht mehr unterrichtet und gerieten dadurch z. T. in Vergessenheit. Die verbliebenen Techniken sind hauptsächlich Würfe (jap. Nage Waza), Falltechniken (jap. Ukemi Waza) und Bodentechniken (jap. Katame Waza). Entgegen der landläufigen Meinung gehören Schlag- und Tritttechniken nach wie vor immer noch zum Judo. Allerdings werden Schläge und Tritte, wie auch manch andere gefährlichere Techniken im heutigen Judo, wenn überhaupt erst in den höheren Graduierungen unterrichtet.
Judo setzte sich in Japan allerdings erst durch, als die Schüler Kanos (zuvor Jiu Jitsuka) im Jahre 1886 einen regulären Kampf zwischen der Kodokan-Schule und der traditionellen Jiu Jitsu-Schule Ryoi-Shinto Ryu für sich entscheiden konnten. Aufgrund dieses Erfolges verbreitete sich Judo in Japan rasch und wurde bald bei der Polizei und der Armee eingeführt. 1911 wurde Judo an allen Mittelschulen Pflichtfach. Es wird behauptet, Kano habe das Judo durchaus als ernstzunehmende Selbstverteidigungskunst inklusive Schlägen und Fußtritten konzipiert (ohne die ein Sieg über Ryoi-Shinto Ryu nicht möglich gewesen wäre).
Der berühmte japanische Regisseur Akira Kurosawa drehte seinen ersten Film Sanshiro Sugata 1943 über das Judo.