Pe baza descoperirilor arheologice, s-a postulat că activitatea ominidelor din Japonia poate să dateze încă din 200.000 î.Hr. când insulele erau conectate cu continentul asiatic. Deși unii cercetători se îndoiesc de această dată timpurie pentru locuire, cei mai mulți sunt de acord că în jur de 40.000 î.Hr. glaciația a reconectat insulele cu continentul.
Pe baza dovezilor arheologice, aceștia sunt de acord și că între 35.000 și 30.000 î.Hr. Homo sapiens migrase în insule din estul și sud-estul Asiei și avea modele bine stabilite de vânătoare, adunare și confecționare de unelte din piatră. Instrumente de piatră, situri de locuire și fosile umane din această perioadă au fost găsite în toate insulele Japoniei.
Modele de viață mai stabile au dat naștere la aproximativ 10.000 î.C. la neolitic sau, după cum susțin unii savanți, cultura mezolitică. Strămoșii îndepărtați ai poporului aborigen Ainu din Japonia modernă, membri ai culturii Jomon eterogene (cca 10.000-300 î.Hr.) au lăsat cea mai clară evidență arheologică. Până la 3.000 î.C., poporul Jomon făcea figuri de vată și vase decorate cu modele realizate prin impresionarea argilei ude cu cordon împletit sau neîntrecut și bastoane (Jomon înseamnă „tipare de cordon împletit”) cu o rafinare tot mai mare. Acești oameni foloseau de asemenea unelte de piatră cioplită, capcane și arcuri și erau vânători, culegători și pescari iscusiți de coastă și de adâncime. Ei au practicat o formă rudimentară de agricultură și au trăit în peșteri și mai târziu în grupuri de locuințe temporare cu adâncime sau case de la sol, lăsând medii de bucătărie bogate pentru studiul antropologic modern.
Până la sfârșitul perioadei Jomon, o schimbare dramatică a avut loc conform studiilor arheologice. Cultivarea incipientului a evoluat într-o agricultură sofisticată de orez-ardei și controlul guvernamental. Multe alte elemente ale culturii japoneze pot, de asemenea, să dateze din această perioadă și reflectă o migrație amestecată din continentul asiatic de nord și din zonele din sudul Pacificului. Printre aceste elemente se numără mitologia șintoistă, obiceiurile căsătoriei, stilurile arhitecturale și evoluțiile tehnologice, precum lacurile, textilele, prelucrarea metalelor și fabricarea sticlei.
Următoarea perioadă culturală, Yayoi (numită după secțiunea din Tokyo unde investigațiile arheologice i-au descoperit urmele) a înflorit între aproximativ 300 î.Hr. și A.D. 250 de la sudul Kyushu până la nordul Honshu. Primii dintre acești oameni, despre care se crede că au migrat din Coreea în nordul Kyushu și s-au amestecat cu Jomon, au folosit, de asemenea, unelte de piatră cioate. Deși olăria Yayoi era mai avansată din punct de vedere tehnologic, a fost decorată mai simplu decât obiectele lui Jomon.
Yayoi a confecționat clopotele, oglinzile și armele neofuncționale din bronz și, până în secolul I A.D., au instrumente și arme agricole de fier. Pe măsură ce populația a crescut și societatea a devenit mai complexă, au îmbrăcat țesături, au locuit în sate agricole permanente, au construit clădiri din lemn și piatră, au acumulat bogăție prin proprietatea terenurilor și depozitarea de cereale și au dezvoltat clase sociale distincte. Cultura lor de orez irigată era similară cu cea a Chinei centrale și de sud, necesitând aporturi grele de forță de muncă umană, ceea ce a dus la dezvoltarea și la creșterea eventuală a unei societăți agrare foarte sedentare.
Spre deosebire de China, care a trebuit să întreprindă lucrări publice masive și proiecte de control al apei, ceea ce a dus la un guvern extrem de centralizat, Japonia a avut apă abundentă. Atunci, în Japonia, evoluțiile politice și sociale locale au fost relativ mai importante decât activitățile autorității centrale și ale unei societăți stratificate.
Primele înregistrări scrise despre Japonia provin din surse chineze din această perioadă. Wa (pronunția japoneză a unui nume chinezesc timpuriu pentru Japonia) a fost menționată pentru prima dată în anul 57 d.C. Nihongi, care pune bazele Japoniei la 660 î.Hr..
Surse chineze din secolul al III-lea au raportat că oamenii Wa trăiau din legume crude, orez și pește servit pe tăvi de bambus și lemn, aveau relații vasal-maestru, colectau taxe, aveau granaje și piețe provinciale, își încleștau mâinile în închinare (ceva încă făcut în lăcașurile șintoare), au avut lupte succesive violente, au construit movile de pământ, și au observat doliu. Himiko, o femeie conducătoare a unei federații politice timpurii cunoscută sub numele de Yamatai, a înflorit în secolul al III-lea. În timp ce Himiko a domnit ca lider spiritual, fratele ei mai mic a desfășurat afaceri de stat, care au inclus relații diplomatice cu curtea dinastiei Wei Chineze (A.D. 220 - 65).