In jungen Jahren lebte er auf dem Gehöft seiner Schwester in der Mandschurei. Ōyama begann mit dem Studium der Kampfkünste auf besagtem Gehöft das südchinesische Kung-Fu-System der 18 Hände, (auch referenziert unter dem Namen „Die 18 Hände des Wing Chun“) Mit 12 Jahren kehrte Ōyama nach Korea zurück und setzte dort sein Training in den traditionellen koreanischen Kampfkünsten Taekgyeon und Gwonbeop fort. Im Alter von 9 Jahren und lernte zunächst von einem Arbeiter mit Namen Li Soushi.
Korea war de facto seit dem Ersten Japanisch-Chinesischen Krieg und de jure seit 1910 eine Kolonie Japans. Die koreanische Sprache und Kultur wurde durch die japanischen Besatzer unterdrückt; das ganze Land sollte japanisiert werden. Daher wollte sich Ōyama nach Japan begeben, da er dort bessere Zukunftsaussichten für sich erwarten konnte als in seiner Heimat.
1938 reiste Ōyama im Alter von 15 Jahren tatsächlich nach Japan, in der Hoffnung, Kampfpilot bei der Kaiserlich Japanischen Heeresluftwaffe werden zu können. Diese Ambitionen konnte er aber nicht realisieren (siehe Shimpū Tokkōtai), insbesondere, weil er nicht mit der damals vorherrschenden Diskriminierung der koreanischen Minderheit im japanischen Mutterland gerechnet hatte. Er ging nach Tokyo, arbeitete dort als Angestellter in einem Restaurant und trainierte Judo, bis er eines Tages Schüler bei der Übung von Karate-Techniken beobachtete. Ōyama ging daraufhin in das Dojo von Funakoshi Gichin in der Takushoku-Universität Shōtōkan zu trainieren. Aufgrund seiner umfangreichen Vorbildung in verschiedenen Kampfkünsten machte er rasche Fortschritte und konnte bereits 1940 die Prüfung zum 1. Dan im Shōtōkan-Karate ablegen. Ōyama verließ das Dōjō von Funakoshi jedoch wenig später, weil er eine andere Vorstellung von Kampf hatte. Anlass dazu war der Übungskampf zwischen Funakoshis Sohn und So Nei Chu (1907–2001), einem Meisterschüler von Miyagi Chōjun, dem Begründer des Gōjū-Ryū-Karate-Stils. Bei So Nei Chu, der wie er selbst aus Korea stammte und ein eigenes Dōjō besaß, praktizierte er von diesem Zeitpunkt an Gōjū-Ryū-Karate.
1953 eröffnete er in Tōkyō sein eigenes Dōjō namens Ōyama Dōjō. Er reiste weiterhin in Japan und der Welt umher, um Kampfkunstvorführungen zu geben, in denen er Stiere mit bloßen Händen bekämpft und getötet haben soll. Sein Dōjō trainierte zuerst im Freien auf einer leeren Parzelle und zog später im Jahre 1956 in eine Ballettschule um. Seine Lehren entwickelten bald einen Ruf als harte, intensive und praxisorientierte Kampfschule, die in einer Zeremonie 1957 „Kyokushin“ getauft wurde. Jedoch sagte man ihm auch nach, sehr rau mit seinen Schülern umgegangen zu sein und diese auch häufiger während des Trainings verletzt zu haben. Mit wachsender Reputation des Dōjō wuchs auch die Zahl der Schüler, die aus dem japanischen In- und Ausland zum Training zu Ōyama kamen. Viele der späteren Oberhäupter der heutigen Organisationen, die aus dem Kyokushin hervorgegangen sind, begannen ihr Training in dieser Zeit. 1964 zog Ōyamas Dōjō in ein anderes Gebäude um, das von da an als Hombu Dōjō und Welthauptquartier seiner Schule diente. In diesem Zusammenhang gründete er auch die International Karate Organization Kyokushinkaikan (IKO oder IKOK abgekürzt), um die vielen Schulen, die zu diesem Zeitpunkt seinen Stil lehrten, zu organisieren.