Sugihara nació el 1 de enero de 1900 en Yaotsu, un área rural de la región de Chubu en Japón. Nació en una familia de clase media, su padre era un respetado médico y su madre era descendiente de la clase samurái. Se graduó en 1919 y su padre quería que también estudiara medicina, pero él, siguiendo su vocación entró a la Universidad de Waseda y sacó su título en Literatura Inglesa. Poco después aprobó un examen para una beca en el extranjero del Ministerio de Relaciones Exteriores. El Ministerio lo reclutó y lo asignó a Harbin, en China, donde también estudió los idiomas ruso y alemán, lo que le ayudó a apuntalar su carrera diplomática, convirtiéndose más adelante en Delegado del Japón para los asuntos Soviéticos.
