沙勿略在日本只待了两年多时间，但这两年却奠定了早期耶稣会在日本的成功。他的传教策略，决定了天主教在东亚的早期命运，不但探索了欧亚之间文化交融的可能，也暴露了两者潜在的紧张关系。
沙勿略最初并不顺利。萨摩藩的大名岛津贵久本来准许他传教，但一年后又因佛教寺院的压力而禁止。他去京都谒见“国王”，根本也没有结果。这期间他开始了解日本的历史、政治及文化。他发现，在这样一个经济文化发达、社会控制相对严密的国度，他的欧洲和印度经验很难移植。比如，过去强调安贫守节，和下层民众打成一片，但在街头空谈教理，实难打动很多人（他在萨摩的一整年只有一百人改宗）。而本地精英（大名、武士及僧侣）对社会有巨大的影响力，又对天主教义和欧洲最新的自然科学知识有极大兴趣，一旦上层人士接受天主教，下层民众很容易效法。
因此，从京都回到南方后，沙勿略彻底放弃了以前的方法。他脱下寒酸的教士袍，拿出最精美的衣服，从头到脚包装一新。再次去山口拜见领主大内义隆时，他带上几十位同样衣着鲜亮的随从，称自己是特使，呈上印度总督及果阿主教的信件，并献上新奇贵重的礼品，言谈举止中也处处体现他的贵族身份和教养。大内义隆果然转变对沙勿略的印象，马上允许他在自己的领地传教。沙勿略后来在给耶稣会的信中描述：“在两个月内……我们在山口给约五百人施洗，而且人数每天都在增加。”
更为重要的是，沙勿略力求以日语进行日常交流和传教。他要用当地人熟悉的语言和概念，来让天主教和本土文化产生关联。他发现日本人聪敏好学，对事物的产生、运行规律有着极大的兴趣。他认为日本人是东方人中最为“理性”的。尽管让他们直接接受天主教一些基本概念（譬如神恩或地狱）并非易事，但他们对自然知识有着强烈的好奇心。沙勿略向他们介绍地圆说、世界地理、天体运行乃至打雷下雨等等。这些新鲜的知识，从未载于日本人熟悉的中国经典或印度佛经中，不但解答了许多疑问，也为沙勿略赢得了日本知识人士的尊重。沙勿略当然没有忘记借此宣扬天主教，说万物之最终规律皆因创世之主。他更向欧洲同事汇报：渊博的知识可在日本人心中播下基督教的种子，为传教打开一条通途。
沙勿略的策略迎合了16世纪日本精英对外部世界的关心。战国时代，旧有秩序崩坏，领主相互攻伐。而军事竞争最终比拼的是武器和财富。沙勿略此时来到日本，他所代表的不仅是一种新的精神引导，更是日本封建主们急切需要的与欧洲贸易的机会。几年前的“铁炮西来”已经让欧洲火枪的声名远播列岛，而在和中国官方的勘合贸易中断后，葡萄牙商船则带来丰厚的海外贸易利润。
丰后国的大名大友义镇（宗麟）就对沙勿略极为看重。他请沙勿略前往丰后，主要目的是想通过他结交葡萄牙国王，转达他送给葡国统治者的书信和厚礼。同时，他还请沙勿略带丰后国的使者前往印度，向印度的葡萄牙总督示好。作为交换，大友义镇许诺在他的领地内保护传教士和教徒。这对于沙勿略而言，当然是极好的消息。他在生前写给耶稣会的最后一封信中，兴奋地预测：
蒙耶稣基督垂青，我们在这些封国会大有收获，我对此抱有极大希望。像这样一个聪慧、温和、渴望教导、由正确的理性所指引，而又兼备其他优秀品质的民族，理应成为一片有望结出累累硕果的沃土，正如其从来所是。
沙勿略的预言很快就实现了。他离开日本时，已有八百日本人接受洗礼，成为基督徒（日语音译为“吉利支丹”，Kirishitan）。此后，耶稣会士源源不断进入日本。他们中不少人采取和沙勿略相同的方式，在扩大社会影响的同时，更注重上层路线，结交各地大名，利用耶稣会和葡萄牙之间的合作关系，向他们提供贸易和武器进口方面的便利。“吉利支丹”势力在与葡萄牙贸易频繁的南方迅速扩大。1563年，九州岛的大名大村纯忠受洗，成为第一位“吉利支丹大名”。1570年，他将辖下的一个叫长崎的地方奉献给教会，从此长崎开港，耶稣会士和其他欧洲人有了在日本的根据地，长崎也成为日本和欧洲贸易往来最重要的口岸。