江戸時代、白人や黒人ってどれぐらい居たの？

白人はポルトガル、スペイン、オランダ辺り
黒人は宣教師から連れてこられたのが殆どだと思うけど
そのまま住み着いたってことはなかったの？