Tem alguns celulares focados em privacidade que já vem com outro OS instalado, mas geralmente são celulares muito mais simples e bem mais caros, a não ser que você compre de alguém de confiança que faça esse serviço e já entregue pronto. E tem limitações também... Não é todo app que roda em celulares com outro OS e sem playstore e o google play services. Então se for o caso de usar banco e alguns outros serviços similares, o mais adequado é manter um celular próprio para isso.