4 GB é bem complicado... Qualquer navegador hoje em dia usa 1-2GB. Você vai ter que buscar alternativas leves para todos os programas (Pale Moon e Midori como navegadores, por exemplo) e, de preferência, usar um script como este:
https://github.com/farag2/Sophia-Script-for-Windows para desativar algumas funções pesadas do próprio Windows, como o Onedrive e o Office Click to Run. Sempre priorize deixar apenas um ou no máximo dois programas abertos rodando. Desabilite e/ou feche tudo o que não for útil no momento usando o gerenciador de tarefas.
O que eu faria? Instalaria uma distro Linux bem leve, como Linux Mint Xfce Edition ou antiX, mas sei que nem todo mundo se sente confortável com isso. Você também pode arriscar usar o Tiny11, mas não há garantia de que vá ajudar:
https://archive.org/details/tiny-11_202302
A melhor solução, de fato, é adicionar pelo menos mais 4 GB de RAM e um SSD (cuidado, pois se for fazer isso, não é só comprar qualquer peça, é preciso pesquisar o que é compatível com sua máquina). Sim, é uma porcaria, mas não tem muito o que fazer.