Esse processador realmente não consegue extrair todo o potencial dessa placa de vídeo, porém os resultados deveriam ser melhores do que isso (mesmo você não tendo especificado a qualidade que está colocando nesses jogos), todos os drivers estão corretamente instalados? Se sim, então eu recomendo ver esse vídeo que ensina a configurar um programa chamado MSI Afterburner que vai te ajudar a ver o que não está entregando a performance completa.

Quanto ao overclock, considerando que você tem uma boa refrigeração, uma placa mãe boa e uma fonte com boa potência também, então vale sim a pena tentar, é difícil de saber até quanto você consegue alcançar, porque isso varia de processador para processador, mas eu recomendo começar com 3.6~3.8GHz (alterando apenas o vcore por enquanto) e rodar um teste de estresse como o AIDA64 por uns 20 minutos com o HWMonitor de fundo para ver a temperatura, se ele não desligar, então volte na BIOS e tente aumentar mais 100MHz, repita esse processo até o computador se apresentar instável (sempre olhe se as temperaturas estão adequadas também), quando esse momento chegar, você pode optar entre voltar ao vcore anterior (o que estava dando certo) ou aumentar um pouco a tensão (não sei o máximo recomendado, mas isso você pode achar em reviews ou vídeos), quando estiver satisfeito com o resultado, então pode usar o computador à vontade, porém recomendo depois deixar o AIDA64 rodando com HWMonitor durante a noite, quando acordar de manhã, observe se está tudo certo e pronto. Recomendo ver vídeos para saber mais sobre o processo, se não estiver seguro.

PS: Recomendo realizar antes do overclock um teste no Cinebench e outro depois que tiver concluído tudo (inclusive o teste do AIDA64 durante a noite) pra comparar os resultados inicial e final.