Ping não tem a ver apenas com a velocidade da sua conexão, mas com a rota que o seu computador faz através da internet para chegar até o servidor do jogo. Para efeito de comparação, veja sua internet de 30mbps como uma ferrari e a do seu amigo de 5mbps como um fusca. Ambos têm que chegar até a localização X onde está o servidor porém pode ser que o caminho do seu amigo seja menor, com menos curvas, uma estrada mais bem feita, enquanto o seu é uma estrada cheia de curvas e não asfaltada, em região montanhosa e mais distante.

Alguns provedores de internet ainda fazem parcerias com desenvolvedoras de jogos online para melhorar a rota do cliente para o servidor, por isso que muitas vezes uma internet menor de um provedor mais conhecido é melhor que uma maior de um provedor local.

Isso mesmo o Ping tem relação com o caminho que o pacote segue na internet, as grandes operadoras tem acesso direto ao Backbone da internet, reduzindo o caminho, já as pequenas operadoras contratam um intermediário como a Embratel e o pacote vai passar primeiro lá.

O tipo de conexão também influência, se a fibra ótica entrar na sua casa, o pacote vai direto para o Backbone sem passar por repetidores!
Eu tenho a NET/Virtua com ping de 9ms, a Net usa cabos coaxiais para entrar na residencia, então a fibra ótica pode estar próxima, mas o sinal terá que passar por um conversor.
Meu primo tem um modem de fibra ótica com ping de 3ms, a VIVO distribuía este modem para os primeiros clientes de plano de fibra ótica no Leblon-RJ.