Encontrei duas formas de resolve a questão:

a primeira mais simples testando as alternativas.

56 total

logo cada pessoa cumprimentará 56-1=55 pessoa

sendo assim

56*55= 3080, no entanto este número não está nas alternativas, pois ele contabiliza o aperto de mão de A com B e de B com A.

Portanto 3080/2 =1540

56 pessoas.

A outra maneira é mais metódica.

usaremos a fórmula da combinação.

n!/2!*(n-2)!=1540

abrindo a equação:

n*(n-1)*(n-2)! / 2*1*(n-2)! =1540

Cancelemos o (n-2)! do denominador com o do numerador.

n*(n-1)/ 2*1 =1540

n^2-n=3080

n^2-n-3080=0

equação do 2°

(-1)^2-4*1*(-3080)=delta

1+12320=delta

12321=delta

x= 1+ou- raiz de 12321/2*1

raiz de 12321=111

x=1+111/2

x=112/2

x=56

é só aplicar a fórmula de aplicar

n^2 - n= 2apm 2 x1540 = 3080

n^2 -n - 3080 = 0

n= 56