1^ère méthode :

Le passage de l'un des 5 hommes fait passer le nombre de noix du tas de x à f(x) = (x-1)*(4/5). On itère 5 fois cette fonction, et on passe donc de x à f⁽⁵⁾(x)= (1024*x-8404)/3125.
On doit donc résoudre en nombres entiers naturels l'équation : 1024*x - 3125*k = 8404
La résolution donne : x=3121 + 3125*q, avec q entier relatif.
La plus petite solution éventuelle en entiers naturels est donc 3121, et on constate qu'elle fonctionne, c'est-à-dire qu'à toutes les étapes, le nombre de noix restant est entier : 2496, 1996, 1596, 1276, 1020.
Mais, si un sixième homme passait, le nombre de noix ne serait plus entier.

Mais il y a une solution bien plus jolie : c'est un tas constant, négatif, de -4 noix ; je comprends qu'un tas de noix négatif soit difficile à concevoir dans notre univers, mais on peut se référer par exemple à un découvert bancaire... On enlève une noix, le tas passe à -5 noix, et on retire un cinquième, le tas revient à -4 noix. Et ainsi de suite, le tas reste constamment à -4 noix.

Ce raisonnement se généralise à n hommes :

Si l'on pose toujours f(x) = 4/5*(x-1), l'itérée n fois est f⁽ⁿ⁾(x)=(4^n *x -4*(5^n-4^n))/5^n (démonstration par récurrence).
La clef du problème est toujours la nécessité de nombres entiers : si l'on pose f⁽ⁿ⁾(x) = k, on est conduit à résoudre en nombres entiers l'équation :
4^n * x - 5^n * k = 4 * (5^n - 4^n)
A partir de la solution (x, k) = (-4 , -4) (puisque -4 est le point fixe de f) on trouve toutes les solutions :
x = q * 5^n - 4 avec q entier relatif, et la plus petite solution positive est 5^n - 4.
Dans le cas particulier de l'énoncé, avec n=5, on retrouve la solution 5^5 - 4 = 3121.

2^ème méthode :

Soit U(n) le nombre de noix de coco restant après le passage du (n-1)^ème icococlaste.
U(n+1) = (U(n) - 1) * 4 / 5
U(1) est le nombre de cocos initial.
Par récurrence + un peu d'huile de coude on a :
U(n) = (4/5)^(n-1) * U(1) - 4
soit
U(6) = (4/5)^5 * U(1) - 4
4 est premier avec 5 + on cherche des solutions entières + la plus petite solution =>
U(6) = 4^5 - 4 = 1020
U(5) = 1276
U(4) = 1596
U(3) = 1996
U(2) = 2496
U(1) = 3121
Il y avait donc 3121 noix de coco au début et il en reste 1020 à la fin.