Duke nació en 1890 en Hawái. Estas islas en el océano Pacífico tenían su propia cultura. Entre ellas, el surf, conocido como he‘e nalu. De niño, Duke era un nadador y surfista nato. Pero no podía hacerse miembro de muchos clubs deportivos. ¿Por qué? Solo se les permitía a las personas blancas hacerse miembros y Duke era hawaiano.
Él no permitió que eso lo detuviera. En 1911, Duke batió el récord de los 100 metros en natación. Al principio, los jueces se negaron a reconocer su récord. Dijeron que el tiempo excepcional en que había terminado la carrera era demasiado bueno como para estar correcto.
Duke siguió compitiendo. Fue seleccionado por el equipo de natación olímpico de EE. UU. En las Olimpiadas de 1912, 1920 y 1924, Duke ganó un total de cinco medallas. Y, además, batió su propio récord.