Hong Kong, 1962. M. et Mme Chow emménagent dans leur nouvel appartement le même jour que leurs voisins, M. et Mme Chan. Sans comprendre comment cela a commencé, Chow Mo-wan et Chan Li-zhen apprennent que leurs époux respectifs ont une liaison. Cette découverte les choque mais les rapproche. Ils se voient de plus en plus souvent mais le voisinage commence à s'en apercevoir. Il semble n'y avoir aucune possibilité pour eux de vivre une relation amoureuse. Mais la retenue, les réserves émotionnelles de Mme Chan hantent M. Chow, qui sent ses sentiments changer.

Chine, 1936. Ip Man, maître légendaire de Wing Chun (un des divers styles de Kung‐Fu) et futur mentor de Bruce Lee, mène une vie prospère à Foshan où il partage son temps entre sa famille et les arts‐martiaux. C’est à ce moment que le Grand maître Baosen, à la tête de l’Ordre des Arts Martiaux Chinois, cherche son successeur. Pour sa cérémonie d’adieux, il se rend à Foshan, avec sa fille Gong Er, elle‐même maître du style Ba Gua et la seule à connaître la figure mortelle des 64 mains. Lors de cette cérémonie, Ip Man affronte les grand maîtres du Sud et fait alors la connaissance de Gong Er en qui il trouve son égal. Très vite l’admiration laisse place au désir et dévoile une histoire d’amour impossible. Peu de temps après, le Grand maître Baosen est assassiné par l’un de ses disciples, puis, entre 1937 et 1945, l’occupation japonaise plonge le pays dans le chaos.

Hong Kong, 1966. Dans sa petite chambre d'hôtel, Chow Mo Wan, écrivain en mal d'inspiration, tente de finir un livre de science-fiction situé en 2046. A travers l'écriture, Chow se souvient des femmes qui ont traversé son existence solitaire. Passionnées, cérébrales ou romantiques, elles ont chacune laissé une trace indélébile dans sa mémoire et nourri son imaginaire. L'une d'entre elles revient constamment hanter son souvenir : Su Li Zhen, la seule qu'il ait sans doute aimée. Elle occupait une chambre voisine de la sienne - la 2046...