Le Nikkei était en baisse de 0,68% à 36 268,15 à la clôture de la mi-journée, s'éloignant encore un peu plus d'un pic de 34 ans de 36 984,51 atteint mardi.
L'indice a baissé en raison de la poursuite des ventes depuis la séance de l'après-midi précédent, les opérateurs cherchant à verrouiller leurs gains après une hausse sans précédent depuis le début de l'année.
L'indice plus large Topix était en baisse de 0,51% à 2 529,09.
Les investisseurs ont également pris en compte la dernière communication de la banque centrale du Japon, qui a conclu sa réunion de politique monétaire de deux jours mardi.
Alors que la BOJ a laissé inchangée sa politique monétaire ultra-légère, les commentaires, y compris ceux indiquant que la probabilité que le Japon atteigne durablement l'objectif d'inflation de 2 % de la banque augmentait progressivement, ont été perçus comme "relativement hawkish", a déclaré Hiroshi Namioka, stratège en chef chez T&D Asset Management.
La conviction croissante que les conditions d'une suppression progressive de l'énorme programme de relance de la BOJ se mettent en place a suggéré que la fin des taux d'intérêt négatifs pourrait être en vue.
"Je pense que le marché boursier pensait que la réunion se déroulerait sans incident... le marché a donc pris ce contenu hawkish comme un élément négatif", a déclaré M. Namioka.
L'indice du secteur immobilier, qui a tendance à être sensible aux augmentations des taux d'intérêt, a chuté de 2,04 % et s'est retrouvé en queue de peloton des 33 sous-indices sectoriels de la Bourse de Tokyo.
La société immobilière Sumitomo Realty & Development Co a chuté de 3,40 %, tandis que Mitsui Fudosan a perdu 3,18 %.
Le secteur bancaire, en revanche, a été le plus performant lors de la séance du matin, gagnant 2,75 %, avec Mitsubishi UFJ Financial Group en hausse de 3,69 %.
Dans le même temps, les actions liées aux puces ont continué à être soutenues par les bonnes performances du secteur technologique à Wall Street, les valeurs lourdes du Nikkei, Tokyo Electron et Advantest, gagnant respectivement 0,67 % et 1,32 %.