Le Nikkei a perdu 0,13 % pour clôturer à 38 179,46, après avoir glissé sous le niveau de 38 000 pour la première fois depuis le 2 mai plus tôt dans la session.
L'indice plus large Topix était en baisse de 0,15 % à 2 724,08.
"Les investisseurs ont donc été prudents dans leurs achats d'actions", a déclaré Shoichi Arisawa, directeur général du département de recherche d'investissement chez IwaiCosmo Securities.
Mitsui Fudosan a chuté de 5,39 %, les prévisions nettes annuelles du promoteur étant inférieures aux attentes du marché. Son homologue Mitsubishi Estate a chuté de 4,11 %.
Le secteur de l'immobilier a perdu 3,26 % et est devenu le plus mauvais élève des 33 sous-indices industriels de la Bourse de Tokyo.
Le fabricant d'équipements de fabrication de puces Tokyo Electron a chuté de 1,03%, devenant le plus grand frein au Nikkei.
Plus tôt dans la séance, la Banque du Japon a réduit le montant des obligations du gouvernement japonais qu'elle a proposé d'acheter dans le cadre d'une opération d'achat régulière, ce qui a entraîné une hausse des rendements des obligations du gouvernement japonais.
"Le mouvement a été considéré comme négatif pour le marché boursier, car il s'agit d'un pas de plus vers la normalisation de la politique de la BOJ, qui a augmenté les attentes pour une nouvelle hausse des taux", Takehiko Masuzawa, chef de négociation chez Phillip Securities à Tokyo.
Parmi les gagnants, Olympus a fait un bond de 9,65% après que le fabricant d'équipement médical ait déclaré que son bénéfice d'exploitation annuel allait quadrupler et annoncé un rachat d'actions.
Honda Motor a augmenté de 1,12 % après que le constructeur automobile ait déclaré qu'il rachèterait jusqu'à 3,7 % de ses propres actions pour une valeur de 300 milliards de yens (1,93 milliard de dollars).
KDDI a augmenté de 3,69 % après que l'entreprise de téléphonie mobile a annoncé une mesure similaire.
Sur les 225 valeurs composant le Nikkei, 87 ont progressé, 136 ont reculé et deux sont restées stables.
(1 $ = 155,7600 yens) (Reportage de Junko Fujita ; Rédaction de Rashmi Aich et Sohini Goswami)