Les valeurs liées aux ressources naturelles ont été à l'origine des baisses après que les prix du pétrole brut ont atteint des sommets de 10 mois, tandis que les chargeurs et autres valeurs à dividendes élevés ont continué à surperformer.
Le Topix a glissé de 0,37% à 2.421,23, à 0151 GMT, en baisse depuis le sommet de vendredi à 2.438,02, un niveau vu pour la dernière fois au début de l'année 1990.
Le Nikkei a perdu 0,12% à 33202,55 mercredi. Il a atteint 33 634,31 vendredi pour la première fois depuis le 3 juillet.
Les traders sont presque certains que la Fed maintiendra ses taux d'intérêt à la fin de la réunion, ce qui met l'accent sur les prévisions de la banque centrale américaine. Les marchés à terme évaluent actuellement à 40 % les chances d'une nouvelle hausse d'un quart de point cette année, selon l'outil FedWatch du CME.
La Banque du Japon annoncera sa décision de politique monétaire vendredi, à l'issue d'une réunion de deux jours.
Alors que le Nikkei devrait évoluer dans une fourchette assez étroite avant la décision de la Fed, les investisseurs garderont un œil attentif sur les rendements américains, selon Kazuo Kamitani, stratège chez Nomura Securities.
Une hausse des rendements pourrait peser sur le Nikkei, même si la ligne des 33 000 devrait tenir, a-t-il déclaré.
En attendant, les investisseurs continueront à privilégier les actions à dividendes élevés, qui doivent être versés à la fin du mois, a ajouté M. Kamitani.
Le secteur du transport maritime a été le plus performant parmi les 33 groupes industriels de la Bourse de Tokyo, avec une hausse de 0,55%.
Les raffineurs ont chuté de 2,63% et les mineurs de 3,08%.
"Le pic des prix du pétrole brut est probablement proche", a déclaré M. Kamitani.
Parmi les actions individuelles, le fabricant de matériaux Teijin et le fabricant de médicaments Sumitomo Pharma, qui ont perdu chacun environ 3,4 %, se sont retrouvés en bas du classement Nikkei.
Sur les 225 composantes du Nikkei, 133 ont baissé contre 90 qui ont augmenté, deux n'ont pas bougé.
