Just \renewcommand{\tablename}{Tableau} in the document preamble suffices.
However, writing in French without using the support of babel is quite dubious; here is an example:
\documentclass{amsart}
\usepackage[utf8]{inputenc}
\renewcommand{\tablename}{Tableau}
\hyphenpenalty=-9000 % just to show the problems with hyphenation
\tolerance=5000 % ditto
\begin{document}
Paris, commune la plus peuplée et capitale de la France, chef-lieu de la région
Île-de-France et unique commune-département du pays, se situe au centre du Bassin
parisien, sur une boucle de la Seine, entre les confluents avec la Marne en amont et avec
l’Oise en aval. Ses habitants s’appellent les Parisiens. La ville est divisée en vingt
arrondissements.
D’après le recensement de l’Insee, la commune de Paris comptait au 1\textsuperscript{er}
janvier 2010 plus de 2,2 millions d'habitants. L'agglomération de Paris s’est largement
développée au cours du xx\textsuperscript{e} siècle, rassemblant 10,4 millions d'habitants
au 1\textsuperscript{er} janvier 2009, et son aire urbaine (l’agglomération et la couronne
périurbaine) comptait environ 12,2 millions d'habitants au 1\textsuperscript{er} janvier
2009. Elle est l'une des agglomérations européennes les plus peuplées.
La position de Paris, à un carrefour entre les itinéraires commerciaux terrestres et
fluviaux et au cœur d’une riche région agricole, en a fait une des principales villes de
France au cours du x\textsuperscript{e} siècle, avec des palais royaux, de riches abbayes
et une cathédrale ; au cours du xii\textsuperscript{e} siècle, Paris devient un des
premiers foyers en Europe pour l’enseignement et les arts. Le pouvoir royal se fixant dans
cette ville, son importance économique et politique ne cesse de croître. Ainsi, au début
du xiv\textsuperscript{e} siècle, Paris est la ville la plus importante de tout le monde
chrétien. Au xviie siècle, elle est la capitale de la première puissance politique
européenne, au xviii\textsuperscript{e} siècle le centre culturel de l’Europe et au
xix\textsuperscript{e} siècle la capitale des arts et des plaisirs. Paris a donc joué un
rôle politique et économique majeur dans l’histoire de l'Europe au cours du
II\textsuperscript{e} millénaire. Symbole de la culture française, abritant de nombreux
monuments, la ville attire dans les années 2000 près de trente millions de visiteurs par
an. Paris occupe également une place prépondérante dans le milieu de la mode et du luxe ;
c'est aussi la capitale la plus visitée au monde.
\begin{table}[htp]
\centering
\caption{Des mots}
\fbox{Un tableau}
\end{table}
Le département de Paris avait, en 2005, un PIB par habitant de plus de 75 000 euros. La
ville est, avec sa banlieue, la capitale économique et commerciale de la France, ainsi que
sa première place financière et boursière. La région parisienne, avec un produit intérieur
brut (PIB) de 558 milliards d'euros en 2008, est un acteur économique européen majeur.
Elle est la 1\textsuperscript{re} région européenne en termes de PIB régional et
6\textsuperscript{e} en termes de PIB par habitant PPA. La densité de son réseau
ferroviaire, autoroutier et sa structure aéroportuaire, plaque tournante du réseau aérien
français et européen, en font un point de convergence pour les transports internationaux.
Cette situation résulte d’une longue évolution, en particulier des conceptions
centralisatrices des monarchies et des républiques, qui donnent un rôle considérable à la
capitale dans le pays et tendent à y concentrer les institutions. Depuis les années 1960,
les politiques gouvernementales ont toutefois oscillé entre déconcentration et
décentralisation.
\end{document}
With babel you can solve many problems, but not the problem with \tablename because of some glitches in the implementation of babel and amsart. So one has to do some extra work, unfortunately.
The same text with the preamble changed to
\documentclass{amsart}
\usepackage[T1]{fontenc}
\usepackage[utf8]{inputenc}
\usepackage[french]{babel}
\addto\captionsfrench{\renewcommand{\tablename}{{\scshape Tableau}}}
\hyphenpenalty=-9000 % just to show the problems with hyphenation
\tolerance=5000 % ditto
\begin{document}
will print like this
Notice the differences in hyphenation (but they're not the only differences). In both cases the caption is labeled "Tableau".
(Text from http://fr.wikipedia.org/wiki/Paris)
\documentclass{...}and ending with\end{document}.babel? How do you manage hyphenation rules?amsart.\tablename(and similar names) are defined there to permit straightforward language changes within the scope of the class, since most of the available caption packages make other changes that are not consistent or compatible with the desired ams style. ams classes are designed to conform to ams publication specs, and if the style is changed by an author for a document submitted to the ams for publication, then there is extra work at ams changing it back to the canonical style.