��ࡱ�>�� �����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������T/�(���� ��/� 0��0�DArial�0�0 RomanP�P�pv�ؖ�F0ؖ�"�DTimes New RomanP�P�pv�ؖ�F0ؖ� �D�[SOes New RomanP�P�pv�ؖ�F0ؖ��0�D-�3� 0��0�0�0�0 RomanP�P�pv�ؖ�F0ؖ��"� �A��� .�  @�n��?" d�d@���������  @@``�� H�@��l�  @� � �0���A���A�@��������.� ʚ;���ʚ;�g��45d5d$����F03�������p�pp�@ <�4dddd�@0P�Lv�� �����___PPT10�����D�[SOes New RomanP�P�t��F0t����DTimes New RomanP�P�t��F0t�� p�p�?� � %��)���IChinese Word Segmentation Adaptation for Statistical Machine Translation �ZJc(c(.c(b(  (�,  / ��SHailong Cao, Masao Utiyama and Eiichiro Sumita Language Translation Group NICT&ATR�8T8a aa��         %  ��� Introduction� ��QChinese word segmentation (CWS) is a necessary step in Chinese-English statistical machine translation (SMT) Performance of CWS has an impact on the results of SMT. The common solution in Chinese-to-English translation has been to segment the Chinese text using an off-the-shelf CWS tool which is trained on manually segmented corpus. �\Rnbb bb�b�Q ���2Main problems of using an off-the-shelf CWS tool �(3b("b(� 3 ��TWord granularity in the existing corpus is not necessarily suitable for SMT. none of the existing corpora is specially developed for SMT When the CWS tool is used in a special domain which is different from its training corpus, the disambiguation ability of the CWS tool will drop and the performance of the SMT system will be influenced.��NZ=Z�Z`L`= ` ``��H L A  �� ��Clues to solve the problems� `� ��2When we use a CWS tool to segment the Chinese side of Chinese-English parallel corpus which is used to train the SMT model, the English side is often be neglected. Actually, there are many clues in the English side which can be used to determine an appropriate word granularity and resolve CWS ambiguity. �L3Z|`(``�` �,�  � ��� Our solution: Adaptation �J` `  ` ` �,    ��We use two state-of-the-art CWS tools to preprocess the Chinese texts for our SMT system. ICTCLAS (ICT, China) hybrid model (NICT,ATR) Resolve CWS ambiguity by the information acquired by performing Chinese character to English word alignment by GIZA++ toolkits�ZZ.ZZ` `7`` ` ``````k```�<  ? � ���Adaptation algorithm for CWS �8```� ���For each sentence C in the Chinese side in the parallel corpus { W1 = segment C with ICTCLAS; W2 = segment C with the hybrid model; If ( W1 = = W2 ) add W1 into the training set of the hybrid model; Else { A = character to word alignment of C and its English translation; W3= resolve (W1 ,W2 ,A); add W3 into the training set of the hybrid model; } } Retrain the hybrid model with the augmented data;�n�P=����� An example �, ` `�  ���There are two possible ways to segment the character sequence  l� Neg in the Chinese sentence:  g�N�S$O�N��l� Neg (there has been a injury please come right away):  l� N(right away) + eg(come)  l�(horse) + Neg(come up) . All these four words are frequently used in Chinese text and it is very difficult for any CWS tool to make right decision without enough training data. ���Z8Z�Z?b"bb2bbbb b bb� ��?    3            � � ��An example (Cont.)�@` `` ` �  ��.The alignment result of the above sentence pair: g-1 �N-2 �S-3 $O-4 �N-5 ��-6 l�-7 N-8 eg-9 NULL ({ }) there ({ 1 }) has ({ }) been ({ }) a ({ }) injury ({ 2 3 4 5 }) please ({ 6 }) come ({ 9 }) right ({ }) away ({ 7 8 }) It is clear that  l�-7  and  N-8  are aligned to the same English word  away , while  eg is aligned to the word  come . So we choose  l� N(right away) eg(come) as the right segmentation result.��1��b/bbbxbb  lb b9b�� /                  �        4  $       ) � �� Experiments � `�  ���To evaluate the effect of our CWS adaptation algorithm, we apply it to the Chinese to English translation task of the IWSLT 2008. For comparison, we use three CWS tools. ICTCLAS hybrid model Re-trained hybrid model���-�``(` ` `` ` ` ` $$�t�  (          ���Experimental setting � ��Our SMT system is based on a fairly typical phrase-based model (Finch and Sumita, 2008). We use a 5-gram language model trained with modified Knesser-Ney smoothing. Minimum error rate training (MERT) with respect to BLEU score is used to tune the decoder s parameters �HJ  ?  y � �� ��� Related work� `�  ��|Xu et al. (2005) integrate the segmentation process with the search for the best translation. Xu et al. (2006) propose an integration algorithm of English-Chinese word segmentation and alignment. Ma et al. (2007) introduce a method to pack words for word alignment. Chang et al. (2008) propose an algorithm to directly optimize segmentation granularity for translation quality.�B}Z `��< ]  � p� �� Conclusion� `�  ���A very simple and effective adaptation algorithm is proposed. Experimental results show that the our method can lead to better performance than two state-of-the-art CWS tools. �P�`` `# `F �(> #  F�  �� Future work �, ` `�  ���Now only two segmentation candidates are considered for each sentence In the future, we should extend our method to deal with n-best segmentation to get larger room for improvements. Now we simply combined all the Sighan corpora which adopt various specifications. So there should be inconsistent word granularity. We plan to acquire a uniform specification by making use of alignment information. �~�bb�b b b�b�X �  U  { � ���:Any comment is welcome! "�"�� �P0b0b0  0�*  ��� � 0`� ���������33�����`� ��������S��f�3�f`� ������������33��g�`� ������������f��`� ���www���3���PP��`� �����ZX���dbmo����`� ����\�ғ�3�y`���Ӣ`� ����3f���3f��f����`� ���3f����3�F�Kf����`� hk]���www�����������f�ܹ`� ff����>>\���`Y{ff�������`� R>&���- ����{p�_/̴����>��?" d�d@���������,�|��?" d�d�@��������� � � �" �@� �`��� �n��?" d�d@���������   @@``��P�R    @ ` �`� p�>��> �����f�( � ��� � � �6�@Ә������ �� `}�� � �T�� Click to edit Master title style�!� !� � � �0�,֘����� �� `�� � ���RClick to edit Master text styles Second level Third level Fourth level Fifth level�!    � S� � � �0��ܘ����� �^ `��� � �>��*��� � � �0�$������ �^�����  � �@��*��� � � �0�������� �^ `��� � �@��*���H � � �0�������޽h�� ?� ���������33������8�0�___PPT10��.�5��x�� �Default Design�}��0 ��� ��$�( � ��r � S ��S ������E�� S  � ��r � S ����M ��� ��;�� S  � ��H � � �0�������޽h�� ?� ���������33����������___PPT10�i�.�5��鰀+D�='� �����=� @B� +�}� �0 ���0� �$�( � � �r � S ��(p����Z� *��  � � ��r � S ���r����F `i�� � � ��H � � �0�������޽h�� ?� ���������33����������___PPT10�i�.�5�0u�+D�='� �����=� @B� +�}� �0 ���@��$�( � ��r � S �� oS ���� `}��  S  � ��r � S ���`S ����'g�� S  � ��H � � �0�������޽h�� ?� ���������33����������___PPT10�i�.�5� U��+D�='� �����=� @B� +�}� �0 �����d�$�( � �d�r �d S ��8S ���� `}��  S  � ��r �d S ���JS ���� `�� S  � ��H �d � �0�������޽h�� ?� ���������33����������___PPT10�i�.�9�m�+D�='� �����=� @B� +�}� �0 ���P��$�( � ��r � S ����S ���� `}��  S  � ��r � S ����S ���� `�� S  � ��H � � �0�������޽h�� ?� ���������33����������___PPT10�i�.�5���J�+D�='� �����=� @B� +��� �0 ��`��:�( � ��r � S ��(�S ���� `}��  S  � ��� � S ����S ���� Y�� S  �"����p`Pp�H � � �0�������޽h�� ?� ���������33����������___PPT10�i�.�5�p+D�='� �����=� @B� +�}� �0 ���p��$�( � ��r � S ��l�S ���� `}��  S  � ��r � S ��D�S ���� `�� S  � ��H � � �0�������޽h�� ?� ���������33����������___PPT10�i�.�5�Po��+D�='� �����=� @B� +�}� �0 ����� �$�( � � �r � S ����S ���� `}��  S  � ��r � S ��T�S ���� `�� S  � ��H � � �0�������޽h�� ?� ���������33����������___PPT10�i�.�5�`_�+D�='� �����=� @B� +�}� �0 �����<�$�( � �<�r �< S ���m ���� `}��  m  � ��r �< S ��`m ���� `�� m  � ��H �< � �0�������޽h�� ?� ���������33����������___PPT10�i�.�9�0��R+D�='� �����=� @B� +�}� �0 �����h�$�( � �h�r �h S ���.� ���� `}��  �  � ��r �h S ��,5� ���� `�� �  � ��H �h � �0�������޽h�� ?� ���������33����������___PPT10�i�.�N�`ߎ�+D�='� �����=� @B� +�Vu� �0 mt�et�s?C��s�( � �@�$�� �� � �:A# � #"�"���a����Tw@�� m �L ��@ � �B�L"m �������?��d� ��~�v�0�___PPT10���6�___PPT9�� �L��0.3813�*(# "�F ��@ � �<�T+m ������?�;d���~�v�0�___PPT10���6�___PPT9�� �L��0.5074�*(# "�F ��@ � �<�<�S ������?�Pd;��~�v�0�___PPT10���6�___PPT9�� �L��0.5826�*(# "�F ��@ � �<�x�M ������?�jdP��~�v�0�___PPT10���6�___PPT9�� �L��5.3608�*(# "�F ��@ � �<��/m ������?�dj��~�v�0�___PPT10���6�___PPT9�� �L��0.2551�*(# "�G ��@ � �<��1m ������?�d��~�v�0�___PPT10���6�___PPT9�� �M��Devset6�*(# "�L ��@ � �B�,'m �������?���� d�~�v�0�___PPT10���6�___PPT9�� �L��0.3124�*(# "�F ��@ � �<�t;m ������?�;��d�~�v�0�___PPT10���6�___PPT9�� �L��0.4430�*(# "�F ��@ � �<�lIm ������?�P�;d�~�v�0�___PPT10���6�___PPT9�� �L��0.7123�*(# "�F ��@ � �<�$?m ������?�j�Pd�~�v�0�___PPT10���6�___PPT9�� �L��5.2429�*(# "�F ��@ � �<��Dm ������?��jd�~�v�0�___PPT10���6�___PPT9�� �L��0.1818�*(# "�G ��@ � �<�Cm ������?��d�~�v�0�___PPT10���6�___PPT9�� �M��Devset5�*(# "�L ��@ � �B��Qm �������?��F� ��~�v�0�___PPT10���6�___PPT9�� �L��0.5893�*(# "�F ��@ � �<����� @`��ZB ��@ s �*���1�� ?��� �ZB ��@ s �*���1�� ?���� ��ZB ��@ s �*���1�� ?����ZB ��@ s �*���1�� ?��� � ��ZB ��@ s �*���1�� ?��F� F�ZB ��@ s �*���1�� ?����ZB ��@ s �*���1�� ?��jj��ZB ��@ s �*���1�� ?��PP��ZB ��@ s �*���1�� ?��;;��ZB ��@ s �*���1�� ?������ZB ��@ s �*���1�� ?���� ��ZB �A s �*���1�� ?��d� d�o&� �� � �vB3 ��#"�"���\����2�wc �� m �b �wB � �B�8�m ������� ?��n� ��~�v�0�___PPT10���6�___PPT9�� �b��0.3872�*(# "�� @`��\ �xB � �<�D�m ������ ?�Tn���~�v�0�___PPT10���6�___PPT9�� �b��0.5067�*(# "�� @`��\ �yB � �<���m ������ ?�inT��~�v�0�___PPT10���6�___PPT9�� �b��0.5880�*(# "�� @`��\ �zB � �<�h�m ������ ?��ni��~�v�0�___PPT10���6�___PPT9�� �b��5.2655�*(# "�� @`��\ �{B � �<���m ������ ?�n���~�v�0�___PPT10���6�___PPT9�� �b��0.2677�*(# "�� @`��] �|B � �<���m ������ ?�n��~�v�0�___PPT10���6�___PPT9�� �c��Devset6�*(# "�� @`��b �}B � �B���m ������� ?���� n�~�v�0�___PPT10���6�___PPT9�� �b��0.3101�*(# "�� @`��\ �~B � �<�<�m ������ ?�T��n�~�v�0�___PPT10���6�___PPT9�� �b��0.4376�*(# "�� @`��\ �B � �<���m ������ ?�i�Tn�~�v�0�___PPT10���6�___PPT9�� �b��0.7042�*(# "�� @`��\ ��B � �<���m ������ ?���in�~�v�0�___PPT10���6�___PPT9�� �b��4.7495�*(# "�� @`��\ ��B � �<�o ������ ?���n�~�v�0�___PPT10���6�___PPT9�� �b��0.1826�*(# "�� @`��] ��B � �<��o ������ ?��n�~�v�0�___PPT10���6�___PPT9�� �c��Devset5�*(# "�� @`��b ��B � �B�po ������� ?��F� ��~�v�0�___PPT10���6�___PPT9�� �b��0.5939�*(# "�� @`��\ ��B � �<��o ������ ?�TF���~�v�0�___PPT10���6�___PPT9�� �b��0.6985�*(# "�� @`��o ��B � �<��.o ������ ?�iFT��~�v�0�___PPT10���6�___PPT9�� �u��0.4072*�<(# + "�� @`��\ ��B � �<��;o ������ ?��Fi��~�v�0�___PPT10���6�___PPT9�� �b��8.3633�*(# "�� @`��o ��B � �<�Eo ������ ?�F���~�v�0�___PPT10���6�___PPT9�� �u��0.4893*�<(# + "�� @`��] ��B � �<��o ������ ?�F��~�v�0�___PPT10���6�___PPT9�� �c��Devset3�*(# "�� @`��e ��B � �<��Zo ������ ?��� F�~�v�0�___PPT10���6�___PPT9�� �k��(BLEU+METEOR)/2�*(# "�� @`��\ ��B � �<�@eo ������ ?�T�F�~�v�0�___PPT10���6�___PPT9�� �b��METEOR�*(# "�� @`��Y ��B � �<��so ������ ?�iTF�~�v�0�___PPT10���6�___PPT9�� �_��WER�*(# "�� @`��Z ��B � �<��vo ������ ?��iF�~�v�0�___PPT10���6�___PPT9�� �`��NIST�*(# "�� @`��Z ��B � �<�<�o ������ ?��F�~�v�0�___PPT10���6�___PPT9�� �`��BLEU�*(# "�� @`�� ��B � �<��xo ������ ?�F �>���� @`��`B ��B � �0���1�� ?��� �`B ��B � �0���1�� ?���� ��`B ��B � �0���1�� ?����`B ��B � �0���1�� ?��� � ��`B ��B � �0���1�� ?��F� F�`B ��B � �0���1�� ?����`B ��B � �0���1�� ?������`B ��B � �0���1�� ?��ii��`B ��B � �0���1�� ?��TT��`B ��B � �0���1�� ?������`B ��B � �0���1�� ?���� ��`B ��B � �0���1�� ?��n� n�&�� ��� `� �;C �#"�"���z���� �w��� o �_ ��B � �B���o �������?��V`��~�v�0�___PPT10���6�___PPT9�� �_��0.3973*�<(# + "�m ��B � �<���o ������?�� V���~�v�0�___PPT10���6�___PPT9�� �s��0.5210*�<(# + "� �m ��B � �<�ܟo ������?�� V� ��~�v�0�___PPT10���6�___PPT9�� �s��0.5730*�<(# + "� �m ��B � �<�x�o ������?��V� ��~�v�0�___PPT10���6�___PPT9�� �s��5.5852*�<(# + "� �m ��B � �<�l�o ������?�NV���~�v�0�___PPT10���6�___PPT9�� �s��0.2737*�<(# + "� �[ ��B � �<���o ������?��VN��~�v�0�___PPT10���6�___PPT9�� �a��Devset6�*(# "� �s ��B � �B���o �������?���`V�~�v�0�___PPT10���6�___PPT9�� �s��0.3222*�<(# + "� �m ��B � �<���o ������?�� ��V�~�v�0�___PPT10���6�___PPT9�� �s��0.4566*�<(# + "� �m ��B � �<�@�o ������?�� �� V�~�v�0�___PPT10���6�___PPT9�� �s��0.6962*�<(# + "� �m ��B � �<�\�o ������?���� V�~�v�0�___PPT10���6�___PPT9�� �s��5.2688*�<(# + "� �m ��B � �<��o ������?�N��V�~�v�0�___PPT10���6�___PPT9�� �s��0.1879*�<(# + "� �[ ��B � �<�d�o ������?���NV�~�v�0�___PPT10���6�___PPT9�� �a��Devset5�*(# "� �s ��B � �B�P�o �������?��$`��~�v�0�___PPT10���6�___PPT9�� �s��0.5969*�<(# + "� �m ��B � �<�D�o ������?�� $���~�v�0�___PPT10���6�___PPT9�� �s��0.7053*�<(# + "� �Z ��B � �<���o ������?�� $� ��~�v�0�___PPT10���6�___PPT9�� �`��0.4273�*(# "� �m ��B � �<���o ������?��$� ��~�v�0�___PPT10���6�___PPT9�� �s��8.7183*�<(# + "� �Z ��B � �<��o ������?�N$���~�v�0�___PPT10���6�___PPT9�� �`��0.4885�*(# "� �[ ��B � �<�d�o ������?��$N��~�v�0�___PPT10���6�___PPT9�� �a��Devset3�*(# "� �c ��B � �<�8q ������?��� `$�~�v�0�___PPT10���6�___PPT9�� �i��(BLEU+METEOR)/2�*(# "� �Z ��B � �<��q ������?�� � �$�~�v�0�___PPT10���6�___PPT9�� �`��METEOR�*(# "� �W ��B � �<���o ������?�� � � $�~�v�0�___PPT10���6�___PPT9�� �]��WER�*(# "� �X ��B � �<�q ������?��� � $�~�v�0�___PPT10���6�___PPT9�� �^��NIST�*(# "� �X ��B � �<��q ������?�N� �$�~�v�0�___PPT10���6�___PPT9�� �^��BLEU�*(# "� � ��B � �<��#q ������?��� N$ �>���� @`��ZB ��B s �*���1�� ?���� `� �ZB ��B s �*���1�� ?����`��ZB ��B s �*���1�� ?���� ���ZB ��B s �*���1�� ?��`� `��ZB ��B s �*���1�� ?���$`$�ZB ��B s �*���1�� ?��N� N��ZB ��B s �*���1�� ?���� ���ZB ��B s �*���1�� ?��� � � ��ZB ��B s �*���1�� ?��� � � ��ZB ��B s �*���1�� ?���� ���ZB ��B s �*���1�� ?����`��ZB �C s �*���1�� ?���V`V��� �C � �0�q �������F ��-  ���Re-trained hybrid model�6 2 a a�    ��� �?C � �0�H3q �������"�  �g�� ICTCLAS �& 2a� �H �@ � �0�������޽h�� ?� ���������33����������___PPT10�i�.�9��?z�+D�='� �����=� @B� +�}� �0 �����l�$�( � �l�r �l S �������� `}��  � � ��r �l S ��T�� ���� `�� � � ��H �l � �0�������޽h�� ?� ���������33����������___PPT10�i�.�N�@��}+D�='� �����=� @B� +�}� �0 �����$�$�( � �$�r �$ S ���q ��� `���  q  � ��r �$ S ���q ����T���� q  � ��H �$ � �0�������޽h�� ?� ���������33����������___PPT10�i�.�5��N+D�='� �����=� @B� +�}� �0 �����4�$�( � �4�r �4 S ����M ���� `}��  M  � ��r �4 S ��H�M ���� `�� M  � ��H �4 � �0�������޽h�� ?� ���������33����������___PPT10�i�.�8����+D�='� �����=� @B� +�}� �0 �����8�$�( � �8�r �8 S ��xTq ���� `}��  q  � ��r �8 S �� Uq ��������� q  � ��H �8 � �0�������޽h�� ?� ���������33����������___PPT10�i�.�9��Z+D�='� �����=� @B� +rL�\/9�;>C�Eeal�B� B>kL��������\NICT&ATR % �(   x�����-����-$������x�x��������--'������@Times New Roman????-. -2 Chinese Word Segmentation .� ��"System-�����@Times New Roman??-. <2 *#Adaptation for Statistical Machine �.-�����@Times New Roman??-. 2 5= Translation .-�����@Times New Roman??-. 2 V Hailong Cao,.-�����@Times New Roman??-. 2 V1Masao .-�����@Times New Roman??-. 2 VEUtiyamaR.-�����@Times New Roman??-.  2 V_and .-�����@Times New Roman??-. 2 VlEiichiro.-�����@Times New Roman??-. 2 V�Sumita.-�����@Times New Roman??-. 2 `&Language.-�����@Times New Roman??-. 2 `E Translation .-�����@Times New Roman??-. 2 `gGroupa.-�����@Times New Roman??-. 2 k>NICT&ATR.-�����՜.��+,��0\������� � �� ��  ��On-screen ShowNICT:��' ArialTimes New Roman�����ͣ� �Х����å�Default DesignJChinese Word Segmentation Adaptation for Statistical Machine Translation Introduction3Main problems of using an off-the-shelf CWS tool Clues to solve the problems Our solution: Adaptation Adaptation algorithm for CWS An example An example (Cont.) Experiments Experimental setting Slide 11 Related work Conclusion Future work Slide 15  Fonts UsedDesign Template Slide TitlesRoot Entry����������d�O�����)��ũ7���@Current User������������2SummaryInformation(��������j�+PowerPoint Document(����:������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������_�������춫���_N��  !"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghi����klmnopqrstuvwxyz{|}~���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������Root Entry����������d�O�����)�����Current User�������������SummaryInformation(��������j�+PowerPoint Document(����:�DocumentSummaryInformation8�������������������������������������������������