Comparing performance of different models on Emphasis Preserving S2ST. The demo includes "Intonation Stress Annotation, Source Speech, SpeamlessM4T, SeamlessExpressive, GPT4o, Gemini, and StressTransfer(ours)".
| Audio ID | Intonation Stress Annotation |
Source Speech stresstest_orig |
SeamlessM4T seamlessm4t |
SeamlessExpressive seamlessexpressive |
GPT-4o gpt-4o |
Gemini gemini |
StressTransfer StressTransfer |
|---|---|---|---|---|---|---|---|
|
000001
|
Intonation
I didn't say he *stole* the money.
|
Source
|
SeamlessM4T
我没有说他偷了钱。
|
SeamlessExpressive
我不是说他偷了钱了。
|
GPT-4o
我没有说他*偷了*这笔钱。
|
Gemini
我没说他*偷了钱*。
|
StressTransfer
我没说他*偷了钱*。
|
|
000025
|
Intonation
She bought a car for *her brother*.
|
Source
|
SeamlessM4T
他为他的哥哥买了一辆车子。
|
SeamlessExpressive
他为他的哥哥买了一辆车。
|
GPT-4o
他为他的*弟弟*买了一辆车。
|
Gemini
他买了一辆车给他的*哥哥*。
|
StressTransfer
他为他的*兄弟*买了一辆车。
|
|
000029
|
Intonation
I didn't tell *her* you were late.
|
Source
|
SeamlessM4T
我没有告诉他你迟到了。
|
SeamlessExpressive
我没有告诉他你迟到了。
|
GPT-4o
我没*告诉*他你迟到了。
|
Gemini
我没*告诉*他你迟到了。
|
StressTransfer
我没有告诉*他*你迟到了。
|
|
000005
|
Intonation
*I did not* steal this car.
|
Source
|
SeamlessM4T
我没有偷这辆车。
|
SeamlessExpressive
我没有偷着两车里。
|
GPT-4o
我*没有*偷这辆车。
|
Gemini
我*没有*偷这辆车。
|
StressTransfer
我*没有*偷这辆车。
|
|
000012
|
Intonation
I *just* took this book.
|
Source
|
SeamlessM4T
我刚刚拿了这本书。
|
SeamlessExpressive
我当时拿走了这本书定。
|
GPT-4o
我刚刚拿了这本*书*。
|
Gemini
我只是*拿了*这本书。
|
StressTransfer
我*刚看了*这本书。
|
|
000015
|
Intonation
You chose to do *this*?
|
Source
|
SeamlessM4T
你选择做这个吗?
|
SeamlessExpressive
你选择做这件事吗?
|
GPT-4o
你选择*做*这件事。
|
Gemini
你选择做*这个*?
|
StressTransfer
你选择做*这个*?
|
|
000022
|
Intonation
Shocking that *the kids* are going to France this summer.
|
Source
|
SeamlessM4T
让人震惊的是孩子们今年夏天要去法国。
|
SeamlessExpressive
让人震惊的是,孩子们今年夏天要驱法国度。
|
GPT-4o
令人震惊的是*孩子们*今年夏天要去*法国*。
|
Gemini
孩子们几年夏天要去*法国*,真令人震惊。
|
StressTransfer
令人震惊的是,*孩子们*今年夏天要去*法国*。
|