automatic estimation of transcription accuracy and dif๏ฌculty
TRANSCRIPT
Automatic Estimation of Transcription Accuracy and Difficulty
Brandon C. Royโ, Soroush Vosoughiโ, Deb Roy
The Media Laboratory, Massachusetts Institute of TechnologyCambridge, Massachusetts, USA
[email protected], [email protected], [email protected]
AbstractManaging a large-scale speech transcription task with a team ofhuman transcribers requires effective quality control and work-load distribution. As it becomes easier and cheaper to collectmassive audio corpora the problem is magnified. Relying onexpert review or transcribing all speech multiple times is im-practical. Furthermore, speech that is difficult to transcribe maybe better handled by a more experienced transcriber or skippedentirely.
We present a fully automatic system to address these issues.First, we use the system to estimate transcription accuracy froma a single transcript and show that it correlates well with inter-transcriber agreement. Second, we use the system to estimatethe transcription โdifficultyโ of a speech segment and show thatit is strongly correlated with transcriber effort. This systemcan help a transcription manager determine when speech seg-ments may require review, track transcriber performance, andefficiently manage the transcription process.Index Terms: speech transcription, inter-transcriber agree-ment, human-machine collaboration
1. IntroductionAnnotating audio recordings with speech transcripts is an im-portant task for many enterprises. However, as the size of audiocorpora increase thanks to advances in recording and storagetechnology, efficient speech transcription methodologies willbecome increasingly important. While automatic speech recog-nition technologies continue to improve, they are inadequate formany tasks and human transcribers are needed.
Speech transcription approaches can be considered alongseveral dimensions. One aspect is the level of annotation de-tail, and it is common to annotate speech at the phonetic, wordand discourse level. The focus here is on word-level (ortho-graphic) transcription of short speech segments. Purely man-ual approaches are often used for orthographic transcriptionand tools such as CLAN [1] and Transcriber [2] are popular,but these tools do not perform well for large-scale transcriptiontasks. In particular, transcription times are usually an order ofmagnitude longer than the actual audio being annotated [2, 3].
An active area of research focuses on how services suchas Amazonโs Mechanical Turk1 can be leveraged to reduce thecost of annotation. Speech transcription using Mechanical Turkcan attain quality competitive with conventional methods, butat a fraction of the cost [4]. Furthermore, different transcriptiongoals may permit different levels of transcription quality. Forexample, if the goal is to train a speech recognizer, then moretranscription errors may be tolerated if the yield is higher [5].
*The first two authors contributed equally to this work.1http://www.mturk.com
Mechanical Turk is a promising approach for many applica-tions, but in our work there are certain privacy requirements thatmust be met. Specifically, we are studying early child languageacquisition as part of the Human Speechome Project [6]. Forthe Human Speechome Project (HSP), the home of one of theauthors (DR) was outfitted with a custom audio-video record-ing system with the goal of recording the first three years of hischildโs life. This naturalistic, ultra-dense, longitudinal corpusis helping to shed new light on early language learning [7, 8].But given the privacy concerns with this corpus and the specialtraining required to adequately transcribe a young childโs earlyspeech, Mechanical Turk is not a viable solution. Instead, thesize of this corpus (roughly 120,000 hours of audio), the natureof the data and the privacy requirements have led us to develop anew semi-automatic transcription system called BlitzScribe [9].
2. Semi-automatic speech transcriptionwith BlitzScribe
BlitzScribe is a human-machine collaborative system that en-ables human transcribers to transcribe significantly faster thanpurely manual approaches. BlitzScribe works by first automati-cally identifying and segmenting speech in audio, and then pre-senting it to the human transcriber in a streamlined user in-terface. The human transcriber plays a segment, transcribesand advances to the next segment using only the keyboard, en-abling them to proceed quickly and efficiently and eliminatingthe need to spend time browsing for and selecting speech usingthe mouse. Since the speech is automatically detected, the anno-tator may encounter non-speech while transcribing. Such non-speech segments are marked naturally in the course of transcrip-tion by simply leaving them blank and advancing to the nextsegment. Both the transcribed speech and non-speech segmentsare then fed back into the system to retrain the speech detec-tion component, thereby adapting and improving the system asa whole. Using BlitzScribe yields up to a six-fold speedup overother purely manual approaches [9]. This corresponds to tran-scriber time of roughly twice the audio duration. BlitzScribeis particularly effective on unstructured audio, where a signifi-cant portion of the audio consists of non-speech. While a purelymanual tool usually requires scanning all the audio to identifyspeech, transcriber time in BlitzScribe depends primarily on theamount of speech. The BlitzScribe user interface is shown infigure 1.
3. Estimating transcription accuracySpeech transcription can be challenging, and spontaneousspeech captured in a naturalistic environment can be particu-larly difficult to transcribe. Such speech is often mixed withbackground noise and other non-speech sources, can include
Figure 1: BlitzScribe user interface
multiple overlapping speakers, and can vary in loudness andspeaking style. In the Speechome Corpus, one of the primaryspeakers is a young child in the early stages of language learn-ing, while another is a non-native speaker. Given these chal-lenges and the size of the transcription task, a major concern ismonitoring and maintaining transcription quality.
One approach is for an expert to review a portion of the tran-scripts. Another approach is to have multiple transcribers tran-scribe the same segments, and then automatically compare theirtranscriptions. The assumption is that if multiple transcribershave produced the same transcript, they have likely convergedon the correct transcription. This approach was taken in [9]using the NIST sclite tool [10] and the Sphinx-4 [11] imple-mentation of the alignment algorithm. This tool is often usedto evaluate automatic speech recognition (ASR) performance,where errors in the hypothesis transcript produced by the ASRsystem are identified relative to the reference transcript. Here,rather than a hypothesis and reference transcript for a pair oftranscribers, a symmetric agreement value was calculated bytreating each transcript as first the hypothesis and then the ref-erence and averaging the scores. This approach is very usefulfor monitoring transcriber performance and detecting problems,but it has the shortcoming that obtaining inter-transcriber agree-ment scores requires significantly more human effort โ at leasttwice as much effort per segment โ and thus can be quite costly.
Instead of relying on inter-transcriber agreement, we applyan automatic system to estimate transcription accuracy usingonly a single transcript per segment. The main component of thesystem is an acoustic matcher that computes the match betweenan audio segment and the transcript. The matcher is built usingHTK [12] and works as follows. Given a speech segment and itstranscript, the Viterbi algorithm in HTK is applied to align thetranscript to the speech segment on the phoneme level, usingthe CMU pronunciation dictionary. Each candidate alignmentfor each phoneme comes with a score that measures the acous-tic similarity of the HMM of the phoneme in the transcript tothe corresponding audio, normalized by the number of frames.Since each transcript comes with a speaker ID label that is gen-erated automatically, we use a speaker-specific acoustic modelto obtain the acoustic alignment scores. The scores for all thephonemes in the segment are then averaged to get a single scorefor the segment. This score measures how well the transcriptmatches the audio at the phonetic level. Roughly, the idea isthat segments where the transcript is a poor fit to the audio, due
Speech Segment
Speaker-ID
HTKSpeaker Dependent
Acoustic Model
PredictedTranscription
Difficulty
ASRAcoustic Score
Speech Segment
Speaker-ID
HTKSpeaker Dependent
Acoustic Model
ExpectedTranscription
Accuracy
Forced AlignmentAcoustic Score
Transcription
Figure 2: Pipeline for calculating the expected accuracy of aspeech transcription.
โโโโโโโโโโโโโ
โ
โโ
โ
โ โโโโโโโโโโโโโโโโ
โโโโโโโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โโโโโโโโโโโโโโ
โโ
โโ
โโ โโ
โ
โโ
โโ
โโ
โ
โโโโ โ
โโโโโโ โโ โโโโโโโโ
โโโโ
โ
โ
โ โโ โโโ
โโโโโโโโโ
โโโโโ
โโโโโโโโโโโ
โโโ
โ
โ
โ โ
โ
โ โ โโ
โโ
โ
โ
โ
โ
โโโโ
โโโโโโโ
โโโ โโโโ
โ
โโโโโโ
โโ โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ
โโ
โ
โโโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโ
โโโโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โโ โโ
โโโโโโโ
โโโโโโโ โโโ โ
โโ
โโ
โ
โ
โโ
โ
โ
โโ
โโ
โโโโ
โโ
โ
โ
โ
โโโ
โโโโโโโโโโโโโ
โ
โโโ
โ
โโโโ
โ
โโโโโ
โ
โโโ
โโ
โ
โ
โโโโ โโ
โ
โโ
โ
โโโ
โ
โโ
โ
โโโโโ
โโโโโโ
โโ
โ
โ
โ
โ
โ
โโโโโโโโ
โ
โโโโโ
โ
โ
โ
โ
โ
โ โ
โ
โโโโโโโโโโโโโโโ
โโ โโ โโโ
โ
โ
โโโโโโโโ
โโโโโ
โโโ
โโโ
โโ
โ โโโ
โโโ
โ
โ
โโโ
โ
โ
โ
โ
โ
โโ
โ
โโโโโโ
โ
โโ
โโโโ โโโ
โโโโ
โ
โโ
โโโโโโโโโโโ โโโ
โ
โ
โโ
โ โโ โโ โโ
โโโโ โโ
โโ โโโโโโ
โโโโโ
โโโ
โโโ
โโ
โ
โโโ
โโ
โ
โ
โ
โ
โโ
โโโโโโโโ
โโโโ
โโโโ
โโ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โโโโโ
โโ
โโโ
โ
โ
โโโ
โโ
โ
โโ โโ
โ
โโโโโโโโ
โ โโโ
โ
โโโ โ โโ
โโ
โโ
โโโ
โ
โ โโ
โ โ โโโโโ โโ
โโโโโโโโโโโโโโโโ
โ
โโโโ
โโโ
โ
โโโ
โ
โ
โโโ
โ
โโ โโโ
โ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โโโโโโโโ
โโโโโโโ
โ
โ
โโ
โ
โ
โโ
โโโโ
โโ
โโโโโโโโโโโโโโ
โโโโโโโโโโโโโโ
โ โโโ
โโโ โโโโ โโ โโ โโโโโ
โโ
โโโโโโ
โโ
โ
โ
โ
โ โโโโโ
โ
โโโโ โโ
โ
โโโ
โ โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โโโโโโโโ
โโ
โ โโ
โโโ
โโโโโโโโโ
โ
โ
โโโ
โโโโโโโโโโโโโโ
โโโโโโโโ
โ
โโโโโ
โโโโโโโโโโโโโโ
โ โ
โ
โ
โโ
โ
โโโโโโโโโโโ
โโ
โโ โ
โโโโ
โโโโ
โโโ
โโ โโ
โโโโ
โ
โโโโโโ
โโโโโโโโโโโโโ โโโโ
โ
โ
โโโโโ
โโโ
โโโโโโ โโ โ
โ
โโโโ
โ
โโ
โโโโโโโโโ
โ
โโโโโโโ
โโโโ
โโ
โโโ โโ
โโโ
โโโ
โโ
โ
โโโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโ
โโ
โ
โโโโโโโโโโโโโโ
โโโโโโ
โ
โ
โโ โโ โโโ
โ
โ
โ
โ
โ
โโ
โ
โ
โโโโโ โโโโ
โ
โโ
โ
โโ โ
โ
โโโ โ
โโโ
โโโ
โ
โ
โโโโ
โ
โ
โโโ
โโโโโ
โ
โโโโโ
โ
โโ
โโโโ
โ
โโโ
โโโโโโโโโโ
โโ
โโโโ
โโ
โ
โโโโโโโโโโโ
โ โโ
โ โโ
โโ
โ
โโโ
โ
โ
โโโโโ
โ
โ
โโโโโโโ
โโ
โโ
โ
โ
โโ
โ
โโโโ
โโโ
โ
โโโโโโโโโโ
โโ
โโโโโ โ
โโ
โ
โโโโ
โ
โโ โ
โ
โ โโ
โ โโโ โโโ
โโโโโ
โโ โ
โ
โ
โ
โ
โ โ โ
โ
โโโโโโโโโโโโโโ
โ
โ
โ
โ
โโโโโโโโโโโ โโ โโโโโโโโโโโโโโ
โโโ
โ
โโโโโโโโโโโโโโโโโโ
โโโโ
โโโโ
โ โโโโ
โ
โ โ
โ
โ โโ โ
โโ
โโ โโโโ
โ
โ
โโโโ โโโโโโโ โ
โ โโ โโโ
โ
โ
โโ
โโโโ โโโโโ
โโโ
โ
โโโ
โ
โโโโโโโโโโโ
โ
โ
โโโโ
โ
โโโโโโโ
โโโ
โโ
โ
โ
โโโโ
โโโโ
โโโโโโโ
โโโโโโ
โ
โโโโโ โโโโโโ
โโโโโโโโโโโโโโโโ
โ โ
โโ
โโ โ
โ
โ
โ
โ
โ
โโโ
โ
โโ
โ
โโ
โโโ โ
โ โ
โ
โ
โโ โโโ
โโโ
โโ
โโ
โ
โ
โ โโโโโโโโโโโโโ
โโโโโโโ
โโ
โ
โ
โ
โโโ
โโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โโ
โโโโโโโโโโโโโโ
โโโโโโโ
โโโโโโ
โโโโ
โโโ
โโ โ โ
โ
โ
โโ
โ
โ
โ
โโ
โโโโ
โ
โโโ
โโโโ
โโ
โโโ
โโโ โ
โ โ
โโโ
โโ โโ
โ
โโโโโโ
โโโโ
โโโโโโโ
โ
โโโโโ
โ
โโโโโโโ
โ
โ
โโ
โ
โโ
โ
โโโโโโโโโโโโโโ
โโโโโโโโโโโโโโ
โโ
โโโ โโโ โ โ
โโโโโโโโโโโโโโ
โโโ โโโ
โโโโ
โ
โ
โโโโ
โ โ โโโโโ
โ
โโโโโโ
โโโโ โโโ
โ
โ โ โโโ
โโ
โโ
โโโโ
โ
โ
โโโโโโโ
โ
โโ
โโโโโโโโโโโโโโ
โโโ
โ
โโ
โ
โ โ โโ
โ โโโโโโโโโ
โ
โโโโ โโ โ
โ
โโโ
โ
โ
โ โโโ
โ
โ
โ
โ
โ
โ
โ
โโโโ
โโ
โโ
โโโโ
โโ
โโโโ
โ
โโ
โ
โโ โโ
โโโโโโโ
โโโโ
โ
โ
โ
โ
โ
โ
โโ
โโโโ โโ
โโโ
โ
โโโโ
โ
โโโโโ
โ
โ
โโ
โ
โโ
โ
โโโโโโโโโโโโโโ
โโโโ
โโโโโโโโโโโโโโโโโโโโโ
โโโโ
โโ
โโ โโ
โ
โ
โโโ
โ
โ
โ
โโโโโโโโโโโโโโโโโโ
โโโโโโ
โโโ
โโ
โโ
โโโโ
โ
โ
โ โ
โโโโโ
โ
โ
โโโโโ
โโโโโโ
โโ โ
โ
โโโ
โ
โ
โโ
โ
โ
โ โโโโโโ
โโ
โ
โ
โ
โ
โโ
โโโโโ
โ
โโโโโโ
โโโโ
โโ
โ
โโ
โ
โ
โโ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โ
โโโ
โโ
โ
โ
โโโ
โ
โโโโ โโโโ
โโโโโโ
โ
โโโโโโโโโโโโโโ
โโโ
โ
โ
โ
โ
โโโ
โโโโโ
โ
โโโโโโ
โ
โโโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ
โโโโโโโโโโ
โ
โโโ
โ
โโโ
โโ
โโโโโโโโโโโโโ โโโ โโ โโโโ
โ
โโ
โ
โโโโโ
โโ
โโ
โ
โโโโโ
โ
โ
โโโโโโโโโโโโโโโ
โโ
โ
โโโโโโโโโ
โ
โโ
โโ
โโโ โโโโโโโ
โโโโ
โโโ
โ
โโโโโโ โ
โโโ
โโโ โ
โ
โ
โ
โโ
โโโโ
โ
โโโโ โ
โโ
โโ
โโ
โโโ
โโโโ
โโ
โโโโโโโโโโโโโโโโโโโโโโ
โโ
โโ
โโ
โ
โ
โ
โ
โโ
โ
โ
โโ โโโ โโ
โโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โ
โ
โ
โโ
โโโโ
โโโโโ
โโโโ
โ โโโ
โ
โโ
โโโ
โ
โ
โ
โ
โโโโโโโ
โโ
โโ
โ
โ
โโโ
โ
โโ
โโโ โ
โโโโโโโ
โ โโ โ
โโโโ
โ โ
โ
โ โโ
โ
โ
โโ
โโโโโโโโโโโโโโ
โโโโ
โโโโ
โ
โ
โ
โโโ
โโโโ
โโโโโโโโ
โโ
โโโโ
โ
โ
โ
โโ
โโ
โ
โ
โโ
โ
โโโโ
โโโโโโ
โ
โโ
โ
โ
โ
โ
โโ
โ
โโ
โโโ
โโ
โ
โโ
โ
โ โโโโโ
โโโ
โ
โโ
โโโ
โโ
โ
โ
โโ
โโโ
โโ
โโโโ
โโโโโโโโโ โโโโโ
โ
โ
โโโ
โ
โ
โโโโโโโโโโโโโโ
โ
โ
โโโโ
โ
โโ
โโโโ
โ
โโ
โโโ
โ
โ
โ
โ
โ
โโ
โโ
โโ โโโโ
โโโโโโโโโโโโโโ
โโโโโโโ
โโ
โโ
โ โโโ โโ
โโโ
โ
โ
โ
โโโ โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ โ โโ โโโโโโโโโโโโโโโโ โโ โโ
โ
โ
โโโโโโโโโโโโโโโโโโโโ
โโโโ
โ โโโโโโโโ
โโ โโโ
โโ โโโโโโโโ
โ
โ
โ
โ
โโโ
โ
โโโโโโโโโโโโโ
โ
โโ
โ
โ
โโโโโโโ
โ
โโโโโโโโ
โ
โโ โโโโโโโโโโโโโโโโ
โโ
โ
โ
โโ
โโ
โโ
โโโโ
โโโโ
โโ
โโ
โโ
โ
โ
โ
โโ
โโโ
โโโโ
โโ
โโ
โโ
โ
โ
โโ
โ
โโโโโโโโโโโโโโ
โโโโโโโโโโโโโ
โโโโโโโโโโโโโโ
โ โโ โโ
โ
โโโโ
โ
โโ
โ
โ
โ
โ
โ
โ โ โโ
โโโ
โโโโโโโ โโโ
โ
โ
โโ
โ โโโโ
โ
โโโโโโ
โ
โโ
โ
โ โโ
โโ
โโโโ
โโ
โ
โ
โโโ
โโโโโโโ
โ
โโโโโโโโโโโโโโ
โโโโโโโโโโโโโโ
โโ
โโโโโ
โโ
โ
โโโโ
โโโโโโ
โ
โโโโโ
โโโโโโโ
โ
โโ
โ
โ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโ
โโโ โโโโโ
โ
โ
โ
โโ
โ
โโโ
โ
โโโ
โโโ
โโโ
โ
โ
โโ โ
โโโโโโโโโโ
โ
โโโโ
โโ โโโ
โโ
โ
โ
โโ โ
โโ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโ
โโโโโ
โ
โ
โโโโโโโโโโโโโโโ
โโโโโโ โ
โโ
โ
โโ
โโ
โโ
โโโโโ
โ
โโ
โโ
โโโ
โ
โโโโโโโ
โ
โโโโ
โโโโโโ
โโโโโ
โ
โโโโโโโโโโ
โโ
โ
โโ
โโโโ
โโโ
โโโ
โโโโ
โโโโโโโโโโโโโโ
โโโ
โ
โโ
โ
โโโโโโโโ
โโ
โโโโ
โโโโ
โโโ
โ
โโ
โโ
โ โ โ
โโ
โ
โ
โโ
โ
โ
โ
โโโ
โ
โ
โ
โโโโโโโโ
โ
โ
โ
โ
โโ
โ
โ
โโโโโ
โ
โโโโโโโโโโโโโ
โโโโโโโโ
โโโ โโ
โ
โโโโโโโโโโโโโโโโโ
โโ
โ
โโ
โโ
โ
โ
โ
โ
โโ
โโ
โโโโโโ โโ
โโ โโโโ
โโโโ
โ
โ
โ
โโโโโโ
โโโโโโโโโโโโโโ
โโโโ
โ
โโ
โ
โโ
โโ
โโโโ
โโโโโโโโโโโโโ
โ
โ
โ
โ
โโโ
โโโโโโโ
โโ โ โโ โ โโ
โโโโโโโ
โ
โโโโโโโโ
โ โ
โ
โโ
โโโ
โ
โโโ
โ
โ
โ
โ
โโ
โโโ
โ
โโโโโโโโโโโโโโโ
โโ
โโโ
โโโ
โโโโ
โโ
โ
โ
โโโโโโโโโโโโโโ
โโโโโโ
โโ โโโ โ
โ
โโโ โ โโ
โโ
โโโ
โ
โโโโ
โโโโโโโโ
โโโ
โโโโโโโโโโโ
โ
โโโโโโโโโ
โ
โโ
โโ
โโโโโโโโโโ
โโโโโโโ
โโโโโโโโโโ
โ
โโโโโ
โโโโ
โ
โโโโ โโ
โ
โโ
โโโ
โ
โ โโโโโโโโโ
โ
โ
โโโโ
โโ
โโ
โ
โ
โโ
โ
โ
โ
โโ
โ
โโ
โ
โ
โโ
โโโ
โ
โโ
โ
โโโโโโ
โ
โ
โโโโโโโ
โ
โโ
โ
โโ
โ โ
โโโ
โโโโโโโโโโโโโโโ
โโ
โโโโโโโโโโโโโ
โ
โโโโโโโโ โโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โโโโ
โโโโโโ
โโโโ
โ
โ
โ
โ
โ
โโโ
โโโโ
โโ
โ
โโโโโโโโ
โ
โโ
โโ
โ
โ
โ
โโ โโโโโโ
โโโ
โ
โ
โ
โโ
โโโโโโ
โ
โ
โโ
โโโโ
โ
โโ
โโ โ
โ
โ
โ
โ
โโโโโโโ
โ
โโ
โ
โโโ
โโโ
โ
โโโโโโโโโ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ โโโโโ
โ
โโ
โ
โ
โ
โ
โโ
โ
โโ
โโ
โ
โโโโ โโโโ
โ
โโ
โ
โโ
โ
โโโโ
โโโโโโโโ
โ
โโโโโ โโ
โ
โโ
โ
โโโ
โ
โ
โ
โ
โ
โโโ
โโ
โโโ โ
โ โโ
โ
โ โโ
โ
โ
โโโ
โโโ
โ
โ
โโโโโโโโ
โโ โโโ
โ
โ
โ
โ โ
โ
โโโ
โโ โโ
โโ
โ โโโโ โโ โ
โ
โโโโโโโ
โโโโ
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
Average Intertranscriber Agreement
Nor
mal
ized
Aco
ustic
Sco
re
r = 0.47
Figure 3: Acoustic alignment score vs. average inter-transcriber agreement.
either to an incorrect transcript or low audio quality, are morelikely to contain transcription errors. This pipeline is shown infigure 2.
Figures 3 and 4 show the relationship between the acousticalignment score and the inter-transcriber agreements. In fig-ure 3, the inter-transcriber agreement for a transcriber is theaverage of their pairwise inter-transcriber agreements againstthe other transcribers who have transcribed a segment. Thestrong correlation (r = .47, p < .001) shows that the acousticalignment score is a very good predictor of the average inter-transcriber agreement value for a transcription. Thus, our align-ment score could be used as a proxy for inter-transcriber agree-ment without requiring any additional transcription effort. Fig-ure 4 shows a somewhat different relationship. Here, the differ-ence of the acoustic alignment scores for a pair of transcripts onthe same segment are plotted against the inter-transcriber agree-ment value for those same transcripts. In this case, we obtain astrong correlation of r = 0.5, p < .001. Finally, the aver-age acoustic alignment score for a transcriber can be used toevaluate overall transcriber performance, as shown in figure 5.This figure shows that T3 has the highest accuracy score whileT2 has the lowest, indicating that T3 is likely a more accuratetranscriber.
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โ โ
โ
โ
โ
โ
โโ
โ
โโโโ
โ
โ
โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโโโโ
โ
โ โ
โ
โ
โ
โ
โ โ
โ
โโ
โ
โโ โโโโโโโ
โ
โโ
โ
โโ
โโ
โโโ
โ
โโ โโ
โ
โโโโโโโโ
โ
โโโโ
โ
โโโโโโโโโโโโโโ
โ
โโ
โ
โโโโโโโโโโโ
โ
โโโโโโโ
โ
โ
โโ
โโโโโโโโโโโโโโ
โ
โโโ
โโ
โโโโโโ
โ
โโ
โ
โโโโโโโโ โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ โโ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โโ
โ
โโโ
โ
โโโ
โโ
โ
โ
โโโโ
โ
โโโโโโโโโโ
โโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโโโโ
โ
โ
โ
โโ
โโโ
โโโโ
โโ
โ
โโโโ
โโ โโโโโโโ
โ
โโโโ
โ
โโโโโโโโโโโโโโ
โ
โโ
โ
โโโโโโโโโโโ
โ
โโโโโโโ
โ
โ
โโ
โโโโโโโโโโโโโโ
โ
โโโ
โโ
โโโโโโ
โ
โโ
โ
โโโโโโโโโโโ
โโโโโโ
โโโโโโโโ
โโโโโโโโโโโโโโโโ
โโ
โโโโโโโโโโโโ
โโโโโโโโโ
โโโโโโโ
โโโโโ
โโโโโโโโโ
โโโโ
โโโโโ
โโโโ
โโ
โ โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโโโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโ
โ
โโโโโโ
โ
โโ
โ
โ
โโโโโโ
โ
โโ
โ
โ
โ
โโโโ
โ
โโโโโโโ
โ
โโโโโ
โ
โโโ
โ
โโโโโโโโโ
โ
โ
โโโ
โโ
โ
โ
โ
โโโโโ
โ
โโโ
โ
โ
โ
โโ
โ
โ โ
โ
โ
โโ
โโโ
โ โโโ โ
โโโ โโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโโ
โ โ
โ
โ
โ
โ
โโ โ
โ
โโ
โ
โโ
โ
โ
โโ
โ โ
โ
โโ โ
โ โโ
โโโโโ
โ
โโ
โ
โ โ
โ
โโ
โโโ
โ
โโ
โโโ
โ
โ
โ โโโ โ
โ
โ โ
โโโโ
โโโ
โโโ
โโ
โ
โ
โโโ
โ
โโ
โ
โ โโโ
โโ
โ
โ
โ
โ
โ
โ โโ
โ
โ
โโ
โ โ
โ
โโโโโโโโ
โ
โโ
โ
โ
โโโ
โโ
โ
โโโ
โโโ
โ
โ
โ
โโโโ
โโ
โโโ
โ
โ
โโโ
โ
โ
โโโ
โ
โ
โ
โ
โโ
โโ
โ
โ
โโ
โโโ
โโโ
โโโ
โ
โ
โ
โโ
โโโ
โ
โ
โโโ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโ โโโโ โโ โโโ โโโโโ โโโโโโโ โโโ โโ
โ
โโ
โโ
โ
โ
โ
โโ
โโ
โโโ
โ โ
โโโ
โ
โ
โ
โ โโโโ
โ โ
โโ
โ
โโ
โโ
โโ
โ
โ
โ
โโ
โโโ
โ
โโโ
โ
โ
โโ
โ
โ
โโ
โโ
โโ
โ
โ
โโโ
โ
โ
โโ
โ
โโ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โโโ
โ
โ
โ
โโโ
โ
โโ
โโ
โ
โ
โ
โ
โโโ
โ
โ
โ
โโโโโโโโโ
โ
โ
โโโโโ
โ
โโโ
โ
โโโโ
โโ
โ
โ
โ
โ
โโโโโ
โ
โ
โโโ
โ
โโ
โโ
โ
โโโโโโโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ โ
โโโโ
โ
โ
โ
โ
โโ
โโ
โ โ โโ โโ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ โโโ โโโโ
โโ
โ
โ
โ
โ
โ โโ โ
โ
โ
โ
โ
โ
โโ โ
โโ
โโ โ
โ
โ
โ
โ
โโโ โโ โโโ โโโโโโโโ
โ
โโโโโโโ
โ
โโโโโ
โโโ
โ
โโ
โโโโโโโโโโโโโโโ
โโ
โ
โ
โ
โโ
โ
โ โ
โโ
โ
โ
โ โ โโ
โ
โโ
โโโโโโโ
โ
โโโโ
โ
โโโโโโโโโโโโโโ
โ
โโ
โ
โโโโโโโโโโโ
โ
โโโโโโโ
โ
โ
โโ
โโโโโโโโโโโโโโ
โ
โโโ
โโ
โโโโโโ
โ
โโ
โ
โโโโโโโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโโ
โ
โ
โโ
โโ
โ โ
โโ
โ
โ
โโ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โ
โโ
โ
โ
โ
โโ
โ
โ
โโ
โ
โโโโ
โ
โ
โ
โ
โโ
โ
โ
โ โ
โโโ
โ
โ
โ
โโโ
โ
โ
โ
โโ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โโโ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โโ โ
โโโโ
โ
โ
โโโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โโ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ โ
โ
โ
โ
โ
โโโโโ
โ
โ
โโ
โ
โ
โโโโโ
โ
โโโ
โ
โโโโโโ
โ โ
โ
โโ
โ
โโ
โ
โ
โ
โ โ โโโ
โ
โ โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โโ โ
โ
โ
โ โโ โโ
โ
โ
โโ
โ
โ
โ โโ โโโโ
โ
โ โ
โ
โ
โ
โ โ
โโโโ
โ โ
โโ
โ
โ
โ
โโ
โ โ โโ
โ
โโ
โ โ
โ
โ
โโ โ
โ
โ
โ โโ โโโ
โ
โโโโโ
โ
โโโโโโโ
โ
โโโโโโโโโโโโโโโ
โ
โ
โ
โโโโโโโโโโโ
โ
โโโโโโโ
โโ
โโโโโโ
โ
โโโโ
โ
โโโโโโโโ
โ
โโโ
โ
โโโโ
โ
โโโโ
โ
โ
โโ
โโโ โโโ โโ
โโ
โโโ
โ
โ โ โโ
โ โ โโโโ โโ
โโ
โโ โโ โโ
โโโ
โโ
โ โโ โ
โ
โ โ โโโโโ โโ โโโ โโโโโ โโโ โโโโ
โ
โ
โ โโโโโโ
โโ โ
โ
โโโโ
โ
โโโโโโโ
โ
โโโโ
โ
โ
โ
โโโโโ
โโ
โโโ
โโโ
โโโโ โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โโ
โ
โ
โโ
โโ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โโโโ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โโ
โโโ
โ
โโ
โ
โโ
โโ
โโโ
โ
โ
โโโ
โ
โ
โ
โโ
โโ
โ
โโโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโ
โโโ
โโโ
โ
โ
โ
โโ
โ
โโโ
โ
โโโโโโโโ
โ
โโ
โ
โโโโ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โโ
โ
โ
โ
โ โโ
โ
โ
โ
โโ
โ
โ
โ
โโโโโ
โ
โ
โ
โโ โ
โโ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ โ
โ โโ
โ
โ
โ
โ
โโโ โ
โ
โ
โ
โ โโ
โโ
โ
โโ
โ
โ
โโ
โ
โโโโ โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ โโโ โโโโโโโ โโโโโโ โโโ โโโ โโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโโโโโโโ
โ
โ
โ
โ
โ
โโโโโโ
โ
โโโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ
โโ
โโ
โโโโโโ
โโ
โโ
โ
โโโโ
โ
โ
โ
โ
โโโ
โโ
โ
โโโโ
โโโ
โโโ
โ
โ
โโโโ
โโ
โโ โ
โ
โโโโ โโโ โโ
โ
โโ โ
โโ
โโ โ
โโ
โ โโโโโโโโ โโโโโโโโโโโโโโโ
โ
โโ
โโ
โโโโโโโ
โโโ
โโโโโโ
โ โ
โโโ
โโโ
โ โโ
โโ
โ
โโโ
โ
โ
โ
โโ
โ
โโ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โโโโ
โโโโ
โ
โโ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โโ
โ
โโ
โ
โโ
โ
โโโ
โ
โ
โ
โ
โ
โ
โโโ
โโ
โโโโ
โ
โโ
โ
โ
โ
โ
โโโโ
โโ
โโ
โ
โโ
โโโโ
โ
โโ
โ
โ โ
โ
โ
โโ
โโ โโ
โ
โ
โโ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโโ
โโ
โโโโโ
โ
โ
โ
โโโ
โ
โโ
โ
โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โโ
โโ
โ
โ
โ
โโโ
โ
โโโ
โโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โโโ
โ
โ
โ
โ
โ
โ
โโ
โ
โโโ
โ
โโ
โ
โโ
โโ
โ
โ
โ
โ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โโ
โ
โโโโ
โโ
โ
โ
โโโ
โ
โโโ
โ
โ
โ
โโ
โ
โโโโ
โ
โโโโโโโโโ
โ
โโ
โ
โโ
โ
โ
โ
โโโโโโ
โ
โโโโ
โ
โโ
โ
โ
โโ
โ
โโ
โโโโโโ
โ
โโโโ
โ
โโโ
โโ
โโโ
โ
โโ
โ
โ
โ
โ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโ
โ
โโโโโโโโโโโโโโ
โ
โโ
โ
โโโโโโโโโโโ
โ
โโโโโโโ
โ
โ
โโ
โโโโโโโโโโโโโโ
โ
โโโ
โโ
โโโโโโ
โ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ โ
โ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โโ
โ
โ โ
โ
โ
โโ
โ
โ
โ
โ
โโ
โ
โโโ
โ
โโโ โ
โโโ
โ โโโโโโโ
โ
โ
โ
โ
โ
โโโโโโโโ โโ โโโโโโโ โโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโ โโโโโโโโโโ โโโโโโโโโโโ โโโโโโ โโโโโโโโ โโโโโ โโโโโ โโโโ โโโโโโโ โโโโโโโโโ โโ
โ
โโโ
โโ
โโโโ
โ
โโโโ
โ
โโ
โ
โโ
โ
โโโโ
โโโโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโ
โ
โโ
โโ
โ
โโ
โโ
โโโโโโโโโ
โ
โ
โโ
โโ
โ
โโโ
โ
โ
โ
โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โโโโ
โ
โ โ
โโ
โ
โ
โ
โ
โโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โโ
โ
โโโโ
โโ
โโ โโโ
โโ
โโโโ
โ
โโโโ
โโโ
โโโ
โ
โ
โ
โ
โ
โ
โ โ
โ
โ
โโ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโโโโโโ
โ
โโโโโโ
โโ
โ
โ
โโ
โ
โโโ
โ
โโโโโ
โ
โโโ
โ
โโโ
โ
โโโ
โ
โโ
โ
โ
โ
โโโโโ
โโ
โโโโ
โโ
โโ
โโ
โ
โ
โ
โ
โโ
โโโ
โโโโโโ
โ
โโโโ
โ
โโ
โ
โโโ
โ
โ
โ
โโโโโโโโโโโโโ
โโ
โโโโโโโ
โ
โโ
โ
โโโโ
โ
โโโโโ
โโ
โโโ
โ
โโ
โ
โโ
โ
โโ
โ
โ
โโ
โโโโ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโ
โ
โโโโโโ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโ
โ
โโ โโโ โ
โ
โ
โโ
โ โโ
โ
โ
โ โ
โโ
โ
โโ
โ
โ
โโ
โ
โโ
โ
โโ
โโโโ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโ
โโ
โ
โ
โโ
โโโโโ
โ
โโโ
โโโ
โโ
โ
โโโ
โ
โโ
โ
โ
โโโ
โ
โ
โ
โโ
โโ
โ
โโ
โโ
โโโโโโ
โโ
โ
โ
โ
โโ
โโโโโโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โ
โโโ
โโโ
โโโโโโ โโโโ โโโโ โโโ โโ โโโ
โ โโ
โ โ โ โโโโ
โโโโโ
โ โ
โโโ โ
โโโโโโโ
โ โโ โโโโ
โโ โโโ โโโ โโโโโ โโโ โโโ
โโโ โ โโโ
โโโโ
โ
โโโโโโโโ โโโโ โโโโโโ
โ
โโ
โโ โ
โโ
โโโ
โ โ
โโโ
โ
โ
โโโ
โ
โ
โโโ โ
โ
โโโ
โ โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โ
โโโ
โโ
โ
โ
โโ
โ
โโโ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโ
โ
โโโโโ
โโ
โโ
โ
โโโ
โ
โโโโ
โ
โ
โ
โโโโโ
โโ
โโโ
โ
โ
โโ
โ
โ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ
โ
โโ
โโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โโโโโโโโ โโโ โโ โโโโโโโ โโ โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโโโ
โ
โโโ โโ
โโ
โ โโ โโโโโโ โโ โโ โ
โโ
โ โโโโ
โ
โโโ
โ
โ โโโโโ โโโโ
โ
โโโโโโโโโโ โโโโ โ
โ
โ
โโ
โ
โโโ
โโ
โ
โ โโ
โ
โโโโโโ
โโโโโ
โโโโโโโโโโโโ
โโโโโโโโโโ
โ
โ
โ
โโ โโ
โโ
โโ โโ โโโ
โ
โ
โ
โโ โโโ โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โโ
โ
โโโโโโโ
โโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโ
โ
โ
โโโโ
โโโ โโโโโโโ โโโโโโโ โโโ โโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โโ
โโโโโโ
โ
โ
โ
โ
โโโ
โ
โ
โโ
โ
โ โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โ
โ
โ
โ
โ
โ
โโโ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โโโโโโโโ
โโ
โโโโโโ
โ
โโโโ
โ
โ
โโ
โโโโ
โ
โโ
โโ
โโโโ
โ
โโโโโโ
โโโโ
โโ
โ
โโ
โ
โโ
โ
โโโโโ
โ
โโโโ
โโ
โโโโ
โโ โ
โโ
โ
โ
โ
โ
โโโโโโ โโโ โโโโโโ โโโโโ โโโโ โโ โโ
โ
โ
โ
โโโโโโโโ
โโ
โ โโ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโโ
โ
โ
โโโโโ
โ
โโโ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โโ
โโโโ
โ
โ
โ
โ
โโโ
โ
โโ
โโ
โโโโ
โ
โโโโโ
โ
โ
โโโ
โ
โ
โ
โ
โโโโ
โโ
โ
โ
โ
โโโ
โโ
โโ
โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโ
โโ
โโโ โโโ
โโ
โโโ
โโ โโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โโ
โโ
โโโโโโโ
โ
โโโโโ โโโโโโ โโโโ โโ
โ
โ
โโโ
โ
โโ
โโโโโ
โโโ
โโโโโโ
โ
โโโโ
โ
โโโโโโ
โ
โ โ
โโ โ
โโโโโ โโโโ
โ
โ
โ
โโ
โ
โ
โโ
โโ
โโ
โ
โ
โ
โ
โโ
โ
โโโโโ
โ
โโโโโโโโ
โ
โโโโโโ
โ
โ
โ
โโโโโ
โโ
โโ
โ
โโโโ
โ
โ
โ
โโโโ
โโ
โโโโโ
โ
โโโโ
โ
โ
โโ
โโโ
โ
โโ
โโ
โโโโโ
โโ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โโ โโ โ โโ
โโโ
โโ
โโโโ
โ
โโโโ โ
โ
โ
โ
โ โโ โโโ โโโโ โโโโโโโโโโ โโโโโ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โ โ
โโ
โ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โโ
โโ
โ
โโโโโโ
โ
โ
โ
โ
โโ
โโโโโโโ โ
โ
โโ โโ
โ
โโโโโ
โ
โ
โ
โ โโ
โ
โโโ
โ
โโ
โ
โ โโ โโโ โโโโโโโโโโโโโโโโโโโโโโโโ โโโโโ
โ
โ
โ
โโโโโ
โ
โโ
โโ
โ
โ
โ
โ
โโโ
โโโโโโโโโโโโโ
โโโโโ
โโโโโ
โ
โ
โ
โโโ
โ
โ
โโ
โโโ
โโ โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โโโโ
โ
โโ
โโ
โโ
โ
โโ
โ
โ
โโ
โโ โ
โโ
โ
โโโ
โ
โโ โ
โ
โโ โ
โโ
โโ
โ
โ โโ
โโโ
โ โ
โ
โ
โ
โโ
โโ
โโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ โโโ
โ
โ
โ
โโ
โโ
โ
โ
โโ
โโ
โ
โ
โ
โโ
โ
โโ
โ
โ
โโ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโโโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ โโ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โโ
โโโโโโโ
โ
โโ
โ
โ
โโ
โ
โ
โโโ
โ
โโโโโ
โโ
โ
โโ
โ
โโ
โโ
โ
โโโ
โ
โโโโโโโโโ
โโ
โ
โ
โ
โ
โโโ
โ
โโโ
โ
โโ
โโ
โ
โโโโ
โโ
โ
โ
โ
โ
โ
โ
โ
โโโโโ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ โ
โโ
โ
โ
โ
โ
โ
โโ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โโ
โโ
โ
โ
โ
โโโโโโโโโโโโโโโโ
โ
โโ
โโ
โ
โ
โ
โ
โโโโ โโโโ โโโโโโโ โโโ โโโ โโ โโโโโโโ โโโ โโโโ โโโโโโโ
โโโ โโโโ โโโ
โ
โ
โ
โ
โโ
โ
โ
โโ
โโ
โ
โโโ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โโโโ โโ โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โ
โโ
โ
โ
โโ
โโ
โโโโโ
โ
โ
โโ
โโ
โโโโโโโ
โโโโ
โ
โ
โโโโ
โโ
โ
โโโ
โ
โโ
โ
โ
โ
โ
โ
โ
โโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โ โ
โ
โโ โ
โ
โโ
โ
โ
โ
โ
โ
โโโ
โโ
โโโโโ โ
โ
โ
โ
โโ
โ
โโ โโโ
โ
โโโโโ
โ
โโโ
โ
โ
โ
โ โโโโโโโโโ โโ
โโ
โโ
โ
โโโโโโโโโโ โโโโโโโโโโโโ โ
โ
โ โโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโ โโ โโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโ โโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโ โโโโ โโโโ โโ โ
โ
โ
โโ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โโ
โ
โโโ
โโโ
โ
โ
โโโโโ
โ
โโ
โ
โ
โโ
โโ
โโ
โ
โโ
โโโโโโโโ
โ
โ
โ
โ
โ
โโ
โโโโ
โ
โโ
โโโโ โโโโโโโ โโโ โโโ โโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โ โโโโโโ
โ
โโโ
โ
โ
โ
โโโโโ
โโโ
โโ โ
โโ
โโโโโโโโ
โโ
โ
โ
โ
โ
โโ โโโโโ
โ
โโโ โ
โโ
โ
โ
โ โโโโโ โโโโโโ
โโ
โโ
โ
โ
โ
โโโโโโ
โ
โโโโ
โ
โโ
โโ
โโ โ
โ
โ
โโ
โโ
โโโโ
โโโ
โโโโโโ
โโ
โโโโโ
โ
โโ
โ
โ
โ
โ
โโโโ
โ
โ
โ
โโโโโ
โ
โโโ
โ
โ
โ
โโโโ
โ
โโโโ
โ
โโ
โโ
โ
โโโโ
โ
โโ
โ
โโโโ
โโโโ
โโโโโโโโ
โโโโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โโ
โ
โโโ
โ โโโ
โโโ โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ โโ
โ
โ
โโ
โโโ โโโ โโ โโโโโ โ
โโ
โ โโโ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โโโ
โ
โโ โโโ
โ
โ
โ
โโ
โโโ โโ
โ
โ
โ
โ
โ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ โ โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ โ
โ
โโ
โ
โโ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ โ
โโ
โ
โ
โ โโ
โ
โ
โ
โ
โ
โ
โโโ
โ
โโโ
โโโ
โ
โ
โ โ
โโ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โโ
โโ
โโ
โโ
โ
โ
โ
โ
โ
โโโโ
โ
โ
โ
โโโโโโ
โโโโโโโโโโ
โโโ
โโโโโ
โโโโโโ
โโ
โโโโ
โโโโ
โโ
โโโโโโโโโโโโ
โโโโ
โโโโโโโ
โโโโโโโโโโโ
โโ
โโโ
โโโโ
โโโโ
โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โโโ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โโ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โโโโ
โโโโโโ
โ
โ
โ
โ
โโโ
โ
โโ
โโ
โ
โโ
โ
โ
โ
โ
โโ
โโโโโ
โ
โ
โ
โโโ
โ
โโโ
โโ
โโ
โ
โ
โ
โ
โโ
โ
โโ
โโ
โ
โ
โ
โ
โโโโโโโ
โโโ
โโโโโโโโโโโโโโโโโโโโโโ
โ
โโ โโ
โโโโโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโโโ
โโโโโ
โโโโโ
โโโโโโโโโโโโโ
โโโโ
โโโโ
โโโโ
โโโโโโโ
โโโโโ
โโโโ
โโโโ
โโ
โโโโโ
โโโโโโโโโโโโโ
โโโ
โโโโโโ
โโโโโโ
โโโ
โโโโ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โโโ
โ
โ
โ
โโ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โโ
โโโ โ
โโโ
โ
โ
โโโ
โ
โ
โ
โโโ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โโโ
โโ
โโโโ
โ
โ
โโ โ
โโ
โ
โ
โโ
โ
โ
โโโ
โ
โโ
โโ
โโ โโโ โโ
โโโ
โโโ โโ
โ
โ
โ
โ
โ
โโ
โ โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โโ
โโโโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโโ
โโ
โ
โโโ
โโ
โ
โ โ
โโโโโ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ โ
โ
โโ
โ
โ
โ
โโโโโโโโโโโโโ
โ
โโโโ
โ
โโโโโโโโโโโโโโ
โ
โโ
โ
โโโโโโโโโโโ
โ
โโโโโโโ
โ
โ
โโ
โโโโโโโโโโโโโโ
โ
โโโ
โโ
โโโโโโ
โ
โโ
โ
โโโโโโโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ โ
โโ
โ
โ
โ
โ
โโ
โ
โโ
โโโ
โโ โ
โ
โโโโโโโโ
โ
โ
โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โโ
โ
โโโ
โโ
โ
โโโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โโโ
โ
โโโ
โโ
โโโ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โโ
โ
โโ
โ
โ
โโโ
โ
โโ
โ
โ
โ
โโโโ
โ โ
โโโโโโ
โ
โโ
โ
โโ
โ
โ
โโ
โ
โ
โโ
โ
โโ
โ
โ
โโโ
โโโ
โโโ
โโโ
โโโโโ
โ
โ
โ
โ
โโโโ โโ
โ
โโ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโโ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โโโ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โโ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโโ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โโโ
โ
โโ
โ
โโ
โโ
โ
โโโ
โ
โ
โโ
โโโ
โโโโโโโ
โโโ
โ
โโโ
โโโ
โโ
โโ
โ
โ
โโ
โโโ
โ
โโโโโ โโโโโโ
โ
โโโ
โ
โ
โ
โโโ
โ
โโ
โโโ
โโ
โ
โโ
โโโ
โ
โ
โ
โโโ
โ
โโโ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโ โ
โ
โ
โ โโ
โ
โ
โโ
โโ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ โ
โโ โ
โโโโโ โโ โโโโโโโ โโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโ โโโโโโโโโโ โโโโโโโโโโโ โโโโโโ โโโโโโโโ โโโโโ โ
โ
โ
โ
โ
โโโโโโโโโโโโโโ
โ
โโโโโโโ
โ
โโโโโโ
โโ
โโโโโโโ
โโ
โโโโโโโโโโโโ
โ
โโโโ
โ
โ
โโ
โโโโโโโโโโโโโ
โโ
โโโโ
โโ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โ
โโโ
โ
โ
โ
โ
โโ
โ
โโ
โ
โโ โ
โ
โ
โโ โโ
โโ
โ
โ
โโโ
โ
โโโ
โโ
โ
โโโ
โ
โ
โ
โ
โ
โ
โโโโ
โ
โโ
โโโ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โโโ
โ
โ
โ
โ
โโโโโโโ โโ โโ
โ
โ
โ
โ
โ
โ
โโโ
โโโ
โ โโ
โโ
โโโ
โ
โโโ
โ
โ
โโโ
โโโ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โโ
โโโ
โ
โ
โโ
โโ
โ
โโ
โ
โโ
โโโโ
โโ
โ
โ
โ
โ
โโ
โโโ
โโโโ
โโ
โ
โ
โ
โ
โโ
โโโ
โ
โโ โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โโ
โโ
โ
โโ
โ
โ
โโ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โโโโโ
โ
โ
โ
โโ
โ
โ
โโ
โโ
โ
โโ
โ
โ
โโ โโ
โ
โ โ
โ
โ
โโ
โโ
โ
โ โโ
โโโ
โโ โ
โ โโโ
โโโโโโโโโโโโโโโโโโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโโโโ
โโ
โโ
โโ
โโโโโโโโ โโ
โ
โโโโโ
โ
โ
โ
โ
โโ
โโโโโโโ
โ
โโ
โ
โ
โโ
โ
โโ
โโโ
โโ
โโ
โ
โโโโ
โ
โ
โ
โ
โ
โ
โโ
โ โโโโโ โโ
โ
โ
โโ
โโโโโ
โโ
โโโโโโโ
โ
โโโ
โ
โโโโโ
โ
โโโ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโ
โโ
โโโโ
โ
โโโโ
โ
โโ
โ
โโ
โ
โโโโโโโโโโโโโโ
โ
โโโโ
โโโ
โโโโโ
โโ
โโโ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โ โโ
โโ
โ
โ
โ
โ
โโโ
โ
โ
โโ
โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ โโ
โ
โ
โ
โโ
โ
โ
โ
โโโ
โ
โ
โ
โโ
โโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โโ
โ
โ
โโ
โโโโ
โ
โโโโโ
โ
โโโโโโโ
โ
โโโโโโโโโโโโโโโ
โ
โ
โ
โโโโโโโโโโโ
โ
โโโโโโโ
โโ
โโโโโโ
โ
โโโโ
โ
โโโโโโโโ
โ
โโโ
โ
โโโโ
โ
โโโโ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ โโโโ โโโ โโ โโโ โโโโโโ โโ โโ โโ โโโโ โโ โโ โโโโโโโ โโโโ โโ โโ โโโโโโโโโโโโโโโโ โโโโ โโโโ โโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโ โโโ โโโ โโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโ
โ
โโ
โโโโโ
โโโโโ
โ
โโ
โ
โ
โโ
โโ
โโ
โ
โโ
โโ
โโ
โ
โโ
โ
โโโ
โโ
โโโโโ
โ
โ
โโ
โ
โ
โ
โ
โโ
โ
โ โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโ
โ
โโ
โ
โโโ
โโ
โโโโโ
โ
โโโโโโโโโโโโโโโโ โโโโโโ โโโ โโ โโโโโโ โโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โ
โโโโโโโโโโโโโโ
โ
โโ
โโโ
โโ
โโ
โโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโ
โโโโ
โโ
โ
โ
โ
โ
โโ
โโ
โ
โโโโโโโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโ
โโ
โ
โ
โ
โ
โโโโ
โโ
โ
โ
โโ
โ
โ
โโ
โ โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ โ
โ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โโโโโโ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโ
โ
โ
โ
โ
โ
โโ
โ
โโโโ
โโโโโ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โโ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โ
โโ
โ
โ
โโโ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโโ
โโโโ
โโโ
โโ โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โโโ
โโ
โโโโโ
โ
โโโ
โโ
โ โ โโโโ โ
โโโ
โโโ โ
โโ
โโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ โ
โ โ
โ โ
โ
โโ
โ
โโ
โ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโ
โ
โ โโโ
โโโโโ โโโโโ
โโ โ
โ
โโ โโโ
โ
โ
โโโ
โโโ
โ
โ โ
โโโ
โ
โ
โโ
โ
โโโ
โ
โ โโโโโ โโ
โ
โโ โ
โ
โ โ
โโ
โ
โโ
โโโ
โ โโโโโ
โโโโโโ โ
โโโ
โโ
โ
โโโ โโโ
โโ
โ โโ
โโโโ โโโ
โโ
โ
โโ โโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ โโ โโโโโโโ
โโ
โโ
โ
โ
โโ
โโโโ
โ
โโ
โโ
โโ
โ
โ
โโ
โ
โโโโโโ
โ
โโโโ
โโ
โโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โ
โโ
โโโ
โ
โ
โ
โ
โ โ
โ
โโโโโโโโโ
โโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ โโโ
โ
โโ
โโ
โ
โโ
โโโ
โ
โ
โ
โโ โโ
โ
โ
โ โโโ
โ
โ
โโโ
โ
โ
โ
โโโ โโ
โ โโ
โ
โ
โ
โ
โโ
โโโ
โโโโโโ
โ
โ โโโ
โ
โโ
โโ
โ
โ
โ
โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโ
โ
โโโโโโโโโโโ
โโโ
โโโโโโโ
โ
โ
โ
โโโโโโโโโ
โ
โ
โ
โโโโ
โ
โโโ
โ
โโโโโโโโโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโโ
โ
โโโโโ
โโ
โโ
โโ
โ
โโโโโ
โ
โโโ
โโ
โโโโโ
โ
โโ
โ
โ
โ
โ
โโโโ
โ
โโโ
โ
โโโ
โ
โโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโ โโโโโโโโโโโ โโโ โโโโ โโ โโโโโโ โโโโโโ โโโโโโโโโ โโโโ โโโ โโโโ โโโโโโโโโโโโ โโ โโโโโโโโ โโโโ โโโโโ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ
โโโโ
โโ
โโโโโโโโโโ
โ
โโโโโโโโโโโ
โ
โโโโโโ
โ
โโโโโ
โโ
โโ
โโ
โโโ
โโ
โโโโโโโโโโโ
โ
โโโโโโโโโโโโโโ
โ
โ
โ
โ
โ
โโโโ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ โ
โโ
โ
โโโ
โ
โโ
โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โโโ
โโ
โ
โ
โโโโโ
โโโ
โโ
โโโโโโโโโโโโโโโโโโโ โ
โโโ
โโโโโโโโโโโโโโโโโโโโโโ
โ
โโโ
โ
โโโ
โ
โ
โ
โ
โ
โโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โโ
โโโโโโโโโโโโโ
โโโ
โโโโโโ
โ
โโโโ
โ
โโ
โ
โโโ
โ
โโโโโโโโโโโโ
โ
โโโโโโโโโโโโโโโโโโโ
โ
โโโโโโ
โ
โโโ
โ
โโโโโโโโโโโโโโโโโโ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโ
โโโ
โโ
โ
โโ
โโ
โโ
โโ
โ
โโ
โ
โ
โโโโโ
โ
โโโ
โ
โ
โ
โ
โโโ
โ
โ
โ
โโ
โโโโ
โโ
โโ
โโ
โ
โ
โ
โ
โ
โโ
โ
โโ
โโ
โโ
โโโโ
โ
โโโโโโโโโโโ
โโ
โ
โ
โโโ
โโ
โโ
โ
โโ โโโโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโ
โ
โโโโโโ
โ
โโ
โ
โโโ
โ
โโโโโโโโ โโโโโโ
โ
โโโโ โโโโ โโ
โ
โ
โ
โโโ โ
โ
โ โโโโโโโโโโโ โโโโโโโโ โโโ โโโ โ
โ
โ
โโโ
โโ โโ
โ
โโโโโ
โโ
โ
โโโโโ
โ
โโ
โ
โ
โโ
โ
โ
โโโ
โ โ
โ
โโโ
โโ
โ
โ
โ
โโโโ
โโโ โ
โ
โโโ
โโโ
โ
โโ
โ
โโโ
โ
โโ
โโ
โ
โโ
โโโโ
โ
โโ
โโโ
โโโโ
โ
โ
โ โโโโ
โโโ
โ
โ
โโ
โโโ
โโ
โ
โ
โโ
โ
โโ
โ
โโ
โโโโ
โ
โ
โโโ
โโ
โ
โ
โโ
โ โโโโโโโโโโโโ
โ
โโโ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโโโโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โโ
โ
โ
โ
โ
โ
โโโโโโโโโโโโโโโโโโ โโโโ โโ โโ โโโโ
โ
โ
โโ
โโโโ
โ
โโโโ
โ
โโโโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โโโโโ
โโโโ โโ โ โโโโโโ โโโ โโโ โโโ โ โโโ โ โโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโ
โ
โโโโโโโโโโโโโโ
โ
โโ
โ
โโโโโโโโโโโ
โ
โโโโโโโ
โ
โ
โโ
โโโโโโโโโโโโโโ
โ
โโโ
โโ
โโโโโโ
โ
โโ
โ
โโโโโโโโ
โ
โ
โ
โ
โ
โ
โโ
โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ โโ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ โ
โโโ
โโ
โ
โโ
โ
โ
โ
โ
โโ
โโ
โโ
โโ โโ
โโโ
โโ
โโ
โ
โ
โ
โโ
โโ โโ
โ
โ
โ
โ
โโ
โ
โโโโ
โโโโ โ
โ
โ
โ
โโ
โโ
โโโ
โ
โ
โ
โโโโ
โ
โโโโโ โโโโโโโโโโ
โ
โ
โ
โโโโโ โโโโ
โ
โโโโโ
โโ
โ โโ โ
โโ
โโโโ โโโ โโโโโโโโโโ
โ
โโ
โโ
โโโ โโโ โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โโโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โโโ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ
โ โ
โ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ โ
โ
โ
โโ
โ
โ
โ
โ
โโโโโโโ
โโ โ
โโโโโ โ
โโโ
โโ โ
โโโโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโโโโโโ
0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
Intertranscriber Agreement Score
Inte
rtra
nscr
iber
Aco
ustic
Sco
re D
iffer
ence
r = 0.5
Figure 4: Difference of acoustic alignment scores between apair of transcribers vs. their inter-transcriber agreement.
T1 T2 T3 T4 T5
Transcribers
Acc
urac
y S
core
โ0.
7โ
0.6
โ0.
5โ
0.4
โ0.
3โ
0.2
โ0.
10.
0
Figure 5: The average acoustic alignment score for each tran-scriber.
4. Predicting transcription difficultyIn a large-scale transcription effort, efficiently distributing workto the transcription team is important. For a fixed budget, onemight wish simply to transcribe as much speech as possible. Or,one might wish to have a more experienced transcriber workwith the more challenging audio. Both of these goals couldbe served if we could estimate the difficulty of transcribing aspeech segment in advance of actually transcribing it. This sec-tion details an experiment using unconstrained acoustic recog-nition on the speech segments as a predictor of transcriptiondifficulty.
Actual transcription difficulty was measured by recordingthe transcriber activity associated with each segment. The in-tervals during which a segment was selected, the start and stoptimes for playback, the number of plays, the intervals duringwhich the transcriber was actively editing a segment (deter-mined by monitoring keyboard activity) and the number of editintervals were logged. A visualization of these transcriber logsis presented in figure 7, which shows segments being selected,played and edited. Note that in some cases a segment is playedmultiple times, or there are multiple edit intervals. We definethe user activity interval as the interval over which the tran-scriber is either playing or editing a segment. We take this quan-tity to be the amount of work required for a segment. Since theactual audio segment length varies, we take the ratio of work tosegment length to reflect the โdifficultyโ of the segment.
An important confound to address are situations where thetranscriber spends a long time on a segment but is not activelyworking, such as during a break. Fortunately, in these situationsthe ratio of user activity for a segment to the time the segmentwas selected will be very low. For example, in some cases asegment is selected for 10 minutes although they only spent 10seconds actively working. By thresholding on this value we canfilter out these cases. Figure 6 shows a histogram of the numberof segments in the transcription log binned by the transcriberactivity percentage. Most of the segments show that the tran-scribers were actively working, but by using this histogram wecan choose an appropriate cutoff point for segments where thetranscriber was either distracted or not working.
The question we wish to answer in this section is whethera purely automatic method can predict the transcription diffi-culty of a segment before it is transcribed. Our method appliesHTKโs [12] automatic speech recognition tools to the audiosegment to obtain an acoustic recognition score. The acousticscore captures how well the acoustic model fits the given audio.If there was a lot of noise, if the speech was in another lan-guage, or the words were not spoken clearly one would expect
Activity Percentage
Num
ber
of S
egm
ents
0.0 0.2 0.4 0.6 0.8 1.0
050
100
150
200
Figure 6: The number of segments binned by how actively thetranscriber worked on the segment. A low activity percentagefor a segment may be due to the transcriber taking a break fromtranscription and thus should not be included in the analysis.
Speech Segment
Speaker-ID
HTKSpeaker Dependent
Acoustic Model
PredictedTranscription
Difficulty
ASRAcoustic Score
Speech Segment
Speaker-ID
HTKSpeaker Dependent
Acoustic Model
ExpectedTranscription
Accuracy
Forced AlignmentAcoustic Score
Transcription
Figure 8: Pipeline for calculating the predicted transcriptiondifficulty for an audio segment.
a low acoustic score. As with the accuracy measure, Viterbiis run on speech segments, but this time uses a speaker inde-pendent acoustic model. Since there is no transcript associatedwith the speech segment, the system essentially performs auto-matic speech recognition using a complete English dictionary,yielding acoustic difficulty scores similar to those generated bythe aligner described earlier. This pipeline is depicted in figure8. The acoustic difficulty score measures how well an untran-scribed speech segment matches a speaker-independent acous-tic model for English. Figure 9 shows a scatter plot of the acous-tic difficulty score against the actual transcriber difficulty. Thisplot was generated by including only those segments for whichthe transcriber was actively working for more than 75% of thetime the segment was selected. The high correlation (r = 0.64and p < 0.001) implies that acoustic difficulty of a segmentcan be used to predict how difficult it will be to transcribe thesegment, and thus how long the transcription will take. As men-tioned, if the transcriber takes a break while a particular seg-ment is selected, the activity percentage for that segment will
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ โ
โ
โโ โ
โ
โ
โ
โ โ โโโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ โโ โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โโโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โโโ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโโ
โ
โ โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโโ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โโ
โโ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โโ
โ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โ
โ
โ โ
โ
โ
โ
โ
โโ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โโ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โโ โ
โโ
โ
โ
โ
โ
โ
โโ
โ
โ
โโ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ โ
โ
โ
โโ
โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ โ โโ
โ
โ
โ
โโ
โ
โ
โ
โ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โ
โ โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โ
โโ
โ
โโ
โ
โ4 โ3 โ2 โ1 0
02
46
810
Normalized Acoustic Score
Nor
mal
ized
Act
ivity
Sco
re
r = โ0.64
Figure 9: Scatter plot of acoustic score of a segment againstthe transcriber โactivityโ on that segment. Segment for whichthe transcriber activity relative to segment selection time aregreater than 0.75 are included here, resulting in a correlationof r = โ0.64, p < .001
Figure 7: User activity log showing segment selections, playbacks and edits. Note that playback and editing overlap, and in some casesa segment is played and edited over multiple intervals.
0.0 0.2 0.4 0.6 0.8 1.0
โ0.
60โ
0.55
โ0.
50
Activity Percentage Cutoff
Cor
rela
tion
Figure 10: Acoustic difficulty score vs. actual transcriber diffi-culty r-values at different activity percentage cutoff thresholds.
decrease significantly and our model of transcription difficultywill break down. Figure 10 shows how the correlation varies asa function of this activity percentage cutoff.
5. Discussion
We have shown how an automatic system, built from HTKโsforced-alignment and speech recognition components, can au-tomatically estimate the accuracy of transcriptions and the ef-fort required to transcribe speech segments. Using this sys-tem, we can estimate the accuracy of a given transcript with-out manual review or the additional effort required to performinter-transcriber agreement. Though the acoustic alignmentscore is noisy, it is a good proxy for inter-transcriber agreementand vastly cheaper to obtain. Furthermore, this accuracy mea-sure can be used to evaluate individual transcriber performance.Transcripts with a low acoustic alignment score could be identi-fied in order to re-transcribe them or simply remove them fromthe dataset.
In addition, this system enables us to automatically predicthow hard a given segment will be to transcribe. This givesthe transcription manager control over a large-scale transcrip-tion task by allowing them to prioritize which speech should bedistributed to the transcription team. If the goal is to transcribeas much speech as possible, then perhaps the easiest utterancesshould be transcribed first. Alternatively, blocks of speech thatare easier, on average, could be distributed to new transcriberswhile more challenging audio is distributed to experienced tran-scribers. In the future, we may explore how other variables suchas number of edits and number of playbacks relate to overalltranscription time and how well they correlate with the acousticdifficulty score. Overall, we see this system as an important anduseful tool for managing a large-scale transcription effort.
6. AcknowledgementsMany thanks to Karina Lundahl and the transcription team, aswell as Matt Miller for his work on the speaker identificationsystem. Special thanks to Ruquia Asghar, Ruchi Gadodia, DrewLaude, Sara Natale, and Halle Ritter for their helpful comments.
7. References[1] B. MacWhinney, The CHILDES Project: Tools for Analyzing
Talk, 3rd ed. Lawrence Erlbaum Associates, 2000.
[2] C. Barras, E. Geoffrois, Z. Wu, and M. Liberman, โTranscriber:Development and use of a tool for assisting speech corpora pro-duction,โ Speech Communication, vol. 33, no. 1-2, pp. 5โ22, Jan-uary 2001.
[3] D. Reidsma, D. Hofs, and N. Jovanovic, โDesigning focused andefficient annotation tools,โ in Measuring Behaviour, 5th Interna-tional Conference on Methods and Techniques in Behavioral Re-search, Wageningen, The Netherlands, 2005.
[4] M. Marge, S. Banerjee, and A. Rudnicky, โUsing the Amazon Me-chanical Turk for transcription of spoken language,โ in ICASSP,March 2010.
[5] S. Novotney and C. Callison-Burch, โCheap, fast and goodenough: Automatic speech recognition with non-expert transcrip-tion,โ in NAACL, 2010.
[6] D. Roy, R. Patel, P. DeCamp, R. Kubat, M. Fleischman, B. Roy,N. Mavridis, S. Tellex, A. Salata, J. Guinness, M. Levit, andP. Gorniak, โThe Human Speechome Project,โ in Proceedings ofthe 28th Annual Cognitive Science Conference. Mahwah, NJ:Lawrence Earlbaum, 2006, pp. 2059โ2064.
[7] B. C. Roy, M. C. Frank, and D. Roy, โExploring word learningin a high-density longitudinal corpus,โ in Proceedings of the 31stAnnual Cognitive Science Conference, 2009.
[8] S. Vosoughi, B. C. Roy, M. C. Frank, and D. Roy, โEffects ofcaregiver prosody on child language acquisition,โ in Fifth Inter-national Conference on Speech Prosody, Chicago, IL, 2010.
[9] B. C. Roy and D. Roy, โFast transcription of unstructured audiorecordings,โ in Proceedings of Interspeech, Brighton, England,2009.
[10] J. Fiscus. (2007) Speech recognition scoring toolkit ver. 2.3(sctk). [Online]. Available: http://www.nist.gov/speech/tools/
[11] W. Walker, P. Lamere, P. Kwok, B. Raj, R. Singh, E. Gouvea,P. Wolf, and J. Woelfel, โSphinx-4: A flexible open source frame-work for speech recognition,โ Sun Microsystems, Tech. Rep. 139,November 2004.
[12] S. Young, G. Evermann, D. Kershaw, D. Moore, J. Odell, D. Olla-son, V. Valtchev, and P. Woodland, โThe HTK Book,โ CambridgeUniversity Engineering Dept, 2001.