M e a s u ri n g A b s t r a c t Mi n d- S e t s T h r o u g hS y n t a x: A u t o m a ti n g t h e Li n g ui s ti cC a t e g o r y M o d el

K a t e M. J o h n s o n- G r e y 1 , R ei h a n e B o g h r a ti1 , C h e r yl J. W a k sl a k1 ,a n d M o r t e z a D e h g h a ni 1

A b s t r a c t

A bst r a cti o n i n l a n g u a g e h as c riti c al i m pli c ati o ns f o r m e m o r y, j u d g m e nt, a n d l e a r ni n g a n d c a n p r o vi d e a n i m p o rt a nt wi n d o w i nt o ap e rs o n’s c o g niti v e a bst r a cti o n l e v el. T h e li n g uisti c c at e g o r y m o d el ( L C M) p r o vi d es o n e w ell- v ali d at e d, h u m a n- c o d e d a p p r o a c h t oq u a ntif yi n g li n g ui sti c a b st r a cti o n. I n t hi s a rti cl e, w e l e v e r a g e t h e L C M t o c o n st r u ct t h e S y nt a x- L C M, a c o m p ut e r- a ut o m at e dm et h o d w hi c h q u a ntifi es s y nt a x us e t h at i n di c at es a bst r a cti o n l e v els. W e t est t h e S y nt a x- L C M’s a c c u r a c y f o r a p p r o xi m ati n gh a n d- c o d e d L C M s c o r es a n d v ali d at e t h at it diff e r e nti at es b et w e e n t e xt i nt e n d e d f o r a dist al o r p r o xi m al m ess a g e r e ci pi e nt( p r e vi o usl y li n k e d wit h s hifts i n a bst r a cti o n). W e als o c o nsi d e r e xisti n g a ut o m at e d m et h o ds f o r q u a ntif yi n g li n g uisti c a bst r a cti o na n d fi n d t h at t h e S y nt a x- L C M m ost c o nsist e ntl y a p p r o xi m at es L C M s c o r es a c r oss c o nt e xts. W e dis c uss p r a cti c al a n d t h e o r eti c ali m pli c ati o ns of t h es e fi n di n gs.

K e y w o r d s

L C M, c o nst r u al-l e v el t h e o r y, t e xt a n al ysis, s y nt a x, l a n g u a g e, a bst r a cti o n

A bstr a cti o n is a criti c al c o nstr u ct t h at i nfl u e n c es o ut c o m es s u c ha s l e ar ni n g, m e m or y, j u d g m e nt, s elf-r e g ul ati o n, a n d b e h a vi or(f or a r e vi e w, s e e B ur g o o n, H e n d er s o n, & M ar k m a n, 2 0 1 3).A k e y s u bs et of a bstr a cti o n r es e ar c h f o c us es o n a bstr a cti o n i nl a n g u a g e. D e c a d e s of w or k s u g g e st t h at a b str a ct l a n g u a g ei m p a cts pr o c essi n g a n d m e m or y ( e. g., P ai vi o, 1 9 9 1; S c h w a n e n-fl u g el, H ar nis hf e g er, & St o w e, 1 9 8 8) as w ell as p er c e pti o ns ofaff e cti v e c o n n ot ati o n ( K o ust a, Vi gli o c c o, Vi ns o n, A n dr e ws, &D el C a m p o, 2 0 1 1), i nf or m ati v e n e ss a n d e n d uri n g n e ss ( S e mi n& Fi e dl er, 1 9 9 1), tr ut hf ul n e s s ( H a n s e n & W a ¨ n k e, 2 0 1 0), a n ds o ci al e v al u ati o n of a c o m m u ni c at or ( W a ksl a k, S mit h, & H a n,2 0 1 4). S e p ar at el y, li n g ui sti c a b str a cti o n i s al s o a u s ef ul wi n-d o w i nt o c o g niti v e a b str a cti o n; b e c a u s e m e nt al a b str a cti o naff e ct s l a n g u a g e c h oi c e, a k e y m et h o d f or diff er e nti ati n gb et w e e n c o n cr et e a n d a b str a ct c o g niti o n i s c o n si d eri n g t h ew or ds a p ers o n us es t o d es cri b e his or h er t hi n ki n g.

Pri or lit er at ur e h as c o nsi d er e d v ari e d a p pr o a c h es t o c o n c e p-t u ali zi n g a n d m e a s uri n g li n g ui sti c a bstr a cti o n. I n t h e c urr e ntarti cl e, w e pr es e nt a s y nt a x- b as e d a ut o m at e d m et h o d f or m e a-s uri n g a b str a cti o n i n l a n g u a g e t h at b uil d s o n S e mi n a n d Fi e-dl er’ s t h e or eti c all y gr o u n d e d a n d w ell- v ali d at e d a p pr o a c h,t h e li n g ui sti c c at e g or y m o d el ( L C M, 1 9 8 8). W e st art b yd e s cri bi n g t h e L C M i n m or e d et ail, a n d a n ot h er alt er n ati v ea p pr o a c h ( Br ys b a ert, W arri n er, & K u p er m a n, 2 0 1 4) t h at is als or e a dil y a ut o m at a bl e. W e t h e n i ntr o d u c e t h e S y nt a x- L C M, o urs y nt a x- b a s e d, a ut o m at e d a p pr o a c h. I n t hr e e st u di e s, w e

v ali d at e t hi s m et h o d a n d c o m p ar e it t o alt er n ati v e a ut o m at e dm et h o ds f or c o di n g li n g uisti c a bstr a cti o n.

T h e L C M: M e a s u ri n g A b s t r a c ti o ni n L a n g u a g e

T h e L C M is a t h e or eti c al fr a m e w or k t h at c o nsi d ers t h e s o ci al –c o g niti v e f u n cti o ns of li n g uisti c c at e g ori es ( S e mi n & Fi e dl er,1 9 8 8). T hi s m o d el h a s b e e n u s e d wi d el y i n r e s e ar c h ori e nt e dt o w ar d b ett er u n d erst a n di n g t h e i m p a ct of l a n g u a g e o n s o ci alc o g niti o n ( e. g., S e mi n & Fi e dl er, 1 9 9 1) i n cl u di n g r es e ar c h o ni n di vi d u al-l e v el attri b uti o n ( S e mi n & Fi e dl er, 1 9 8 9) a n d c o n-str u cti v e m e m or y bi as es ( Fi e dl er, S e mi n, & B olt e n, 1 9 8 9). Li n-g uisti c i nt er gr o u p bi a s r e s e ar c h ( e. g., M a ass, S al vi, Ar c uri, &S e mi n, 1 9 8 9) s er v es as a n e x e m pl ar of t h e L C M’s s o ci al – c o g-niti v e a p pr o a c h t o l a n g u a g e a n d its e x pl a n at or y p o w er, s u g g est-i n g t h at p e o pl e ar e bi a s e d t o w ar d u si n g diff er e nt l e v el s ofli n g uisti c a bstr a cti o n w h e n d es cri bi n g p ositi v e i n- gr o u p (r at h er

1 U ni v e rsit y of S o ut h e r n C alif o r ni a, L os A n g el es, C A, U S A

C o r r e s p o n di n g A u t h o r:

K at e M. J o h ns o n- G r e y, D e p a rt m e nt of Ps y c h ol o g y, U ni v e rsit y of S o ut h e r nC alif o r ni a, 3 6 2 0 S o ut h M c Cli nt o c k A v e, S G M 5 0 1, L os A n g el es, C A 9 0 0 8 9,

U S A.

E m ail: k at ej o h ns o n g r e y @ g m ail. c o m

S o ci al Ps y c h ol o gi c al a n dP e rs o n alit y S ci e n c e1- 9ª T h e A ut h o r(s) 2 0 1 9A rti cl e r e us e g ui d eli n es:s a g e p u b. c o m/j o u r n als- p e r missi o nsD OI: 1 0. 1 1 7 7/ 1 9 4 8 5 5 0 6 1 9 8 4 8 0 0 4j o u r n als.s a g e p u b. c o m/ h o m e/s p p

t h a n o ut- gr o u p) b e h a vi ors a n d n e g ati v e o ut- gr o u p (r at h er t h a ni n- gr o u p) b e h a vi ors a n d t h at t his pl a ys a r ol e i n st er e ot y p e p er-p et u ati o n. T h e L C M h a s b e e n fr uitf ull y a p pli e d t o b ot h s h ortli n es of l a n g u a g e ( e. g., M a as s et al., 1 9 8 9) a n d l e n gt hi er t e xts( e. g., S c h mi d & Fi e dl er, 1 9 9 6).

T h e L C M di sti n g ui s h e s b et w e e n f o ur li n g ui sti c c at e g ori e sw hi c h v ar y i n t h eir d e gr e e of a b str a cti o n. A dj e cti v e s ( al o n gwit h a d v er bs a n d n o u n- m o difi er s) f or m t h e m o st a b str a ct li n-g uisti c c at e g or y, as t h e y e m p h asi z e d e c o nt e xt u ali z e d, i n v ari a ntf e at ur es of a n o bj e ct or e v e nt. B y c o m p aris o n, v er bs ar e m or ec o n cr et e t h a n a dj e cti v es b e c a us e t h e y pr o vi d e s p e cifi c c o nt e x-t u al i nf or m ati o n t h at c h a n g e s o v er ti m e. Wit hi n v er b cl a s s e s,t h e L C M disti n g uis h e s b et w e e n t hr e e v er b t y p e s. D es cri pti v ea cti o n v er bs ( D A Vs) ar e m ost c o n cr et e, d es cri bi n g a n o bs er v a-bl e a cti o n wit h a cl e ar b e gi n ni n g a n d e n d t h at is gr o u n d e d i n ap h y si c al b o d y p art ( e. g., e ati n g, w al ki n g). I nt er pr eti v e a cti o nv er bs (I A Vs) ar e a cti o ns wit h a cl e ar b e gi n ni n g a n d e n d b ut t h ati n v ol v e s o m e a m o u nt of i nt er pr et ati o n ( e. g., h el pi n g, e x er ci s-i n g). I A Vs r e q uir e i nt er pr et ati o n a n d ar e t h er e b y m or e a bstr a ctt h a n D A Vs. Fi n all y, st at e v er bs ( S Vs) d es cri b e e n d uri n g m e nt alor e m oti o n al st at es ( e. g., l o v e, a d mir e); t h es e ar e m or e a bstr a ctt h a n I A Vs a n d D A Vs b ut l ess a bstr a ct t h a n a dj e cti v es.

T h e L C M h as b e e n s u c c essf ull y a p pli e d f or d e c a d es, l e a di n gt o a m or e r efi n e d u n d erst a n di n g of l a n g u a g e’s s o ci al f u n cti o ns( S e mi n, 2 0 1 1). A b str a cti o n i s o n e c e ntr al c o m p o n e nt i n t hi sw or k, al o n g wit h i n d u cti v e i nf er e n c e, o n w hi c h t h e li n g uisti cc at e g ori es als o v ar y. T h e L C M w as ori gi n all y a p pli e d t o b ett eru n d erst a n d t h e i m pli c ati o ns of d es cri bi n g b e h a vi ors usi n g dif-f er e nt li n g uisti c c at e g ori e s ( e. g., h o w d o es p er s o n A p er c ei v eb e h a vi or B gi v e n it i s d e s cri b e d u si n g li n g ui sti c c at e g or y C)or t o b ett er u n d erst a n d h o w b e h a vi ors ar e li k el y t o b e d es cri b e d( e. g., h o w d o e s p er s o n X d e s cri b e b e h a vi or Y of p er s o n Z).M or e r e c e ntl y, it h as als o b e e n us e d t o m or e g e n er all y q u a ntif yt h e a b str a cti o n l e v el of a p a s s a g e of t e xt ( e. g., F ujit a et al.,2 0 0 6; J o s hi & W a ksl a k, 2 0 1 4). M a n y r es e ar c h ers usi n g L C Mf or t hi s p ur p o s e ar e c o n d u cti n g r e s e ar c h t h at i s i nf or m e d b yc o nstr u al l e v el t h e or y ( C L T; Tr o p e & Li b er m a n, 2 0 1 0), a t h e-or eti c al p ers p e cti v e t h at h as ar g u e d f or a li n k b et w e e n a bstr a ctm e nt al r e pr es e nt ati o n a n d ps y c h ol o gi c al dist a n c e.

A n i m p ort a nt c h all e n g e f or C L T a n d ot h er t h e ori es of c o g-niti v e a bstr a cti o n is h o w t o m e as ur e a n i n di vi d u al’s a bstr a cti o nl e v el. Alt h o u g h r es e ar c h ers h a v e d e v el o p e d s e v er al c o nstr ai n e dt as ks t h at m e as ur e a bstr a cti o n i n r e g ar d t o a s p e cifi c s et of sti-m uli (s e e B ur g o o n et al., 2 0 1 3), t h e y als o h o p e t o g a u g e i n di-vi d u al s’ l e v el of c o g niti v e a b str a cti o n i n m or e n at ur ali sti cc o nt e xt s. O n e fr uitf ul a p pr o a c h is t o a p pr o xi m at e a s p e a k er’ sl e v el of c o g niti v e a b str a cti o n by q u a ntif yi n g hi s or h er l e v elof li n g uisti c a bstr a cti o n; t his all o ws r es e ar c h ers t o us e l ess c o n-str ai n e d t a s k s a n d l e v er a g e r e al- w orl d ar c hi v al d at a s u c h a so nli n e r e vi e w s or s o ci al m e di a p o st s. C L T r e s e ar c h er s i nt er-e st e d i n q u a ntif yi n g li n g ui sti c a b str a cti o n h a v e t ur n e d t o t h eL C M b e c a us e of its t h e or eti c all y gr o u n d e d, w ell- v ali d at e d his-t or y. Criti c all y, t h e L C M’ s c o n c e pt u ali z ati o n of a b str a cti o nals o fits w ell wit h h o w C L T c o n c e pt u ali z es t his c o nstr u ct, wit hb ot h p er s p e cti v e s e m p h a si zi n g t h at a b str a ct r e pr e s e nt ati o n s

f o c us o n c h ar a ct eristi c s t h at ar e r el e v a nt a cr os s c o nt e xts (i. e.,e n d uri n g c h ar a ct eristi cs).

A u t o m a t e d M e t h o d s f o r C o di n gA b s t r a c t Mi n d- S e t s

D es pit e t h e L C M’s attr a cti v e n e ss as a m et h o d f or q u a ntif yi n gli n g uisti c a bstr a cti o n, t his a p pr o a c h c a n b e c ostl y t o i m pl e m e ntf or l ar g e a m o u nt s of t e xt. A s wit h a n y h a n d- c o di n g s c h e m e,c o d er s m u st b e tr ai n e d a n d c o di n g l ar g e a m o u nt s of t e xt b yh a n d i s i n h er e ntl y ti m e- c o n s u mi n g. T o b y p a s s t h e s e c o n-str ai nt s, r e s e ar c h er s ar e i n cr e a si n gl y t ur ni n g t o a ut o m at e dm et h o d s f or c o di n g a b str a cti o n i n l ar g er c or p or a (l o n g er p as-s a g es or hi g h er v ol u m e of s h ort m ess a g es; B h ati a & W al as e k,2 0 1 6; J o s hi, W a k sl a k, & H u a n g, 2 0 1 8; R e yt, W ei s e nf el d, &Tr o p e, 2 0 1 6; S n efj ell a & K u p er m a n, 2 0 1 5). F or e x a m pl e, S n ef-j ell a a n d K u p er m a n ( 2 0 1 5) c o d e d l ar g e c or p or a ( e. g., N e w Y or kTi m es arti cl es, T witt er d at a) f or li n g uisti c a bstr a cti o n a n d c or-r el at e d t his wit h c o m m u ni c at ors’ dist a n c e fr o m t h e e v e nt t h e yw er e d es cri bi n g t o e x pl or e t h e C L T- p osit e d li n k b et w e e n dis-t a n c e a n d a b str a cti o n i n n at ur ali sti c c o nt e xts. T hi s “ bi g d at a ”a p pr o a c h w a s m a d e p o s si bl e t hr o u g h a ut o m at e d c o di n g, a sh a n d- c o di n g t h o us a n ds of arti cl es or milli o ns of t w e ets w o ul dn ot b e pr a g m ati c all y f e asi bl e.

S n efj ell a a n d K u p er m a n’ s a ut o m at e d a b str a cti o n c o di n ga p pr o a c h (s e e als o B h ati a & W al as e k, 2 0 1 6) r eli es o n r es e ar c hc o n d u ct e d b y Br ys b a ert, W arri n er, a n d K u p er m a n ( 2 0 1 4; h e n-c ef ort h B W K), w h o us e d cr o w ds o ur ci n g t o yi el d c o n cr et e n essr ati n g s f or 4 0, 0 0 0 E n gli s h w or d l e m m a s, i n cl u di n g v er b s,n o u ns, pr e p ositi o ns, a dj e cti v es, a d v er bs, a n d si n gl e l ett ers “ a ”.R at er s w er e i n str u ct e d t h at c o n cr et e w or d s ar e t h o s e e x p eri-e n c e d dir e ctl y b y o n e of t h e fi v e s e ns e s, w hil e a b str a ct w or dsc a n n ot b e e x p eri e n c e d dir e ctl y b ut ar e r at h er d efi n e d b y ot h erw or ds, wit h m a n y w or ds f alli n g i n b et w e e n t h e t w o e xtr e m es.E a c h w or d w as t h e n j u d g e d b y 2 5 – 3 0 r at ers o n a 5- p oi nt s c al e( 1 ¼ a b st r a ct t o 5 ¼ c o n c r et e ). T h e s e r ati n g s c a n b e us e d t og e n er at e a n o v er all c o n cr et e n e s s s c or e vi a a w ei g ht e d w or d-c o u nt a p pr o a c h: E a c h w or d i n t h e t o- b e- c o d e d t e xt t h at a p p e arsi n t h e B W K d at a s et is w ei g ht e d b y its c o n cr et e n ess r ati n g, t h ev al u es ar e s u m m e d, a n d t h e s u m di vi d e d b y t h e t ot al n u m b er ofc o u nt e d w or ds.

T h e o v er all s c or e s g e n er at e d b y t h e B W K a n d t h e L C Mm et h o ds ar e li k el y t o c orr el at e i n m a n y c o nt e xts, gi v e n t h at t h eL C M’ s c at e g ori e s br o a dl y v ar y al o n g t h e e x p eri e n c e- b a s e d/l a n g u a g e- b a s e d c o nti n u u m e mp h a si z e d i n t h e B W K r at eri nstr u cti o ns; f or e x a m pl e, t h e L C M’s m ost c o n cr et e c at e g or y,D A V s, i n v ol v e s a p h y si c al r ef er e nt a n d t h er e b y i s m or ee x p eri e n c e- b as e d t h a n ot h er v er b f or m s a n d a dj e cti v es. H o w-e v er, t h er e ar e s e v er al n ot a bl e diff er e n c e s b et w e e n t h e t w oa p pr o a c h es t h at m a y als o l e a d t o di v er g e n c e, d e p e n di n g o n t h es p e cifi c t y p es of w or ds li k el y t o b e us e d i n t h at c o nt e xt.

Fir st, t h e r ati n g s i n t h e B W K d at a s et r efl e ct a l a y u n d er-st a n di n g of a bstr a cti o n, g ui d e d b y t h e e x p eri e n c e- b as e d v ers usl a n g u a g e- b a s e d di sti n cti o n pr o vi d e d i n t h e i niti al r ati n gi nstr u cti o ns; t his diff ers fr o m t h e L C M, w h er e li n g ui sti c c at e-g ori e s ar e di sti n g ui s h e d c o n c e pt u all y a n d ar g u e d t o v ar y i n

2 S oci al Psyc h ol o gic al a n d P ers o n ality Sci e nc e X X( X)

a bstr a cti o n. S e c o n d, B W K r ati n gs ar e of i n di vi d u al, d e c o nt e x-t u ali z e d w or d s; r ati n g s of s e nt e n c e s t h u s r efl e ct t h e a v er a g ec o n cr et e n e s s r ati n g of t h e i n di vi d u al w or d s u s e d i n t h at s e n-t e n c e a n d d o n ot c o nsi d er t h e w a y t h es e w or ds ar e b ei n g us e di n c o nj u n cti o n wit h o n e a n ot h er. I n c o m p aris o n, t h e L C M pri-m aril y c o nsi d ers h o w a w or d is b ei n g us e d i n a s e nt e n c e w h e ng e n er ati n g a n a bstr a cti o n w ei g ht ( e. g., w h e n a n o u n is us e d t od e s cri b e a n o bj e ct, it is c o d e d as a n a dj e cti v e; C o e n e n, H e d e-b o u w, & S e mi n, 2 0 0 6).

T hir d, S Vs ar e hi g hl y l a n g u a g e- b as e d; t h us, w hil e t h e L C Mi d e ntifi e s t hi s c at e g or y a s l e s s a b str a ct t h a n a dj e cti v e s, t h eirB W K r ati n gs ar e t y pi c all y m or e a bstr a ct t h a n m a n y a dj e cti v es.T his r el at es t o a f o urt h, l ar g er iss u e: W h er e as t h e L C M d o es n otdi sti n g uis h a b str a ct n e s s wit hi n li n g ui sti c c at e g or y, B W K r at-i n g s d o. F or e x a m pl e, a dj e cti v e s i n B W K r ati n g s c a n b ea b str a ct ( e. g., “ et hi c al, ” r at e d 1. 3) or c o n cr et e ( e. g., “ b al d, ”r at e d 4. 6 9). Fift h, t h e L C M d o es n ot c o d e w or ds t h at d o n ot f alli nt o it s f o ur li n g ui sti c c at e g ori e s, w h er e a s t h e B W K m et h o dc o d es a wi d er r a n g e of w or ds, i n cl u di n g arti cl es, pr e p ositi o ns,a n d pr o n o u ns.

T o e x pli c at e disti n cti o ns b et w e e n t h e t w o m et h o ds, c o nsi d ert h e f oll o wi n g s e nt e n c e: “ S h e is a t hi ef. ” A r es e ar c h er usi n g t h eL C M w o ul d c o d e “t hi ef ” ( a n o u n) a s a n a dj e cti v e, si n c e itd es cri b es t h e s u bj e ct “s h e ”; t h e s e nt e n c e w o ul d t h er ef or e h a v et h e s a m e L C M s c or e as t h e s e nt e n c e “ S h e is u n et hi c al. ” I n c o n-tr a st, a r es e ar c h er u si n g t h e B W K m et h o d w o ul d i d e ntif y t h ef or m er s e nt e n c e as m or e c o n cr et e (M ¼ 2. 6 9 5) t h a n t h e l att ers e nt e n c e ( M ¼ 2. 1 9). N o w, c o nsi d er a si mil ar s e nt e n c e c o nt ai n-i n g a D A V: “ S h e st ol e s o m et hi n g. ” A r e s e ar c h er u si n g t h eL C M w o ul d c o d e t his s e nt e n c e as m or e c o n cr et e t h a n “ S h e isa t hi ef ” b ut w o ul d c o d e t h e t w o q uit e si mil arl y usi n g t h e B W Km et h o d ( M ¼ 2. 7 5 vs 2. 6 9 5). 1

A diff er e nt a p pr o a c h t o a ut o m ati n g a bstr a cti o n c o di n g is t omi mi c t h e L C M b y cr e ati n g di cti o n ari es of t h e L C M v er b c at e-g ori e s. S ei h, B ei er, a n d P e n n e b a k er ( 2 0 1 6) att e m pt e d t his b yc oll e cti n g 1, 8 0 0 c o m m o nl y u s e d v er b s a n d s orti n g t h e m i nt ot h e t hr e e L C M v er b c at e g ori es usi n g h u m a n c o d ers a n d e xisti n gG e n er al I n q uir er di cti o n ari es ( St o n e, D u n p h y, & S mit h, 1 9 6 6).T h e n, t h e y a p pli e d p art- of- s p e e c h t a g gi n g (t o i d e ntif y a dj e c-ti v e s a n d v er b s) a n d t h e Li n g ui sti c I n q uir y a n d W or d C o u ntpr o gr a m t o cr e at e LI W C- L C M s c or e s ( P e n n e b a k er, B o ot h,B o y d, & Fr a n cis, 2 0 1 5). Usi n g t his m et h o d, t h e y f o u n d hi g h era bstr a ct l a n g u a g e s c or es f or p arti ci p a nts w h o wr ot e a b o ut dist al(r at h er t h a n pr o xi m al) e v e nts.

W hil e t h e B W K a n d LI W C- L C M m et h o ds off er t h e b e n efitof d e cr e a s e d c o di n g c o st s, n eit h er h a s b e e n ri g or o u sl y c o m-p ar e d t o h u m a n- g e n er at e d L C M s c or e s. A s d e s cri b e d a b o v e,t h e B W K m et h o d is a n i n h er e ntl y diff er e nt a p pr o a c h, a n d f ur-t h er u n d er st a n di n g of h o w it r elat e s t o t h e w ell- e st a bli s h e dL C M is i m p ort a nt, gi v e n r es e ar c h ers m a y us e t hi s m et h o d f orpr a g m ati c, r at h er t h a n t h e or eti c all y d eri v e d, r e a s o n s. T h eLI W C- L C M w o ul d als o b e n efit fr o m f urt h er i n v esti g ati o n, asit w as s p e cifi c all y d esi g n e d t o a p pr o xi m at e t h e L C M b ut d o esn ot c o nsi d er t h e l ar g er s e nt e n c e c o nt e xt i nt e gr al t o m a n y L C Md e cisi o n r ul es (i nst e a d c o di n g w or ds i n is ol ati o n). F urt h er, t h eg a p b et w e e n LI W C- L C M a n d t h e c o nt e xt- b a s e d r ul e s of t h e

L C M off ers t h e p ot e nti al f or a t hir d a p pr o a c h t o L C M a ut o m a-ti o n t h at i n c or p or at es t h e l ar g er s e nt e n c e c o nt e xt.

S y n t a x- L C M: A u t o m a ti n g t h eL C M U si n g S y n t a x

T o bri d g e t h e g a p b et w e e n e xi sti n g a ut o m ati o n m et h o d s a n dt h e L C M, w e d e v el o p e d t h e S y nt a x- L C M, a m et h o d t h at q u a n-tifi e s b ot h p art- of- s p e e c h t a gs a n d d e p e n d e n c y tr e e f e at ur e st h at i n di c at e a bstr a cti o n l e v els. Si n c e t h e L C M c o nsi d ers s y n-t a cti c al or g a ni z ati o n ( e. g., c o p ul a s a n d cl a u s al n o u n s), w eh y p ot h e si z e d t h at q u a ntif yi n g b ot h f e at ur e t y p e s m a y l e a d t om or e a c c ur at e a p pr o xi m ati o ns of L C M s c or es. I n t his m et h o d,w e c o m bi n e t h e LI W C- L C M’ s v er b li sts wit h n o v el s y nt a cti cf e at ur e s t o cr e at e a n a b str a cti o n s c or e t h at c a pt ur e s b ot h t h ec o nt e xt a n d s p e cifi c v er b w or d c h oi c es i nt e gr al t o t h e L C M.

I n w h at f oll o w s, w e d e s cri b e t h e S y nt a x- L C M m et h o dd e v el o p m e nt a n d pr es e nt t hr e e st u di es v ali d ati n g its eff e cti v e-n e s s. I n St u d y 1, w e t e st t h e pr e di cti v e a c c ur a c y of S y nt a x-L C M f or a p pr o xi m ati n g h a n d- c o d e d L C M ( h L C M) s c or es a n dits eff e cti v e n ess f or diff er e nti ati n g b et w e e n e x p eri m e nt al c o n-diti o ns d esi g n e d t o eli cit a bstr a ct a n d c o n cr et e s e nt e n c es usi n ga c or p us c oll e ct e d b y a n affili at e d l a b. I n St u d y 2, w e t est itsg e n er ali z a bilit y u si n g a d at a s et h a n d- c o d e d b y u n affili at e dr e s e ar c h er s. Fi n all y, i n St u d y 3, w e e x a mi n e d w h et h er t h eS y nt a x- L C M a c c ur at el y pr e di cts h a n d- c o d e d s c or es f or T witt erd at a, a m aj or s o ur c e of t e xt u al d at a f or s o ci al s ci e ntists. M at e-ri als, d at a, a n d R s cri pts ar e a v ail a bl e at htt ps:// osf.i o/ hs n m q/ ?vi e w _ o nl y ¼ 8 e 3 3 e c 6 a 2 c 6 6 4 4f 5 8 a 0 4 3 7 b c 9 5 d 4 d 2 e 5. F or allst u di e s, w e r e p ort h o w w e d et er mi n e d s a m pl e si z e, all d at ae x cl usi o ns (if a n y), a n d all m e as ur es us e d f or c o m p aris o n.

S y n t a x- L C M M e t h o d D e v el o p m e n t

T o cr e at e t h e S y nt a x- L C M f e at ur e di cti o n ari e s, w e fir sts el e ct e d a n e xisti n g, o p e n- e n d e d r es p o ns e d at a s et ( h e n c ef ort hr ef err e d t o a s d e v el o p m e nt c or p u s) c oll e ct e d b y t h e fir sta ut h or’s r es e ar c h l a b. T h e c or p u s i s c o m pri s e d of 2 5 6 u n d er-gr a d u at e p s y c h ol o g y p arti ci p a nt s’ r e s p o n s e s t o t w o writi n gpr o m pt s. I n t h e fir st pr o m pt, p arti ci p a nt s wr ot e a b o ut t h ei m p ort a n c e of b ei n g l o y al or f air t o ot h er st u d e nt s; i n t h e s e c-o n d, t h e y wr ot e a b o ut a n ot h er st u d e nt’ s w or k q u alit y. P arti ci-p a nt s g e n er at e d a t ot al of 1, 4 3 9 s e nt e n c e s i n r e s p o n s e t ot h es e pr o m pts ( Pr o m pt 1 ¼ 9 7 3 s e nt e n c es; Pr o m pt 2 ¼ 4 6 6 s e n-t e n c es), a n d w e us e d e a c h s e nt e n c e as t h e u nit of a n al y sis f orm et h o d cr e ati o n.

Est a blis hi n g H u m a n- C o d e d L C M A bstr acti o n Sc or es

W e b e g a n b y h a n d- c o di n g e a c h s e nt e n c e usi n g t h e L C M m a n-u al ( C o e n e n et al., 2 0 0 6). D uri n g t h e c o urs e of c o d er tr ai ni n g,w e c orr es p o n d e d e xt e nsi v el y wit h G u¨ n S e mi n, o n e of t h e m o d-el’s d e v el o p ers a n d m a n u al a ut h ors, t o d e v el o p a n L C M c o di n ga d d e n d u m cl arif yi n g r ul e s t h at o ur c o d er s w er e u n c ert ai na b o ut. T w o i n d e p e n d e nt c o d ers us e d t his a d d e n d u m i n c o nj u n c-ti o n wit h t h e L C M m a n u al t o h a n d- c o d e t h e c or p u s f or D A V,

J o h ns o n- Gr ey et al. 3

I A V, S V, a n d a dj e cti v es ( A DJ) c at e g ori es, r es ol vi n g dis a gr e e-m e nt s t hr o u g h di s c u s si o n ( a v er a g e i nt er c o d er r eli a bilit y k ¼. 8 4).

N e xt, w e c o m p ut e d h L C M a b str a cti o n s c or e f or e a c h s e n-t e n c e usi n g t h e L C M m a n u al e q u ati o n:

D A V 1 þ ð 1 A V 2 Þ þ ðS V 3 Þ þ ðA DJ 4 Þ

ðD A V þ I A V þ S V þ A DJ Þ: ð1 Þ

I n t hi s e q u ati o n, D A V, I A V, S V, a n d A D J r e pr e s e nt t h en u m b er of ti m e s e a c h of t h e s e f e at ur e s o c c urr e d i n t h e t e xt;t h e s e c o u nt s ar e a s si g n e d a w ei g ht b a s e d o n t h eir t h e ori z e da b str a cti o n l e v el, wit h c o n cr et e v er b s ( D A V s) r e c ei vi n g t h el o w e st w ei g ht a n d A D J t h e hi g h e st. T h e w ei g ht e d s u m i sdi vi d e d b y t h e n u m b er of c o d e d it e ms t o g e n er at e a bstr a cti o ns c or es r a n gi n g fr o m 1 ( c o n cr et e ) t o 4 (a bstr a ct ). W e us e h L C Ms c or e s a s t h e crit eri o n f or c o m p ari s o n, gi v e n o ur g o al ofa p pr o xi m ati n g t hi s m et h o d a n d i nt er e st i n c o m p ari n g a ut o-m at e d m et h o ds wit h t h e L C M.

Sy nt a x- L C M M et h o d

W e d e v el o p e d t h e S y nt a x- L C M m et h o d usi n g t hr e e st e ps.

St e p 1: Sy nt a x f e at ur e g e n er ati o n. Fir st, w e cr e at e d t h e P ar s e dC o r p u s R f u n cti o n t h at p ar s e s e a c h s e nt e n c e a n d e xtr a ct s it ss y nt a cti c p art- of-s p e e c h ( e. g., n o u n, a dj e cti v e) a n d d e p e n d e n c yp ars e tr e e f e at ur es ( e. g., c o p ul a, cl a us al s u bj e ct) usi n g t h e c or-e N L P R v er si o n 3. 4. 2 p a c k a g e ( Ar n ol d & Til d e n, 2 0 1 6). T hi sst e p r es ult s i n a s y nt a cti c r e pr es e nt ati o n of e a c h s e nt e n c e t h atc a n b e a n al y z e d i n pl a c e of t h e s e nt e n c e its elf (s e e S u p pl e m e n-t al M at eri al f or a n i n- d e pt h e x pl a n ati o n of t h es e f e at ur es).

St e p 2: S y nt a x- L C M di cti o n ar y cr e ati o n. N e xt, w e cr e at e d t h e“ c o n cr et e ” a n d “ a bstr a ct ” s y nt a x di cti o n ar y lists. W h er e as t y p-i c al di cti o n ari e s ar e c o m pri s e d of li st s of w o r d s r el at e d t o at h e m e, t h e s e di cti o n ari e s i n st e a d ar e c o m pri s e d of s y nt a cti ca n d d e p e n d e n c y tr e e f e at ur es r el at e d t o eit h er a bstr a ct or c o n-cr et e l a n g u a g e.

T o i d e ntif y w hi c h s y nt a cti c f e at ur e s di sti n g ui s h r eli a bl yb et w e e n a b str a ct a n d c o n cr et e s e nt e n c es, w e cr e at e d t w o t e xtgr o u pi n gs, o n e c o nt ai ni n g t h e t o p t hir d m ost c o n cr et e s e nt e n c esi n t h e c or p us a n d o n e c o nt ai ni n g t h e t o p t hir d m ost a bstr a ct s e n-t e n c e s i n t h e c or p u s. T h e n, w e c o n d u ct e d a bi n ar y l o gi sti cr e gr e s si o n wit h all n o n p u n ct u ati o n- b a s e d s y nt a cti c f e at ur e spr e di cti n g gr o u p m e m b er s hi p w it h 1 0-f ol d cr o s s v ali d ati o n.2

T h e cl a s sifi c ati o n al g orit h m a c hi e v e d 8 3 % cr o s s- v ali d at e da c c ur a c y ( 8 3 % pr e ci si o n, 8 2 % r e c all, a n d f1 s c or e of 0. 8 3),d e m o n str ati n g t h e eff e cti v e n e s s of s y nt a cti c a n d d e p e n d e n c yf e at ur e s f or di sti n g ui s hi n g b et w e e n a b str a ct a n d c o n cr et es e nt e n c es.

W e c o m p ar e d e a c h f e at ur e’s l o gisti c r e gr essi o n c o effi ci e ntsa cr o s s t h e 1 0-f ol d s v ali d ati o n a n d i d e ntifi e d f e at ur e s t h atyi el d e d r e gr es si o n c o effi ci e nt s si g nifi c a nt at t h e p < . 0 5 l e v elwit h gr e at er t h a n t h e a b s ol ut e v al u e of . 0 5 w ei g ht s a cr o s s allf ol d s. T hi s r e s ult e d i n a t ot al of 2 2 f e at ur e s, s plit e v e nl yb et w e e n t h e a b str a ct f e at u r e di cti o n a r y ( si x a dj e cti v e-r el at e df e at ur e s, fi v e v er b-r el at e d f e at ur e s) a n d c o n c r et e f e at u r e di c-ti o n ar y (s e e T a bl e 1).

N ot a bl y, t h es e f e at ur es mirr or e d b ot h L C M m a n u al c o di n gr ul es ( e. g., c o p ul as, a dj e cti v es) a n d n o v el s y nt a cti c f e at ur es n otdir e ctl y c a pt ur e d i n t h e L C M b ut c o n si st e nt wit h t h e ori e s ofa bstr a cti o n s u c h as C L T; t hir d- p ers o n a n d p ast t e ns e v er bs si g-nifi e d a b str a ct s e nt e n c e s, w h er e a s fir st- p er s o n a n d pr e s e ntv er b s i n di c at e d c o n cr et e s e nt e n c e s. T h e s e f e at ur e s p ar all elC L T r e s e ar c h t h at fi n d s o bj e ct s/ e v e nt s wit h gr e at er t e m p or alor p h ysi c al dist a n c e ar e r e pr es e nt e d m or e a bstr a ctl y, pr o vi di n gn e w e vi d e n c e t h at fi n di n g s c or e t o C L T ar e i d e ntifi a bl e i nl a n g u a g e.

St e p 3: C o m p uti n g Sy nt a x- L C M a bstr acti o n sc or es. Fi n all y, w e cr e-at e d t h e S y nt a x L C M R f u n cti o n f or c al c ul ati n g S y nt a x- L C Ms c or es. T h e S y nt a x- L C M f u n cti o n t a k es t h e s y nt a cti c r e pr es e n-t ati o ns g e n er at e d i n St e p 1, i m p orts t h e LI W C- L C M v er b di c-ti o n ari es ( S ei h, B ei er, & P e n n e b a k er, 2 0 1 6) a n d t h e n e w s y nt a xdi cti o n ari es, a n d c o u nts t h e t ot al n u m b er of f e at ur es pr es e nt i ne a c h s e nt e n c e. T h e n, it u s e s t h e f oll o wi n g e q u ati o n ( w h er eS A D J a n d S V E R B s st a n d f or s y n t a x a dj e cti v e s a n d s y nt a xv er b s) t o a p pl y t h e w ei g hts fr o m t h e L C M m a n u al t o t h e fr e-q u e n c y c o u nt s f or e a c h c at e g or y a n d t o c al c ul at e a S y nt a x-L C M a b str a cti o n s c or e, r a n gi n g fr o m 1 ( c o n c r et e ) t o 4(a bstr a ct ):

ða bstr a ct S A DJs 4 Þ þ ðS Vs 3 Þ þ ðI A Vs þ a bstr a ct S V E R Bs Þ 2 þ ðD A Vs þ c o n cr et e S Þ 1

ða bstr a ct S A DJs þ S Vs þ I A Vs þ a bstr a ct S V E R Bs þ D A Vs þ c o n cr et e S Þ: ð2 Þ

T a bl e 1. S y nt a x- L C M F e at u r es List.

A bst r a ct F e at u r es C o n c r et e F e at u r es

L C M-s p e cifi e d f e at u r esa m o d : a dj e cti v al m o difi e ra u x p ass : p assi v e a u xili a r yc o p: c o p ul ac o m p o u n d : n o u n c o m p o u n dm ar k : s u b o r di n at e cl a us e m a r k e rn m o d : n p m o d: n o u n as a d v e r b

m o difi e rxc o m p : cl a us al c o m pli m e nte x pl : e x pl eti v e

T h e o r y- c o nsist e nt f e at u r esv p n: p ast p a rti ci pl e v e r bv b z: 3 r d p e rs o n p r es e nt t e ns e v e r b

T h e o r y- c o nsist e nt f e at u r esa p oss : a p p ositi o n al m o difi e ra dvcl : a d v e r bi al cl a us e

m o difi e rc as e: c as e m a r ki n gc o nj: c o nj u n ctcs u bj : cl a us al s u bj e ctdisc o urs e : dis c o u rs e

el e m e ntm w e : m ulti w o r d e x pr essi o nn n ps : p r o p e r pl u r al n o u nns u bj : n o mi n al s u bj e ctn u m m o d : n u m e ri c m o difi e rv b g: p r es e nt p a rti ci pl e v e r b

4 S oci al Psyc h ol o gic al a n d P ers o n ality Sci e nc e X X( X)

S t u d y 1

I n St u d y 1, w e s el e ct e d a c or p us t o t est t h e S y nt a x- L C M m et h-o d’s v ali dit y i n t hr e e w a ys. First, t h e c or p us w as g e n er at e d b y au ni q u e p o p ul ati o n i n r e s p o ns e t o n o v el pr o m pt s i n a diff er e ntr es e ar c h l a b ( c o m p ar e d t o t h e d e v el o p m e nt c or p us) t o t est t h eg e n er ali z a bilit y of t h e m et h o d. S e c o n d, t h e c or p us w as s el e ct e dfr o m a st u d y t h at m a ni p ul at e d a u di e n c e di st a n c e, k n o w n t oi nfl u e n c e li n g uisti c a bstr a cti o n, t o t est its effi c a c y f or diff er e n-ti ati n g b et w e e n c o n diti o ns k n o w n t o pr o m ot e m or e a bstr a ct orc o n cr et e c o m m u ni c ati o n. Fi n all y, w e c o m p ar e t h e S y nt a x-L C M’s a c c ur a c y at a p pr o xi m ati n g h L C M s c or es t o t h at of t w oe xisti n g a ut o m at e d m et h o ds ( B W K a n d LI W C- L C M).

M e t h o d

D at a s et

A n affili at e d r es e ar c h l a b as k e d 7 1 b usi n ess s c h o ol st u d e nts t od e s cri b e a d a y i n t h e lif e of a [ U ni v er sit y- N a m e] st u d e nt i nwriti n g ( d at a p u blis h e d as St u d y 2 of Yi p- B a n ni c q, K al kst ei n,& Tr o p e, 2 0 1 9). T h e y w er e t ol d r es p o ns e s w o ul d b e s e nt t o apr o s p e cti v e st u d e nt l o c at e d i n eit h er a cl os e or dist al l o c ati o n( cl os e a u di e n c e, c o n cr et e c o n diti o n ¼ 2 7 5 s e nt e n c es; f ar a u di-e n c e, a b str a ct c o n diti o n ¼ 2 2 5 s e nt e n c e s; C or p u s N ¼ 5 0 0s e nt e n c es).

Pr oc e d ur e

T hr e e i n d e p e n d e nt c o d er s g e n er at e d h L C M s c or e s u si n g t h eL C M m a n u al ( a v er a g e i nt er c o d er r eli a bilit y k ¼ .8 9). W e t h e na p pli e d t h e r es p e cti v e a ut o m at e d m et h o ds t o c al c ul at e S y nt a x-L C M, B W K, a n d LI W C- L C M s c or es ( d et ails b el o w). Fi n all y,w e c o m p ar e d t h e v ari a n c e a c c o u nt e d f or b y e a c h m et h o d pr e-di cti n g t h e h a n d- c o d e d s c or e s a n d t h eir effi c a c y f or diff er e n-ti ati n g b et w e e n dist a n c e c o n diti o ns.

B W K sc or es

W e c al c ul at e d B W K s c or e s u si n g t h e w ei g ht e d w or d c o u ntal g orit h m d e s cri b e d e arli er ( Br y s b a ert et al., 2 0 1 4) a n dr e v er s e- s c or e d r ati n g s s o hi g h er s c or e s r efl e ct m or e a b str a cts e nt e n c es f or cr oss- m et h o d c o nsist e n c y.

LI W C- L C M

W e c al c ul at e d LI W C- L C M s c or e s f oll o wi n g pr o c e d ur e sd et ail e d b y S ei h, B ei er, a n d P e n n e b a k er ( 2 0 1 6). W e u s e d t h ec o r e N L P t a g g er t o i d e ntif y p art s- of- s p e e c h, a p pli e d t h eLI W C- L C M v er b di cti o n ar y t o c o u nt a n d w ei g ht v er bs i n e a c hc at e g or y ( D A V s, I A V s, a n d S V s), s u m m e d t h e f e at ur e s, a n ddi vi d e d t h e s u m b y t h e t ot al f e at ur e c o u nt (f or a f ull e x pl a n a-ti o n, s e e S ei h et al., 2 0 1 6).

R e s ul t s a n d Di s c u s si o n

W e b e g a n b y c o n d u cti n g P e ars o n’s c orr el ati o n a n al ys es of t h er el ati o n s hi p b et w e e n S y nt a x- L C M, LI W C- L C M, B W K, a n d

h L C M s c or es (s e e T a bl e 2, b el o w di a g o n al). R es ults i n di c at e dt h at S y nt a x- L C M s c or e s w er e m or e str o n gl y c orr el at e d wit hh L C M s c or e s c o m p ar e d t o B W K r ati n gs, Z ¼ 7. 9 8, p < . 0 0 1,LI W C- L C M s c or es, Z ¼ 5. 2 6, p < . 0 0 1.

N e xt, w e r a n a hi er ar c hi c al r e g r e s si o n a n al y si s pr e di cti n gh L C M s c or e s wit h B W K s c or e s e nt er e d at St e p 1, LI W C-L C M s c or e s at St e p 2, a n d S y nt a x- L C M s c or es at St e p 3 (s e eT a bl e 3). S u p p orti n g o ur h y p ot h e si s, w e f o u n d S y nt a x- L C Ms c or e s a c c o u nt e d f or si g nifi c a nt, u ni q u e v ari a n c e i n h L C Ms c or es b e y o n d ot h er m et h o ds.

Fi n all y, w e t est e d e a c h m et h o d’s effi c a c y f or pr e di cti n g dis-t a n c e c o n diti o ns (i. e., w h et h er s e nt e n c es g e n er at e d i n t h e dist a ntc o n diti o n r e c ei v e d m or e a bstr a ct s c or es t h a n t h os e g e n er at e d i nt h e pr o xi m al c o n diti o n; s e e T a bl e 4). First l o o ki n g at t h e h L C Ms c or es as a m a ni p ul ati o n c h e c k, w e f o u n d t h at p arti ci p a nts i n t h edist a nt c o n diti o n g e n er at e d m or e a bstr a ct s e nt e n c es t h a n t h os e i nt h e pr o xi m al c o n diti o n. N e xt, w e f o u n d s u p p ort f or t h e S y nt a x-L C M m et h o d’s v ali dit y; p arti ci p a nts i n t h e dist a nt c o n diti o n h a dsi g nifi c a ntl y hi g h er S y nt a x- L C M s c or es t h a n t h os e i n t h e pr o x-i m al c o n diti o n. LI W C- L C M a n d B W K s c or es als o s u c c essf ull ydiff er e nti at e d b et w e e n c o n diti o ns.

S t u d y 2

I n St u d y 2, w e c o n d u ct a stri ct er t est of t h e S y nt a x- L C M m et h-o d’s g e n er ali z a bilit y a n d pr e di cti v e a c c ur a c y b y a p pl yi n g it t ot e xt g e n er at e d a n d h a n d- c o d e d b y a diff er e nt r es e ar c h l a b.

T a bl e 2. St u d y 1 a n d St u d y 2 P e a r s o n’ s R C o r r el ati o n s B et w e e nA bst r a cti o n S c o r es.

M et h o d h L C M S y nt a x- L C M B W K LI W C- L C M

h L C M 0. 4 3(. 0 0 1) 0. 1 8(. 0 0 1) 0. 2 8(. 0 0 1)S y nt a x- L C M 0. 6 1(. 0 0 1) 0. 1 6(. 0 0 1) 0. 4 8(. 0 0 1)B W K 0. 2 6(. 0 0 1) 0. 3 1(. 0 0 1) 0. 1 0(. 0 2 8)LI W C- L C M 0. 3 8(. 0 0 1) 0. 2 6(. 0 0 1) 0. 0 0(. 8 4 1)

N ot e . p v al u es i n p a r e nt h es es. St u d y 1 c o r r el ati o ns b el o w di a g o n al. St u d y 2 c o r-r el ati o ns a b o v e di a g o n al. h L C M ¼ h a n d- c o d e d L C M; B W K ¼ B r ys b a e rt, W a r-ri n e r, a n d K u p e r m a n; LI W C- L C M ¼ Li n g ui sti c I n q ui r y a n d W o r d C o u nt –Li n g uisti c C at e g o r y M o d el.

T a bl e 3. S u m m a r y of Hi e r a r c hi c al R e g r essi o n A n al ysis f o r A ut o m at e dM et h o ds P r e di cti n g H a n d- C o d e d L C M s c o r es ( St u d y 1).

V a ri a bl e b S E t p 9 5 % CI Z p 2 R 2 D R 2

St e p 1 . 0 7 . 0 7B W K . 1 9 . 0 3 5. 9 5 . 0 0 1 [. 1 3, . 2 5] . 0 7

St e p 2 . 2 1 . 1 4B W K . 1 9 . 0 3 6. 5 7 . 0 0 1 [. 1 3, . 2 5] . 0 8LI W C- L C M . 2 8 . 0 3 9. 3 7 . 0 0 1 [. 2 2, . 3 3] . 1 5

St e p 3 . 3 3 . 1 2B W K . 1 0 . 0 3 3. 3 4 . 0 0 1 [. 0 4, . 1 5] . 0 2

LI W C- L C M . 1 0 . 0 3 2. 9 8 . 0 0 3 [. 0 3, . 1 6] . 0 1S y nt a x- L C M . 3 2 . 0 3 9. 3 8 . 0 0 1 [. 2 5, . 3 9] . 1 5

N ot e . LI W C- L C M ¼ Li n g uisti c I n q ui r y a n d W o r d C o u nt – Li n g uisti c C at e g o r yM o d el; B W K ¼ B r ys b a e rt, W a r ri n e r, a n d K u p e r m a n.

J o h ns o n- Gr ey et al. 5

M e t h o d

D at a S et

W e a c q uir e d St u d y 2’ s c or p u s fr o m r e s e ar c h er s u n affili at e dwit h o ur i nstit uti o n ( Yi p- B a n ni c q, K al kst ei n, & Tr o p e, 2 0 1 7).O n e h u n dr e d a n d t w o p arti ci p a nts c o m pl et e d a l a b st u d y w h er et h e y w at c h e d fi v e vi d e o cli ps of s h a p es i nt er a cti n g a n d wr ot e as e nt e n c e d es cri bi n g w h at t h e y s a w i n t h e vi d e o aft er e a c h cli p.A r e s e ar c h a s si st a nt tr ai n e d b y t h e d at a c oll e cti o n l a b c o d e de a c h s e nt e n c e u si n g t h e L C M m a n u al, r e s ulti n g i n 5 0 4s e nt e n c es.

R e s ul t s

U si n g St u d y 1’ s e m piri c al a p pr o a c h, P e ar s o n’ s c orr el ati o na n al y s e s s h o w e d t h at S y nt a x - L C M s c o r e s w e r e m o r estr o n gl y c orr el at e d wit h h L C M s c or e s ( s e e T a bl e 2, a b o v edi a g o n al) c o m p ar e d t o B W K, Z ¼ 4. 6 8, p < . 0 0 1, a n dLI W C- L C M, Z ¼ 3. 6 0, p < . 0 0 1. Hi er ar c hi c al r e gr e s si o na n al y si s r e s ult s al s o i n di c at e d S y nt a x - L C M s c o r e sa c c o u nt e d f or u ni q u e v ari a n c e i n h L C M s c or e s aft er c o ntr ol-li n g f or t h e ot h er m et h o d s ( s e e T a bl e 5).

Di s c u s si o n

As wit h d at a fr o m o ur l a b ( St u d y 1), w e f o u n d t h e S y nt a x- L C Mw as t h e b est a ut o m at e d a p pr o xi m ati o n of h L C M s c or es f or t e xtc o d e d b y a n e xt er n al l a b s o ur c e, s u g g esti n g its eff e cti v e n ess is

n ot c o n str ai n e d t o o ur o w n r e s e ar c h l a b or e x p eri m e nt al c o n-t e xt s. I n a d diti o n, e a c h of t h e t hr e e d at a s et s u s e d i n m et h o dcr e ati o n a n d St u di es 1 – 2 as k e d p arti ci p a nts t o r es p o n d t o diff er-e nt t o pi c d o m ai ns, f urt h er v ali d ati n g t h e g e n er ali z a bilit y of t h em et h o d (i. e., v al u es i n m et h o d cr e ati o n c or p us; d a y-i n-t h e-lif ed es cri pti o ns i n St u d y 1; d es cri pti o n of vi d e os i n St u d y 2).

S t u d y 3

St u di es 1 a n d 2 v ali d at e d t h e S y nt a x- L C M’s a p pr o xi m ati o n ofh L C M s c or e s f or l a b- g e n er at e d r es p o ns e s a n d it s effi c a c y f ordiff er e nti ati n g b et w e e n c o n str u al m a ni p ul ati o n c o n diti o n s. I nSt u d y 3, w e t est e d w h et h er t h e S y nt a x- L C M als o a p pr o xi m at esh L C M s c or e s f or T witt er d at a f or t w o pri m ar y r e as o ns. Fir st,T witt er is a r e a dil y a v ail a bl e s o ur c e of s o ci al m e di a d at a, m a k-i n g it a r e s e ar c h t o ol f or s o ci al s ci e nti st s. F or e x a m pl e, t w or e c e nt p a p er s e x pl ori n g C L T i d e a s i n n at ur al l a n g u a g e u s em a d e us e of T witt er d at a, b ot h usi n g t h e B W K r ati n gs as t h eira ut o m at e d c o di n g m et h o d ( e. g., B h ati a & W al as e k, 2 0 1 6; S n ef-j ell a & K u p er m a n, 2 0 1 5).

S e c o n d, T w e et s y nt a x is u ni q u e d u e t o T w e et c h ar a ct er li m-it s ( at ti m e of d at a c oll e cti o n, 1 4 0). T hi s r e stri cti o n m a y l e a dus ers t o g e n er at e t e xt wit h diff er e nt s y nt a cti c p att er ns fr o m r e g-ul ar s p e e c h or writt e n pr o m pt s, a n d t h e s e s e nt e n c e str u ct ur e sm a y n ot b e c o m p ar a bl e t o e v er y d a y E n gli s h s y nt a x. T h us, itis f e asi bl e t h at o ur S y nt a x- L C M m et h o d c o ul d b e l ess eff e cti v ef or pr e di cti n g h L C M s c or e s i n t hi s c o nt e xt. E n s uri n g t h eS y nt a x- L C M c a n eff e cti v el y a p pr o xi m at e h L C M s c or es f or t hisd at a s o ur c e w o ul d b e h el pf ul if w e h o p e t o pr o vi d e a us ef ul t o olf or m a n y c urr e nt, l ar g e-s c al e c or p or a.

M e t h o d

D at a S et

W e s el e ct e d a s u b s et of a pr e vi o u sl y p ur c h a s e d d at a s et ofT w e et s c o nt ai ni n g H urri c a n e S a n d y –r el at e d h a s ht a g s ( e. g.,“ # s a n d y, ” “ # H urri c a n e S a n d y ”) t h at c o nt ai n e d t h e w or d“ h urri c a n e ” t o e ns ur e T w e ets w er e r el at e d t o t h e s a m e t o pi c. 3

Aft er r e m o vi n g r et w e ets a n d d u pli c at e, n o n- E n glis h, or i n d e ci-p h er a bl e T w e ets ( e. g., h y p erli n ks wit h o ut a d diti o n al t e xt), o urfi n al c or p us si z e w as 5 2, 1 8 3 T w e ets. W e us e d t h e s a m e m et h-o d s a s pri or st u di e s t o c al c ul at e t h e a ut o m at e d s c or e s f or t h ee ntir e c or p us 4 a n d s el e ct e d a r a n d o m s u bs et of 1, 5 0 0 T w e ets f orh a n d- c o di n g u si n g t h e L C M m a n u al. T w o r e s e ar c h a s sist a nts

T a bl e 4. t T est a n d D es c ri pti v e A n al ysis f o r E x p e ri m e nt al C o n diti o n P r e di cti n g A ut o m at e d a n d H a n d- C o d e d M et h o ds.

M et h o d

A bst r a ct C o n diti o n C o n c r et e C o n diti o n

t df p C o h e n’s dM S D M S D

h L C M 3. 2 5 . 6 0 2. 7 7 . 7 4 7. 8 5 4 8 9 . 0 0 1 . 7 1S y nt a x L C M 2. 1 5 . 4 1 1. 9 3 . 4 4 5. 8 6 4 9 1 . 0 0 1 . 5 2LI W C- L C M 3. 3 9 . 4 8 3. 2 9 . 5 9 2. 1 2 4 9 8 . 0 3 5 . 1 9B W K 3. 6 0 . 2 5 3. 4 7 . 3 4 4. 9 5 4 8 8 . 0 0 1 . 4 4

N ot e . h L C M ¼ h a n d- c o d e d L C M; LI W C- L C M ¼ Li n g uisti c I n q ui r y a n d W o r d C o u nt – Li n g uisti c C at e g o r y M o d el; B W K ¼ B r ys b a e rt, W a r ri n e r, a n d K u p e r m a n.

T a bl e 5. S u m m a r y of Hi e r a r c hi c al R e g r essi o n A n al ysis f o r A ut o m at e dM et h o ds P r e di cti n g H a n d- C o d e d L C M s c o r es ( St u d y 2).

V a ri a bl e b S E t p 9 5 % CI Z p 2 R 2 D R 2

St e p 1 . 0 5 . 0 5B W K 0. 1 7 . 0 3 4. 8 9 . 0 0 1 [. 1 0, . 2 4] . 0 5

St e p 2 . 1 3 . 0 8B W K 0. 1 5 . 0 3 4. 5 9 . 0 0 1 [. 0 9, . 2 2] . 0 4LI W C- L C M 0. 2 3 . 0 3 6. 6 1 . 0 0 1 [. 1 6, . 2 9] . 0 8

St e p 3 . 2 1 . 0 8B W K 0. 1 2 . 0 3 3. 6 7 . 0 0 1 [. 0 5, . 1 8] . 0 3LI W C- L C M 0. 1 1 . 0 4 2. 8 9 . 0 0 4 [. 0 3, . 1 8] . 0 2S y nt a x- L C M 0. 2 6 . 0 4 7. 1 6 . 0 0 1 [. 1 9, . 3 3] . 1 0

N ot e . B W K ¼ B r ys b a e rt, W a r ri n e r, a n d K u p e r m a n; LI W C- L C M ¼ Li n g uisti cI n q ui r y a n d W o r d C o u nt – Li n g uisti c C at e g o r y M o d el.

6 S oci al Psyc h ol o gic al a n d P ers o n ality Sci e nc e X X( X)

c o m pl et e d t h e c o di n g a n d r es ol v e d dis a gr e e m e nts t hr o u g h dis-c ussi o n ( a v er a g e i nt er c o d er r eli a bilit y k ¼ . 8 1).

R e s ul t s a n d Di s c u s si o n

A b o ut 2 8 7 of t h e 1, 5 0 0 t w e et s w er e u n c o d a bl e as t h e y l a c k e dL C M c o di n g s c h e m e f e at ur e s, l e a vi n g a fi n al s a m pl e si z e of1, 2 8 7 T w e ets. As i n pr e vi o us st u di es, w e first c o n d u ct e d P e ar-s o n’ s c orr el ati o n a n al y s e s of t h e r el ati o n s hi p b et w e e n a ut o-m at e d m et h o ds a n d h L C M s c or es (s e e T a bl e 6).

T h e c orr el ati o n b et w e e n h L C M a n d S y nt a x- L C M s c or e sw a s si g nifi c a ntl y hi g h er t h a n t h e c orr el ati o n b et w e e n h L C Ma n d B W K, Z ¼ 1 1. 3 5, p < . 0 0 1, a n d LI W C- L C M s c or es, Z ¼2. 3 0, p ¼ . 0 1 1. I n t his st u d y, B W K r ati n gs w er e n e g ati v el y c or-r el at e d wit h h L C M, w hi c h is n ot a bl e gi v e n t h e s ur prisi n g dir e c-ti o n of ass o ci ati o n. As m e nti o n e d e arli er, t h e B W K a n d L C Mm et h o ds a p pr o a c h a bstr a cti o n diff er e ntl y a n d t h e c o nt e xt m a yi m p a ct h o w w ell t h e y c orr el at e.

N e xt, w e u s e d t h e s a m e hi er ar c hi c al r e gr e s si o n a n al y si sm et h o d as i n pr e vi o us st u di es t o ass ess e a c h m et h o d’s pr e di c-ti v e a c c ur a c y ( s e e T a bl e 7). R e pli c ati n g pr e vi o u s st u di e s, w ef o u n d t h at S y nt a x- L C M s c or e s w er e a str o n g pr e di ct or ofh L C M s c or es, wit h LI W C- L C M s c or e s als o c o ntri b uti n g si g-nifi c a ntl y t o t h e m o d el. H o w e v er, u nli k e pr e vi o us st u di es, w edi d n ot fi n d t h at B W K s c or e s pr o vi d e d u ni q u e pr e di cti v ea c c ur a c y.

G e n e r al Di s c u s si o n

A cr o s s t hr e e st u di e s a n d f o ur d at a s et s, w e i ntr o d u c e t h eS y nt a x- L C M m et h o d f or m e a s uri n g a b str a cti o n i n t e xt u si n gs y nt a cti c f e at ur e s a n d c o n si d er its eff e cti v e n e s s i n pr e di cti n gh a n d- c o d e d L C M s c or e s. W hil e e a c h of t h e t hr e e a ut o m at e dm et h o d s w e t e st e d a c c o u nt e d f or u ni q u e i nf or m ati o n i n o urm o d el s, w e f o u n d t h at t h e S y nt a x- L C M w a s m o st a c c ur at e ata p pr o xi m ati n g h L C M s c or es a cr oss t o pi c pr o m pts a n d l a bs a n dit v ari e d b as e d o n a n est a blis h e d dri v er of a bstr a ct c o m m u ni c a-ti o n: S c or es w er e hi g h er w h e n p arti ci p a nts w er e c o m m u ni c at-i n g wit h a di st al t h a n a pr o xi m al a u di e n c e. Fi n all y, ito ut p erf or m e d ot h er m et h o ds f or T witt er d at a, a u ni q u e c o nt e xtw h er e s y nt a x us a g e is oft e n i di os y n cr ati c.

T h e s y nt a cti c f e at ur es us e d i n t h e S y nt a x- L C M m et h o d als od e m o nstr at e t h e or eti c al v ali dit y, p ar all eli n g t h e L C M m a n u al’sc o di n g r ul es. N ot a bl y, t h e S y nt a x- L C M c o ntri b ut e d n o v el li n-g uisti c e vi d e n c e f or c o n sist e n c y b et w e e n t y pi c al C L T r e s ult sa n d C L T i n l a n g u a g e: T hir d- p ers o n a n d p ast t e ns e v er bs i n di-c at e d a bstr a ct s e nt e n c es, w h er e as first- p ers o n a n d pr es e nt t e ns ev er bs i n di c at e d c o n cr et e s e nt e n c es.

T h e S y nt a x- L C M m a y b e of p arti c ul ar i nt er e st t o C L Tr e s e ar c h er s w h o h a v e str u g gl e d t o fi n d a n a ut o m at e d m et h o dt h at fit s C L T’ s t h e or eti c al c o n c e pt u ali z ati o n a n d f a cilit at e sc o di n g d at a effi ci e ntl y, r eli a bl y, a n d wit h i nt er pr et a bl e o ut p ut.T h e S y nt a x- L C M pr o vi d e s a r e a s o n a bl e o pti o n, m o st hi g hl yc orr el ati n g wit h h L C M s c or e s a cr o s s o ur st u di e s. H o w e v er,w e n ot e t h at alt h o u g h t h e S y nt a x- L C M b e st a p pr o xi m at e dh L C M s c or es, t his d o es n ot m a k e it i n h er e ntl y t h e “ b est ” w a yt o a ut o m at e a bstr a cti o n c o di n g. H a vi n g b e e n d e v el o p e d b as e du p o n t h e L C M, it s us ef ul n es s m a y b e c o n str ai n e d t o c o nt e xtsa p pr o pri at e t o t h at m et h o d. F urt h er, S y nt a x- L C M, L C M, a n dB W K s e e m t o c a pt ur e u ni q u e p art s of t h e v ari a n c e i n h L C Ms c or e s. R e s e ar c h er s st u d yi n g a b str a cti o n s h o ul d c o n si d er ifc o m bi ni n g a p pr o a c h es ( e. g., t h e L C M a n d B W K m et h o ds, a n dot h er p ot e nti al c o n c e pt u al a p pr o a c h e s) m a y pr o vi d e f urt h erv al u e a n d h o w t o c o n c e pt u ali z e t h es e diff eri n g m et h o ds w h e nc o nsi d eri n g t h eir pr e di cti v e utilit y i n t a n d e m.

I n g e n er al, w e s u g g est t h at if r es e ar c h ers ar e c o nfi n e d t o us ea si n gl e m et h o d, S y nt a x- L C M a p p e ars t o a str o n g c h oi c e as ith a s t h e hi g h e st c orr el ati o n wit h h L C M s c or e s. H o w e v er, atmi ni m u m, w e e n c o ur a g e r e s e ar c h er s t o t hi n k c ar ef ull y a b o utt h e a p pr o pri at e m e a s ur e f or t h eir gi v e n r e s e ar c h q u e sti o n,b a s e d u p o n t h e m e a s ur e’ s fit wit h t h eir c o n c e pt u ali z ati o n ofa b str a cti o n a n d t h e n at ur e of l a n g u a g e i n t h e p arti c ul ar f o c alc o nt e xt.

C o n cl u si o n

C o g niti v e a bstr a cti o n is i n di c at e d n ot o nl y b y t h e w or ds p e o pl eus e b ut b y t h e r el ati o ns hi ps b et w e e n t h eir w or ds. T h e S y nt a x-L C M m et h o d d es cri b e d h er e i n c or p or at es s u c h r el ati o ns hi ps t ob ett er a p pr o xi m at e h a n d- c o d e d s c or e s g e n er at e d u si n g t h eL C M, a w ell- v ali d at e d a n d est a blis h e d a p pr o a c h t o c o n c e pt u a-li zi n g a n d m e a s uri n g li n g ui sti c a b str a cti o n. R e s e ar c h er s c a nus e t his pr a cti c al t o ol t o t e st t h eir i d e a s wit h l ar g er a n d m or e

T a bl e 6. St u d y 3 C o r r el ati o ns B et w e e n A bst r a cti o n S c o r es.

M et h o d h L C M S y nt a x- L C M B W K

h L C MS y nt a x- L C M 0. 3 9(. 0 0 1)B W K 0. 0 7(. 0 2 0) 0. 1 7(. 0 0 1)LI W C- L C M 0. 3 4(. 0 0 1) 0. 6 4(. 0 0 1) 0. 2 3(. 0 0 1)

N ot e . p v al u es i n p a r e nt h es es. h L C M ¼ H a n d- C o d e d L C M; B W K ¼ B r ys b a e rt,W a r ri n e r, a n d K u p e r m a n; LI W C- L C M ¼ Li n g uisti c I n q ui r y a n d W o r d C o u nt –Li n g uisti c C at e g o r y M o d el.

T a bl e 7. S u m m a r y of Hi e r a r c hi c al R e g r essi o n A n al ysis f o r A ut o m at e dM et h o ds P r e di cti n g H a n d- C o d e d L C M S c o r es ( St u d y 3).

V a ri a bl e b S E t p 9 5 % CI Z p 2 R 2 D R 2

St e p 1 . 0 0 . 0 0B W K 0. 0 5 . 0 2 2. 3 2 . 0 2 0 [ . 1 0, . 0 1] . 0 1

St e p 2 . 1 4 . 1 3B W K 0. 0 0 . 0 2 0. 1 6 . 8 7 2 [ . 0 4, . 0 5] . 0 0LI W C- L C M 0. 3 0 . 0 2 1 3. 5 7 . 0 0 1 [. 2 6, . 3 4] . 1 4

St e p 3 . 1 9 . 0 4B W K 0. 0 0 . 0 2 0. 0 3 . 9 7 6 [ . 0 4, . 0 4] . 0 0LI W C- L C M 0. 1 6 . 0 3 5. 8 0 . 0 0 1 [. 1 1, . 2 2] . 0 3S y nt a x- L C M 0. 2 2 . 0 3 7. 6 5 . 0 0 1 [. 1 6, . 2 7] . 0 5

N ot e . B W K ¼ B r ys b a e rt, W a r ri n e r, a n d K u p e r m a n; LI W C- L C M ¼ Li n g uisti cI n q ui r y a n d W o r d C o u nt – Li n g uisti c C at e g o r y M o d el.

J o h ns o n- Gr ey et al. 7

v ari e d d at a s o ur c e s w hil e si m ult a n e o u sl y e n s uri n g c o n str u ctv ali dit y a n d a v oi di n g s e m a nti c r estri cti o ns, pr o vi di n g a us ef ulbri d g e fr o m t h e l a b t o t h e fi el d.

A c k n o wl e d g m e n t s

T h a n k y o u t o G u n S e mi n f or hi s h el p i n g e n er ati n g t h e L C M

a d d e n d u m.

D e cl a r a ti o n of C o nfli c ti n g I n t e r e s t s

T h e a ut h or(s) d e cl ar e d n o p ot e nti al c o nfli cts of i nt er est wit h r es p e ct t o

t h e r es e ar c h, a ut h ors hi p, a n d/ or p u bli c ati o n of t his arti cl e.

F u n di n g

T h e a ut h or(s) dis cl os e d r e c ei pt of t h e f oll o wi n g fi n a n ci al s u p p ort f or

t h e r e s e ar c h, a ut h or s hi p, a n d/ or p u bli c ati o n of t hi s arti cl e: T hi s

r es e ar c h w as s u p p ort e d i n p art b y N S F I B S S Gr a nt 1 5 2 0 0 3 1 a n d N S F

Gr a nt B C S- 1 3 4 9 0 5 4.

O R CI D i D

K at e M. J o h ns o n- Gr e y htt ps:// or ci d. or g/ 0 0 0 0- 0 0 0 2- 3 5 3 1- 7 4 0 9

M ort e z a D e h g h a ni htt ps:// or ci d. or g/ 0 0 0 0- 0 0 0 2- 9 4 7 8- 4 3 6 5

S u p pl e m e n t al M a t e ri al

T h e s u p pl e m e nt al m at eri al i s a v ail a bl e i n t h e o nli n e v er si o n of t h e

arti cl e.

N o t e s

1. C o n c e pt u all y, it is i ntri g ui n g t o c o nsi d er w h et h er a m or e c o m pl et e

a b str a cti o n m e a s ur e s h o ul d c o n si d er b ot h t h e li n g ui sti c c at e g or y

a n d w or d c h oi c e u s e d wit hi n t h at c at e g or y, a n i s s u e w e c o n si d er

i n t h e G e n er al Dis c ussi o n.

2. I n 1 0-f ol d cr oss- v ali d ati o n, w e r a n d o ml y di vi d e t h e d at a s et i nt o 1 0

e q u al-si z e d s u bs ets; 9 ar e c o m bi n e d t o g e n er at e f e at ur e c o effi ci e nts

i n a bi n ar y l o gisti c r e gr essi o n m o d el (tr ai ni n g d at a s et). W e d et er-

mi n e t h e g e n er at e d m o d el’ s a c c ur a c y b y u si n g it t o pr e di ct t h e

d e p e n d e nt v ari a bl e i n t h e s u b s et wit h h el d d uri n g d e v el o p m e nt.

T h es e st e ps ar e c o n d u ct e d 9 m or e ti m es, wit h a diff er e nt d at a s u b-

s et l eft o ut e a c h r o u n d t o e n s ur e r o b u st n e s s. W e r e m o v e d

p u n ct u ati o n- b a s e d s y nt a cti c f e at ur e s fr o m t h e li st a s it s u s e i s

i n c o nsi st e nt a cr o s s m e di u ms ( e. g., T witt er p u n ct u ati o n us e v ari e s

fr o m f or m al, writt e n t e xt).

3. B W K s c or es w er e si mil arl y c orr el at e d wit h h a n d- c o d e d s c or es wit h

or wit h o ut t h e w or d “ h urri c a n e ” i n t h e di cti o n ar y li st ( wit h h urri-

c a n e r ¼ . 0 6 5, wit h o ut h urri c a n e r ¼ . 0 6 2), s o w e r et ai n e d it d uri n g

a n al ysis.

4. R es e ar c h ers wit h P yt h o n e x p eri e n c e m a y wis h t o s u bstit ut e a T wit-

t er s y nt a x p ar s er f or t h e c or e N L P p ar s er i n t h e s y nt a x L C M f u n c-

ti o n, h o w e v er a s of t h e d at e of p u bli c ati o n, n o s u c h p ar s er e xist s

i n t h e R l a n g u a g e.

R ef e r e n c e s

Ar n ol d, T., & Tilt o n, L. ( 2 0 1 6). c or e N L P: Wr a p p er s ar o u n d St a n-

f or d C or e N L P t o ol s [ C o m p ut er soft w ar e m a n u al] ( R p a c k a g e

v er si o n 0. 4- 2). R etri e v e d fr o m htt p s:// C R A N. R- pr oj e ct. or g/

p a c k a g e ¼ c or e N L P

B h ati a, S., & W al a s e k, L. ( 2 0 1 6). E v e nt c o nstr u al a n d t e m p or al dis-

t a n c e i n n at ur al l a n g u a g e. C o g niti o n , 1 5 2 , 1 – 8.

Br ys b a ert, M., W arri n er, A. B., & K u p er m a n, V. ( 2 0 1 4). C o n cr et e n ess

r ati n g s f or 4 0 t h o u s a n d g e n er all y k n o w n E n gli s h w or d l e m m a s.

B e h a vi or al R es e ar c h M et h o ds , 4 6 , 9 0 4 – 9 1 1.

B ur g o o n, E. M., H e n d ers o n, M. D., & M ar k m a n, A. B. ( 2 0 1 3). T h er e

ar e m a n y w a y s t o s e e t h e f or e st f or t h e tr e e s a t o ur g ui d e f or

a bstr a cti o n. P ers p e cti v es o n Ps y c h ol o gi c al S ci e n c e , 8 , 5 0 1 – 5 2 0.

C o e n e n, L. H. M., H e d e b o u w, L., & S e mi n, G. R. ( 2 0 0 6). M e as uri n g

l a n g u a g e a bstr a cti o n: T h e Li n g uisti c C at e g or y M o d el ( L C M) M a n-

u al. R etri e v e d D e c e m b er 1 2, 2 0 1 4, fr o m htt p:// w w w. cr at yl us. or g/

T e xt/ 1 1 1 1 5 4 8 4 5 4 2 5 0- 3 8 1 5/ p C/ 1 1 1 1 4 7 3 9 8 3 1 2 5- 6 4 0 8/ u pl o a d e d

Fil es/ 1 1 5 1 4 3 4 2 6 1 5 9 4- 8 5 6 7. p df

Fi e dl er, K., S e mi n, G. R., & B olt e n, S. ( 1 9 8 9). L a n g u a g e us e a n d r ei-

fi c ati o n of s o ci al i nf or m ati o n: T o p- d o w n a n d b ott o m- u p pr o c es s-

i n g i n p ers o n c o g niti o n. E u r o p e a n J o ur n al of S o ci al Ps y c h ol o g y ,

1 9 , 2 7 1 – 2 9 5.

F ujit a, K., H e n d er s o n, M. D., E n g, J., Tr o p e, Y., & Li b er m a n, N.

( 2 0 0 6). S p ati al di st a n c e a n d m e nt al c o n str u al of s o ci al e v e nt s.

Ps y c h ol o gi c al S ci e n c e , 1 7 , 2 7 8 – 2 8 2.

F ujit a, K., Tr o p e, Y., Li b er m a n, N., & L e vi n- S a gi, M. ( 2 0 0 6). C o n-

str u al l e v el s a n d s elf c o ntr ol. J o u r n al of P e r s o n alit y a n d S o ci al

Ps y c h ol o g y , 9 0 , 3 5 1 – 3 6 7.

H a ns e n, J., & W a n k e, M. ( 2 0 1 0). Tr ut h fr o m l a n g u a g e a n d tr ut h fr o m

fit: T h e i m p a ct of li n g uisti c c o n cr et e n ess a n d l e v el of c o nstr u al o n

s u bj e cti v e tr ut h. P e r s o n alit y a n d S o ci al P s y c h ol o g y B ull eti n , 3 6 ,

1 5 7 6 – 1 5 8 8.

J os hi, P., & W a ksl a k, C. J. ( 2 0 1 4). C o m m u ni c ati n g wit h t h e cr o w d:

S p e a k ers us e a bstr a ct m ess a g es w h e n a d dr essi n g l ar g er a u di e n c es.

J o ur n al of E x p eri m e nt al Ps y c h ol o g y: G e n er al , 1 4 3 , 3 5 1 – 3 6 2.

J os hi, P., W a ksl a k, C. J., & H u a n g, L. ( 2 0 1 8) G e n d er diff e r e n c e s i n

s p e e c h a bstr a cti o n a n d i m pli c ati o ns f or w o m e n’s s u c c ess i n or g a-

niz ati o ns. M a n us cri pt s u b mitt e d f or p u bli c ati o n .

K o ust a, S. T., Vi gli o c c o, G., Vi ns o n, D. P., A n dr e ws, M., & D el C a m p o,

E. ( 2 0 1 1). T h e r e pr es e nt ati o n of a bstr a ct w or ds: W h y e m oti o n m at-

t ers. J o ur n al of E x p eri m e nt al Ps y c h ol o g y: G e n er al , 1 4 0 , 1 4 – 3 4.

M a ass, A., S al vi, D., Ar c uri, L., & S e mi n, G. R. ( 1 9 8 9). L a n g u a g e us e

i n i nt er gr o u p c o nt e xts: T h e li n g ui sti c i nt er gr o u p bi as. J o u r n al of

P ers o n alit y a n d S o ci al Ps y c h ol o g y , 5 7 , 9 8 1.

P ai vi o, A. ( 1 9 9 1). D u al c o di n g t h e or y: R etr os p e ct a n d c urr e nt st at us.

C a n a di a n J o ur n al of Ps y c h ol o g y , 4 5 , 2 5 5 – 2 8 7.

P e n n e b a k er, J., B o ot h, R., B o y d, R., & Fr a n cis, M. ( 2 0 1 5). Li n g uisti c

i n q ui r y a n d w o r d c o u nt: LI W C 2 0 1 5 o p e r at o r s m a n u al. A u sti n,

T X: P e n n e b a k er C o n gl o m er at es.

R e yt, J. N., Wi es e nf el d, B. M., & Tr o p e, Y. ( 2 0 1 6). Bi g pi ct ur e is b et-

t er: T h e s o ci al i m pli c ati o n s of c o nstr u al l e v el f or a d vi c e t a ki n g.

O r g a ni z ati o n al B e h a vi o r a n d H u m a n D e ci si o n P r o c e s s e s , 1 3 5 ,

2 2 – 3 1.

S c h mi d, J., & Fi e dl er, K. ( 1 9 9 6). L a n g u a g e a n d i m pli cit attri b uti o ns i n

t h e N ur e m b er g tri als a n al y zi n g pr os e c ut ors’ a n d d ef e ns e att or n e ys’

cl osi n g s p e e c h es. H u m a n C o m m u ni c ati o n R es e ar c h , 2 2 , 3 7 1 – 3 9 8.

S c h w a n e nfl u g el, P. J., H ar ni s hf e g er, K. K., & St o w e, R. W. ( 1 9 8 8).

C o nt e xt a v ail a bilit y a n d l e xi c al d e cisi o ns f or a bstr a ct a n d c o n cr et e

w or ds. J o ur n al of M e m or y a n d L a n g u a g e , 2 7 , 4 9 9 – 5 2 0.

S ei h, Y., B ei er, S., & P e n n e b a k er, J. W. ( 2 0 1 6). D e v el o p m e nt a n d

e x a mi n ati o n of t h e li n g ui sti c c at e g or y m o d el i n a c o m p ut eri z e d

8 S oci al Psyc h ol o gic al a n d P ers o n ality Sci e nc e X X( X)

t e xt a n al ysis m et h o d. J o ur n al of L a n g u a g e a n d S o ci al Ps y c h ol o g y ,

3 6 , 1 – 1 3.

S e mi n, G. R. ( 2 0 1 1). C ult ur all y sit u at e d li n g uisti c e c ol o gi es a n d l a n-

g u a g e us e: C ult ur al t o ols at t h e s er vi c e of r e pr es e nti n g a n d s h a pi n g

sit u at e d r e aliti e s. I n A d v a n c e s i n C ult u r al S o ci al P s y c h ol o g y, 1 ,

2 1 7 – 2 4 9.

S e mi n, G. R., & Fi e dl er, K. ( 1 9 8 8). T h e c o g niti v e f u n cti o n s of

li n g ui sti c c at e g ori e s i n d e s cri bi n g p er s o ns: S o ci al c o g niti o n a n d

l a n g u a g e. J o u r n al of P e r s o n alit y a n d S o ci al P s y c h ol o g y , 5 4 ,

5 5 8 – 5 6 8.

S e mi n, G. R., & Fi e dl er, K. ( 1 9 8 9). R el o c ati n g attri b uti o n al p h e n o m-

e n a wit hi n a l a n g u a g e- c o g niti o n i nt erf a c e: T h e c as e of a ct ors’ a n d

o b s er v er s’ p er s p e cti v e s. E u r o p e a n J o ur n al of S o ci al Ps y c h ol o g y ,

1 9 , 4 9 1 – 5 0 8.

S e mi n, G. R., & Fi e dl er, K. ( 1 9 9 1). T h e li n g uisti c c at e g or y m o d el, its

b as es, a p pli c ati o ns a n d r a n g e. E ur o p e a n R e vi e w of S o ci al Ps y c h ol-

o g y , 2 , 1 3 0.

S n efj ell a, B., & K u p er m a n, V. ( 2 0 1 5). C o n cr et e n ess a n d ps y c h ol o gi-

c al di st a n c e i n n at ur al l a n g u a g e u s e. P s y c h ol o gi c al S ci e n c e , 2 6 ,

1 4 4 9 – 1 4 6 0.

St o n e, P. J., D u n p h y, D. C., & S mit h, M. S. ( 1 9 6 6). T h e g e n e r al

i n q uir er: A c o m p ut er a p pr o a c h t o c o nt e nt a n al ysi s. O xf or d, E n g-

l a n d: MI T Pr ess.

Tr o p e, Y., & Li b er m a n, N. ( 2 0 1 0). C o nstr u al-l e v el t h e or y of ps y c h o-

l o gi c al dist a n c e. Ps y c h ol o gi c al R e vi e w , 1 1 7 , 4 4 0 – 4 6 3.

W a ksl a k, C. J., S mit h, P. K., & H a n, A. ( 2 0 1 4). U si n g a bstr a ct l a n-

g u a g e si g n al s p o w er. J o ur n al of P er s o n alit y a n d S o ci al Ps y c h ol-

o g y , 1 0 7 , 4 1 – 5 5.

Yi p- B a n ni c q, M., K al kst ei n, D. A., & Tr o p e, Y. ( 2 0 1 9). A bstr a cti o n i n

s h ar e d r e alit y . M a n us cri pt i n pr e p ar ati o n.

A u t h o r Bi o g r a p hi e s

K at e M. J o h ns o n- G r e y is a s o ci al ps y c h ol o g y P h D r es e ar c h er at t h e

U ni v er sit y of S o ut h er n C alif or ni a. H er r e s e ar c h f o c u s e s o n mi x e d-

m et h o ds a p pr o a c h es t o st u d yi n g v al u es i n s o ci al c o nt e xts.

R ei h a n e B o g h r ati is a c o m p ut er s ci e n c e P h D r es e ar c h er at t h e U ni-

v er sit y of S o ut h er n C alif or ni a. U si n g n at ur al l a n g u a g e pr o c e s si n g

m et h o ds, h er r es e ar c h f o c us es o n e x pl ori n g c o g niti v e a n d ps y c h ol o gi-

c al f a ct ors u n d erl yi n g h u m a n l a n g u a g e. S p e cifi c all y, s h e d esi g n e d a n d

d e v el o p e d a t o ol f or c o m p ari n g s y nt a cti c str u ct ur es a cr oss d o c u m e nts

a n d e x pl or e d h o w p e o pl e mirr or t h eir i nt erl o c ut or’s s y nt a x.

C h e r yl J . W a k sl a k i s a n a s s o ci at e pr of e s s or at t h e U ni v er sit y of

S o ut h er n C alif or ni a. S h e st u di e s m a n a g eri al a n d or g a ni z ati o n al

d e ci si o n- m a ki n g, f o c u si n g e s p e ci all y o n h o w di st a n c e i n ti m e, i n

s p a c e, a n d o n s o ci al di m e n si o n s s h a p e s i nf or m ati o n pr o c e s si n g a n d

i nt er p ers o n al i nt er a cti o n.

M o rt e z a D e h g h a ni is a n assist a nt pr of ess or of ps y c h ol o g y, c o m p ut er

s ci e n c e a n d t h e Br ai n a n d Cr e ati vit y I nstit ut e ( B CI) at U ni v ersit y of

S o ut h er n C alif or ni a. Hi s r e s e ar c h s p a n s t h e b o u n d ar y b et w e e n p s y-

c h ol o g y a n d artifi ci al i nt elli g e n c e, i n v e sti g ati n g pr o p erti e s of c o g ni-

ti o n b y u si n g d o c u m e nt s of s o ci al di s c o ur s e i n c o nj u n cti o n t o

b e h a vi or al st u di es.

H a n di n g E dit or: D o mi ni q u e M ull er

J o h ns o n- Gr ey et al. 9