-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathtagger.pickle
55823 lines (55823 loc) · 378 KB
/
tagger.pickle
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
ccopy_reg
_reconstructor
p0
(cnltk.tag.brill
BrillTagger
p1
c__builtin__
object
p2
Ntp3
Rp4
(dp5
S'_initial_tagger'
p6
g0
(cnltk.tag.sequential
TrigramTagger
p7
g2
Ntp8
Rp9
(dp10
S'_taggers'
p11
(lp12
g9
ag0
(cnltk.tag.sequential
BigramTagger
p13
g2
Ntp14
Rp15
(dp16
g11
(lp17
g15
ag0
(cnltk.tag.sequential
UnigramTagger
p18
g2
Ntp19
Rp20
(dp21
g11
(lp22
g20
ag0
(cnltk.tag.sequential
AffixTagger
p23
g2
Ntp24
Rp25
(dp26
g11
(lp27
g25
ag0
(cnltk.tag.sequential
RegexpTagger
p28
g2
Ntp29
Rp30
(dp31
g11
(lp32
g30
asS'_size'
p33
I14
sS'_regexs'
p34
cre
_compile
p35
(S'(?P<g0>\\d+\\.\\d+\\w?)|(?P<g1>\\d+\\:\\d+\\w?)|(?P<g2>\\d+\\w)|(?P<g3>\\d+/\\d+/eg)|(?P<g4>^(18|19|20)\\d\\d$)|(?P<g5>(de|het|een))|(?P<g6>(en|of))|(?P<g7>^\\d+)|(?P<g8>^\\w+\\.$)|(?P<g9>^\\d+(\\D|\\S|\\W)(\\.)?$)|(?P<g10>^\\w$)|(?P<g11>^;$)|(?P<g12>^[a-zA-Z]+\\d+$)|(?P<g13>^\\w\\w+$)'
p36
I0
tp37
Rp38
sS'_map'
p39
(dp40
S'g7'
p41
S'Index'
p42
sS'g6'
p43
S'EnOf'
p44
sS'g5'
p45
S'Art'
p46
sS'g4'
p47
S'Year'
p48
sS'g3'
p49
S'Ref'
p50
sS'g2'
p51
g50
sS'g1'
p52
g50
sS'g0'
p53
g50
sS'g9'
p54
S'DegIndex'
p55
sS'g8'
p56
S'Index'
p57
sS'g13'
p58
S'N'
p59
sS'g12'
p60
g50
sS'g11'
p61
S'Punc'
p62
sS'g10'
p63
g50
ssbasS'_min_word_length'
p64
I5
sS'_context_to_tag'
p65
(dp66
Vsco
p67
VN
p68
sVrok
p69
VV
p70
sVVan
p71
g68
sVsch
p72
VAdj
p73
sVron
p74
g68
sVede
p75
VNum
p76
sValf
p77
VNum
p78
sVpte
p79
g70
sVale
p80
VAdj
p81
sVrod
p82
VAdj
p83
sVost
p84
g68
sVrof
p85
g70
sVeds
p86
VAdv
p87
sVlli
p88
g68
sVllo
p89
g68
sVper
p90
g68
sVedt
p91
g70
sVóód
p92
VInt
p93
sVrop
p94
VAdv
p95
sVtöd
p96
g68
sValt
p97
g70
sVedy
p98
g68
sV.01
p99
VNum
p100
sVals
p101
VConj
p102
sVlle
p103
VAdj
p104
sVrom
p105
VAdv
p106
sVid.
p107
g68
sVver
p108
g68
sV,81
p109
VNum
p110
sVuwé
p111
g68
sVlke
p112
VPron
p113
sVaul
p114
g70
sVlls
p115
g68
sVxte
p116
g70
sVesd
p117
g70
sVaut
p118
g68
sVauw
p119
VAdj
p120
sVven
p121
g70
sVren
p122
g70
sVlkt
p123
g70
sVess
p124
g68
sVa's
p125
g68
sVald
p126
g70
sVtme
p127
g68
sVdex
p128
g68
sVal-
p129
g68
sVium
p130
g68
sVuws
p131
g68
sVppy
p132
g68
sVaïl
p133
g68
sVães
p134
g68
sVuwt
p135
g70
sVics
p136
g68
sVmpt
p137
g70
sVfan
p138
g68
sVFIE
p139
VPron
p140
sVius
p141
g68
sVëet
p142
g68
sVpië
p143
g68
sVuwe
p144
VAdj
p145
sVuwd
p146
g70
sVglé
p147
g68
sVdio
p148
g68
sVwse
p149
VAdj
p150
sVgue
p151
g70
sVdik
p152
VAdj
p153
sVtra
p154
g68
sVáál
p155
g68
sVdig
p156
VAdj
p157
sV.96
p158
VNum
p159
sVeve
p160
VAdj
p161
sVdré
p162
g68
sVlst
p163
g68
sVvan
p164
VAdv
p165
sVred
p166
g68
sVffe
p167
VAdj
p168
sVdit
p169
g68
sVigt
p170
g70
sV-is
p171
g68
sVAG3
p172
g68
sVus-
p173
g68
sVk's
p174
g68
sVuel
p175
g68
sVhte
p176
VAdj
p177
sVcfm
p178
g68
sV595
p179
VNum
p180
sVtem
p181
g68
sVten
p182
g68
sV195
p183
VNum
p184
sVrre
p185
g68
sVods
p186
g68
sValá
p187
g68
sVosé
p188
g68
sV.05
p189
VNum
p190
sVhts
p191
VAdv
p192
sVrry
p193
g68
sVuez
p194
g68
sVtep
p195
g68
sVuet
p196
g68
sVter
p197
g68
sVtes
p198
g68
sVsde
p199
g70
sVode
p200
g68
sVues
p201
g68
sVepe
p202
VAdj
p203
sVnen
p204
g70
sVdeh
p205
g68
sVek-
p206
g68
sVros
p207
g68
sVxor
p208
VAdv
p209
sVnef
p210
g68
sVose
p211
g68
sVned
p212
g68
sVast
p213
VAdv
p214
sVnec
p215
VMisc
p216
sV.00
p217
VNum
p218
sV525
p219
VNum
p220
sVsus
p221
g68
sVnex
p222
VPrep
p223
sVney
p224
g68
sVère
p225
g68
sVnet
p226
g68
sVner
p227
g68
sVnes
p228
g68
sVdem
p229
g68
sVmee
p230
VAdv
p231
sVmed
p232
g68
sVken
p233
g70
sVoze
p234
VAdj
p235
sVte-
p236
g68
sVkel
p237
g68
sVnge
p238
VAdj
p239
sVlei
p240
VPron
p241
sVht-
p242
g68
sVmen
p243
g70
sVlen
p244
g70
sVrug
p245
VAdv
p246
sVgge
p247
g68
sVmet
p248
g68
sVler
p249
g68
sVles
p250
VPron
p251
sV,32
p252
VNum
p253
sV,33
p254
VNum
p255
sVmes
p256
g68
sVmer
p257
g68
sVlex
p258
g68
sVlez
p259
g68
sV589
p260
VNum
p261
sVhem
p262
g68
sVern
p263
g68
sVhke
p264
VAdj
p265
sVrdt
p266
g70
sVi's
p267
g68
sVwde
p268
g70
sVrds
p269
g68
sVcts
p270
g68
sVaks
p271
g68
sVuts
p272
g68
sVeke
p273
VAdj
p274
sV909
p275
VNum
p276
sVbot
p277
g68
sVgle
p278
g68
sVO's
p279
g68
sVakt
p280
g70
sVrde
p281
g70
sVcte
p282
VAdj
p283
sVect
p284
g68
sV645
p285
VNum
p286
sVuld
p287
g70
sVdra
p288
g68
sV241
p289
VNum
p290
sVekt
p291
g70
sVeks
p292
g68
sVglu
p293
g68
sVake
p294
g68
sVsje
p295
g68
sVrkt
p296
g70
sVvic
p297
g68
sVier
p298
g68
sVvig
p299
VAdj
p300
sVg's
p301
g68
sVrks
p302
VAdj
p303
sV.41
p304
VNum
p305
sVuze
p306
VAdj
p307
sV710
p308
VNum
p309
sV-cd
p310
g68
sV.45
p311
VNum
p312
sVnk-
p313
g68
sVapt
p314
g70
sVrke
p315
VAdj
p316
sVués
p317
g68
sVwit
p318
g70
sV.04
p319
VNum
p320
sVipt
p321
g70
sV2,5
p322
VNum
p323
sVbre
p324
g68
sV2,6
p325
VNum
p326
sV050
p327
VNum
p328
sVrki
p329
g68
sVbra
p330
g68
sVlor
p331
g68
sV,43
p332
VNum
p333
sVkse
p334
VAdj
p335
sVuse
p336
VAdj
p337
sVfee
p338
g68
sV850
p339
VNum
p340
sVche
p341
VAdj
p342
sVéri
p343
g68
sVfen
p344
g70
sVchi
p345
g68
sVfel
p346
g68
sVmst
p347
g68
sVusk
p348
VAdj
p349
sVved
p350
VMisc
p351
sVtés
p352
g68
sVzig
p353
VAdj
p354
sVfet
p355
g70
sVust
p356
VAdj
p357
sVcht
p358
g68
sV.fr
p359
g68
sVca-
p360
g68
sVsië
p361
g68
sVer-
p362
g68
sVmse
p363
VAdj
p364
sVoed
p365
g68
sVzij
p366
VPrep
p367
sVays
p368
g68
sVons
p369
g68
sVood
p370
g68
sVoog
p371
g68
sVoof
p372
g68
sVxeï
p373
g68
sVnke
p374
VAdj
p375
sVoom
p376
g68
sVool
p377
g68
sVien
p378
VAdv
p379
sVooi
p380
g68
sVook
p381
g68
sVris
p382
g68
sVoot
p383
VAdj
p384
sViig
p385
VAdj
p386
sVnks
p387
VPrep
p388
sVnkt
p389
g70
sVoop
p390
g68
sVoos
p391
VAdj
p392
sVoor
p393
VAdv
p394
sVörk
p395
g68
sVrk-
p396
g68
sVvel
p397
g68
sVëls
p398
g68
sVert
p399
g70
sVdez
p400
g68
sVerp
p401
g68
sV-up
p402
g68
sVers
p403
g68
sVjde
p404
g68
sV'nn
p405
g68
sVder
p406
g68
sVëne