Po pěti letech ČNK vydává další stomilionový reprezentativní korpus současné psané (tištěné) češtiny SYN2020, který se tak stává nástupcem dosavadního korpusu SYN2015. SYN2020 odráží jazyk z let 2015–2019 a svým složením plně odpovídá SYN2015. Významně se ale u SYN2020 změnila anotace, která doznala těchto konkrétních změn:

• vylepšená tokenizace;
• dvouúrovňová lemmatizace: zatímco lemma sdružuje více variant jednoho slova, sublemma umožňuje pracovat s nimi také odděleně;
• aktualizovaná sada morfologických značek (tagset) s dodatečným atributem verbtag;
• vícenásobná lemmatizace a značkování tzv. agregátů, tedy slov, která se píšou dohromady, ale chovají se jako slova dvě (např. kdyby, vidělas, nač);
• výrazně vyšší úspěšnost syntaktické anotace.

Podrobnosti najdete na stránce s popisem korpusu SYN2020.

Na konci roku 2020 byla spuštěna také nová verze hlavního rozhraní pro práci s korpusy KonText. Vedle podstatných interních změn došlo k rozšíření funkcionality uživatelského rozhraní zejména o tyto funkce:

• zjednodušení typů dotazu z původních šesti na pouhé dva, jednoduchý a pokročilý; zatímco pokročilý dotaz odpovídá původnímu "CQL" dotazu, jednoduchý dotaz spolu s vhodným nastavením parametrů nahrazuje všechny ostatní;
• specializovaný doplněk nabízející další možné varianty zadávaného (sub)lemmatu (zatím jen pro SYN2020).

S hr­dostí ozna­mu­jeme zve­řej­nění mo­ni­to­ro­va­cích korpusů nazvaných ON­LINE a ma­pu­jí­cích český web, tj. internetovou žur­na­lis­tiku, dis­kuse a so­ci­ální sítě, a to od roku 2017 do sou­čas­nosti. Kor­pusy vzni­kají ve spo­lu­práci se spo­leč­ností Dataweps, mají více než 6 mld. to­kenů a jsou pra­vi­delně každý den aktualizovány!

Zveřejňujeme i nové verze dvou mluvených korpusů: ORTOFON v2 a ORATOR v2. Kromě dvojnásobné velikosti (2 mil., resp. 1 mil. slov) obsahují mnohá drobná zlepšení v konzistentnosti transkripce a v anotaci.

Letošní třetí novou webovou aplikací je QuitaUp, která vznikla ve spolupráci s R. Čechem a M. Kubátem z FF OU. QuitaUp slouží k analýze textů, konkrétně k výpočtu základních kvantitativních stylometrických indexů (např. slovní bohatství, tematická koncentrace) z textů zadaných uživatelem. Díky využití UDPipe umí QuitaUp analyzovat texty ve 20 jazycích.

Celý tým ČNK přeje do Nového roku hodně štěstí a spokojenosti!

The CNC is releasing SYN2020, a new 100-million-word representative corpus. SYN2020 supersedes SYN2015 as the CNC’s flagship corpus of synchronic written (printed) Czech. Compared to SYN2015, the design of SYN2020 has not changed, which means that the composition of SYN2020 follows that of SYN2015. In addition to new texts from the 2015–2019 period, there are significant advances in the annotation:

• improved tokenization;
• two-level lemmatization that keeps spelling and other variants under a single lemma while treating them separately on the sublemma level;
• updated morphological tagset with an additional verbtag attribute;
• multivalue lemmatization and tagging of aggregates, i.e. words spelled as a single word that exhibit features of more than one word (e.g. kdyby, vidělas, nač);
• syntactic annotation with significantly improved accuracy.

For details, please refer to the main SYN2020 web page.

Recently, we launched a new version of KonText, our main corpus query interface. Besides significant internal code enhancements, the functionality of the user interface has been extended to include the following features:

• reduction of the six query types to only two: simple and advanced; while the advanced query corresponds to the former "CQL", all other query types are now superseded by the simple query with its settings;
• a special add-on for suggesting other possible variants of the input (sub)lemma (SYN2020 only).

We are proud to announce that we have pub­lished the large mon­i­tor ON­LINE corpo­ra that map the Czech web, i.e. in­ter­net news, dis­cus­sions and so­cial net­works from 2017 to the present day. The ON­LINE cor­po­ra are com­piled in co­op­er­a­tion with the Dataweps com­pa­ny, have more than six bil­lion to­kens and fea­ture reg­ular dai­ly up­dates!

We are also releasing new versions of two spoken corpora: ORTOFON v2 and ORATOR v2. Apart from having doubled in size (to 2M and 1M words, respectively), they feature many small improvements in the consistency of the transcription and in their annotation.

The third new web application released this year is QuitaUp, which was created in collaboration with R. Čech and M. Kubát (FA OU). QuitaUp is used to calculate quantitative stylometric indices (e.g. vo­cab­u­lary rich­ness, the­mat­ic con­cen­tra­tion) of texts uploaded by the user. By leveraging UDPipe, QuitaUp can analyze texts in 20 languages.

The entire CNC team wishes you all the best in the New Year 2021!