{
  "schemaVersion": 2,
  "hash": "0a6aebf5bb3287240d28753b5642777642e4b2ee00357d48ab721951f1ffe220",
  "purpose": "html-region",
  "page": "/en/anti-jazyk/",
  "sourceLang": "CS",
  "targetLang": "EN-US",
  "glossaryRevision": "none",
  "deepl": {
    "tagHandling": "html",
    "tagHandlingVersion": "v2",
    "splitSentences": "nonewlines",
    "preserveFormatting": true
  },
  "selectorPolicyRevision": 2,
  "sourceFragment": " <div class=\"post-header\">  <h1 class=\"post-title\">Anti-jazyk</h1> <p class=\"post-meta\"> December 2025 </p> </div> <div class=\"post-body\"> <p>Běžné jazykové modely vybírají další token tak, že zvolí jeden z nejpravděpodobnějších návrhů, které se podle jejich statistického odhadu nejlépe hodí do kontextu. Tomu budeme říkat standardní sampling.<br>\nTento projekt dělá pravý opak.<br>\nMísto výběru nejpravděpodobnějších tokenů model nutíme sahat k těm nejméně pravděpodobným, tedy k těm, které by v běžném režimu téměř nikdy nepoužil.<br>\nVýsledkem je anti-jazyk – text tvořený z okrajových, penalizovaných a často odlehlých částí slovní zásoby modelu.<br>\nVznikají tak struktury, které nejsou čistě náhodné symboly, ale ani koherentní věty.</p>\n<p><strong>Jak to funguje</strong><br>\nModel dostane krátký vstup (např. „This is “).<br>\nVygeneruje pravděpodobnostní rozdělení všech možných dalších tokenů.<br>\nMísto výběru z horní části distribuce (nejpravděpodobnější tokeny) se celý mechanismus otočí a vybírá se z jejího dna (nejméně pravděpodobné tokeny).<br>\nTím se odkryjí „spodní vrstvy“ modelu: vzácné výrazy, jazykové fragmenty a jiné artefakty, které model normálně potlačuje.</p>\n<p><strong>Kód</strong><br>\nZde můžete vidět nebo spustit kód projektu:<br>\n<a href=\"https://colab.research.google.com/drive/18y4hUsNv-aEZHtXVp67ygHGGpMBkByxD?usp=sharing\">https://colab.research.google.com/drive/18y4hUsNv-aEZHtXVp67ygHGGpMBkByxD?usp=sharing</a></p>\n<p>Je možné přenastavit parametry jako <strong>bottom_k</strong> (ovlivňuje z kolika nejméně pravděpodobných tokenů se vybírá), <strong>max_new_tokens</strong> (počet výstupních tokenů) a <strong>tokenizer/model</strong> (mění model a tokenizer, ‘gpt2’ doporučuji pro rychlý test, ale je možné experimentovat i s většími modely, jako jsou ‘gpt2-medium’, ‘gpt2-large’, ‘gpt2-xl’,‘EleutherAI/gpt-neo-1.3B’, …).</p>\n<p><strong>Ukázka výstupu</strong><br>\nZde jsem použil model GPT-2 a nechal ho doplnit text „This is “:</p>\n<span data-i18n-protected=\"p0\" translate=\"no\" class=\"notranslate\"></span>\n<p><strong>Analýza ukázky výstupu</strong><br>\nAnti-jazyk není náhodný šum. Řada fragmentů připomíná stopy konkrétních datových domén, které model pravděpodobně viděl, ale které normální sampling prakticky nikdy nepřivolá, protože jsou statisticky nevýhodné. Anti-jazyk je naopak zvýhodní.<br>\nNěkteré části textu, které model generuje, vypadají jako artefakty z trénovacího datasetu. Někdy lze spatřit náznaky <strong>data scrapingu různých e-shopů</strong> („BuyableInstoreAndOnline“, „SpecialOrderable“, „ItemThumbnailImage“), <strong>potenciálně citlivá nebo sociálně nabitá témata</strong> („sexual“, „Muslims“, „Hispanic“), <strong>vědecké termíny nebo jejich části</strong> („isomer“, „antidepress“, „[m]icrobial“, „[p]uncture“, „intolerance“), <strong>kulturní odkazy</strong> („Monroe“, „Phelps“, „Rockefeller“, „Nitrome“), <strong>nábožensko-mytické nebo fantasijní artefakty</strong> („Archdemon“, „devils“), <strong>místa</strong> („Moroc“, „Afric“), <strong>části uživatelského rozhraní webů</strong> („cloneembedreportprint“, „IMAGES“) atd.<br>\nJe potřeba dodat omezení této analýzy: mozek má tendenci vyzobávat známé vzory (značky, jména, pojmy) a zbytek ignorovat. Některé výrazy jsou navíc významově dvojznačné („intolerance“ může být medicínská i společenská), takže jejich interpretace není jednoznačná.</p> </div> ",
  "translatedFragment": " <div class=\"post-header\">  <h1 class=\"post-title\">Anti-language</h1> <p class=\"post-meta\"> December 2025 </p> </div> <div class=\"post-body\"> <p>\nConventional language models select the next token by choosing one of the most probable suggestions that, according to their statistical estimate, best fits the context. We will call this standard sampling.<br>\nThis project does the exact opposite.<br>\nInstead of selecting the most probable tokens, we force the model to reach for the least probable ones—that is, those it would almost never use in normal mode.<br>\nThe result is an anti-language—text composed of marginal, penalized, and often obscure parts of the model’s vocabulary.<br>\nThis creates structures that are neither purely random symbols nor coherent sentences.</p>\n<p><strong>How it works</strong><br>\nThe model receives a short input (e.g., “This is ”).<br>\nIt generates a probability distribution of all possible subsequent tokens.<br>\nInstead of selecting from the top of the distribution (the most likely tokens), the entire mechanism flips and selects from the bottom (the least likely tokens).<br>\nThis reveals the “lower layers” of the model: rare expressions, linguistic fragments, and other artifacts that the model normally suppresses.</p>\n<p><strong>Code</strong><br>\nYou can view or run the project code here:<br>\n\n<a href=\"https://colab.research.google.com/drive/18y4hUsNv-aEZHtXVp67ygHGGpMBkByxD?usp=sharing\">https://colab.research.google.com/drive/18y4hUsNv-aEZHtXVp67ygHGGpMBkByxD?usp=sharing</a></p>\n<p>You can adjust parameters such as <strong>bottom_k</strong> (affects how many of the least likely tokens are selected), <strong>max_new_tokens</strong> (number of output tokens), and <strong>tokenizer/model</strong> (changes the model and tokenizer; I recommend ‘gpt2’ for a quick test, but you can also experiment with larger models such as ‘gpt2-medium’, ‘gpt2-large’, ‘gpt2-xl’, ‘EleutherAI/gpt-neo-1.3B’, …).</p>\n<p><strong>Sample output</strong><br>\nHere I used the GPT-2 model and had it complete the text “This is ”:</p>\n<span data-i18n-protected=\"p0\" translate=\"no\" class=\"notranslate\"></span>\n<p><strong>Analysis of the sample output</strong><br>\nAnti-language is not random noise. Many fragments resemble traces of specific data domains that the model has likely seen, but which normal sampling practically never invokes because they are statistically unfavorable. Anti-language, on the other hand, favors them.<br>\n\nSome parts of the text generated by the model look like artifacts from the training dataset. Sometimes one can see hints <strong>of data scraping from various e-shops</strong>\n(“BuyableInstoreAndOnline,” “SpecialOrderable,” “ItemThumbnailImage”), <strong>potentially sensitive or socially charged topics</strong>\n(“sexual,” “Muslims,” “Hispanic”), <strong>scientific terms or parts thereof</strong>\n(“isomer,” “antidepress,” “[m]icrobial,” “[p]uncture,” “intolerance”), <strong>cultural references</strong>\n(“Monroe,” “Phelps,” “Rockefeller,” “Nitrome”), <strong>religious-mythical or fantasy artifacts</strong>\n(“Archdemon,” “devils”), <strong>places</strong>\n(“Moroc,” “Afric”), <strong>parts of website user interfaces</strong>\n(“cloneembedreportprint,” “IMAGES”), etc.<br>\nIt is necessary to note a limitation of this analysis: the brain tends to pick out familiar patterns (brands, names, concepts) and ignore the rest. Furthermore, some terms are semantically ambiguous (“intolerance” can be both medical and social), so their interpretation is not unambiguous.</p> </div> ",
  "createdAt": "2026-05-08T09:53:48.647Z"
}
