Spring til indhold
Pressetjek.

Kan man stole på tallene?

Tre sprogmodeller har læst alle 138.096 artikler én for én med samme instruks for DR og TV 2. Faste regler i koden afgør, hvad der tæller. Blinde bedømmere har vurderet over 1.000 af artiklerne igen.

Hvor sikre er tallene?

Sikre nok til at vise mønstre i tusindvis af artikler. Brug dem med forsigtighed om den enkelte artikel. Derfor står citaterne bag hver dom altid på artiklens side.

91 %Enig med en blind kontrolI en blind kontrol af 1.000 artikler fik 91 % samme dom som hos de blinde bedømmere. Resten er grænsetilfælde: artikler, der hælder svagt eller slet ikke.
0 af 217Fik forkert fløjI en runde på 217 artikler blev ingen dømt til venstre, hvor kontrollen sagde højre, eller omvendt.
Over 1.000Artikler i blinde kontrollerMetoden er kontrolleret i flere runder, hver gang af bedømmere, der ikke så analysens svar. Efter hver runde er instruksen rettet og prøvet igen.
AlleHver hentet artikel, ikke et udvalgAlle artikler, der er hentet fra dr.dk og nyheder.tv2.dk siden 1. januar 2020, er læst én for én. Der trækkes ingen stikprøve.

Enigheden er ikke 100 %, fordi de fleste artikler ikke er politiske eller ikke gavner nogen fløj, og mange af dem, der hælder, kun hælder svagt. Grænsen mellem svag hældning og ingen hældning er et skøn, og det er dér, analysen og bedømmerne er uenige. Enten finder bedømmerne en svag hældning, som analysen ikke fandt, eller også er det omvendt.

Kontrollen er en blind AI-kontrol. Bedømmerne er sprogmodellen Claude Opus, som får artiklerne i tilfældig rækkefølge uden analysens svar og dømmer dem efter en skreven regel. Der er ingen menneskelige bedømmere.

De tre modeller er også prøvet mod hinanden på 120 artikler, valgt fordi de er svære. Hvor de to andre modeller var enige med hinanden, var DeepSeek Flash enig i 53–55 af 68 artikler, og ingen artikel fik byttet om på venstre og højre. Da DeepSeek Flash læste de 120 artikler igen, pegede dommen samme vej i 88.

Små grupper vises ikke: partier under 20 omtaler, journalister under 25 politiske artikler og emner under 15.

Fra artikel til tal

  1. 1IndsamlingAlle artikler fra dr.dk (DR’s eget API) og nyheder.tv2.dk (TV 2’s nyhedslister) siden 1. januar 2020. Liveblogs, video og forsider gemmes, men analyseres ikke. DR’s arkiv før 2024 er ikke komplet.
  2. 2LæsningEn sprogmodel får hele artiklen og en fast instruks og svarer i et fast skema med over 30 felter. Passer svaret ikke til skemaet, læser modellen artiklen igen, op til tre gange. Alt, modellen peger på i teksten, skal stå som ordret citat.
  3. 3Faste reglerKoden, ikke sprogmodellen, afgør, hvilken fløj et sted i teksten gavner. Koden kender partiernes blok, hvem der sad i regering på artiklens dato, og kendte politikeres parti. Et blåt parti, der fremstår dårligere, gavner venstre, også når ingen fra rød blok er med. Kildernes egne ord, ren kritik af magthavere og strid inden for én blok tæller ikke. Et parti, der kun refereres for sit eget forslag, tæller som neutralt. Det, koden forkaster, gemmes med begrundelse.
  4. 4OptællingTallene lægges sammen pr. medie, år, parti, emne og journalist. Altid med antal artikler og usikkerhed (95 %).

Et sted i teksten kan handle om et dansk parti, en udenlandsk politiker (Trump og republikanerne tæller til højre, demokraterne til venstre) eller en klassisk højre- eller venstreholdning som lavere skat eller strammere regler for udlændinge.

Instruksen er skrevet om og prøvet i flere omgange, og artiklerne er læst forfra med den nye instruks. Undervejs er fire forskellige sprogmodeller brugt. Tallene på sitet kommer fra én samlet læsning med den seneste instruks.

Hvad hentes ud af hver artikel?

Modellen udfylder det samme skema for hver artikel. Alt, den peger på i teksten, står som ordret citat, og citaterne vises på artiklens egen side.

Hvem der optræder
Hver person, hvert parti og hver organisation: type, parti, køn, hvor meget de fylder, og hvordan de fremstår på en skala fra −2 til +2.
Kritik
Hvem der kritiserer hvem, og om den kritiserede får svar i samme artikel.
Steder i teksten
Hver formulering, der stiller en fløj bedre eller dårligere: citatet ordret, typen (ordvalg, valg af kilder, rubrik, vinkling, valg af fakta, konsekvens, sidste ord eller udeladelse), og om det er journalistens egne ord eller en kildes.
Ros og kritik af partier
Hver vurdering af et parti med teksten ordret og afsenderen: journalisten, et andet parti eller en anden, der optræder.
Emnets vinkel
For hvert politisk emne i artiklen: krise, problem, saglig, løsning eller nedtonet. De dramatiske ord gemmes ordret, og det noteres, om en mulig løsning og modargumenter er med.
Ekstremisme, køn og lande
Hvilken form for ekstremisme der omtales, og med hvilke betegnelser. Hvem der er offer, og hvem der er problemet, når køn er en del af historien. Hvert lands rolle i en konflikt, og om landets eget svar er med.
Resten af skemaet
Resumé og fakta, hovedemne, sted, tone, hvem der sætter dagsordenen, og hvilket perspektiv der mangler. Titlen og resuméet på artiklens side er skrevet ud fra analysen.

Hvad betyder en hældning?

En artikel hælder, når den som helhed stiller den ene fløj bedre end den anden. Dommen har en side og en styrke: svagt, tydeligt eller stærkt.

En hældning har intet plus eller minus. Rød betyder venstre og blå højre, ikke dårligt eller godt. Kun fremstilling, altså hvordan nogen fremstår, bruger minus (fra −2 til +2), og der betyder minus negativt. Artikler uden dansk partipolitik får ingen dom og tæller ikke med her.

Vi kalder det først en skævhed, når forskellen mellem venstre og højre er større, end tilfældigheder kan forklare. Forskellen skal være større end 1,96 × √(venstre + højre), altså uden for usikkerheden på 95 %.

Grupper, herkomst, indvandring, Vesten og kilder

Alle mål bruger de samme regler begge veje. Instruksen kræver samme dom, når gruppen eller fløjen byttes om. I en prøve, hvor partierne i neutrale artikler blev byttet om, tippede 8 mod venstre og 7 mod højre.

Grupper
Hvilke grupper artiklen fremstiller som gruppe, for eksempel indvandrere, mænd eller ældre, og om de er offer, problem, ressource eller neutrale. For hver rolle noteres, hvor den kommer fra: den følger af fakta, af kildernes ord eller af journalistens egen vinkel. Kun journalistens vinkel siger noget om mediet. Journalistens egne betegnelser gemmes ordret, og det noteres, når hele gruppen tillægges et negativt træk.
Herkomst
Kun artikler om en konkret forbrydelse eller retssag i Danmark: om gerningspersonens og offerets herkomst nævnes, og om den er dansk eller udenlandsk.
Indvandring
Kun når indvandring, asyl eller integration er centralt i artiklen: hvilken ramme emnet får, om omkostninger og gevinster nævnes, og hvordan strammere regler fremstilles.
Vesten
Kun artikler om Vestens eller Danmarks historie, skyld og værdier, eller om forholdet til ikke-vestlige lande: hvordan Vesten fremstilles, og hvordan ikke-vestlige regimer og kulturer fremstilles.
Kildernes placering
73 organisationer har en dokumenteret placering for hver debat, ikke én samlet etiket: Amnesty står til venstre om asyl, Dansk Industri til højre om økonomisk politik. Svage placeringer vises for sig.

Hvad tallene kan, og hvad de ikke kan

Det kan de

  • Vise mønstre på tværs af tusindvis af artikler.
  • Sammenligne DR og TV 2, partier, år og emner med samme mål.
  • Pege på de konkrete formuleringer bag hver dom.
  • Vise, når der ingen forskel er. Nul vises som nul.

Det kan de ikke

  • Afgøre, om én bestemt artikel er forkert. Det kræver læserens eget skøn.
  • Måle, hvilke historier mediet vælger ikke at skrive.
  • Måle tv- og radioindslag. Kun skrevne artikler er med.
  • Sige noget om journalisters holdninger. Kun om teksten.

Kendte begrænsninger

Kritik af partier
Modellerne overser 35–40 % af kritikken af partierne, mest kritik af regeringspartiet. Tallene for kritik er derfor for lave, og mest for regeringen.
Tre modeller
TV 2’s artikler er læst af DeepSeek Flash. DR’s artikler fra 2024 og frem er mest læst af Muse Spark. En del af forskellen mellem DR og TV 2 i de år, og mellem DR før og efter 2024, kan derfor skyldes modellen og ikke dækningen.
Citater
Modellen skal skrive citaterne af ordret, men koden kontrollerer dem ikke mod artiklens tekst. Læs citatet i artiklen, før du bruger det.
Ekstremisme
Ved sammenlignelige handlinger vurderer modellen højreekstremisme en anelse strengere end venstreekstremisme. Sammenlign derfor helst antal og journalisternes egne ord frem for modellens vurdering af, hvor alvorlig handlingen er.
DR før 2024
DR’s arkiv før 2024 er ikke komplet, og for 2020–2023 mangler en stor del af artiklerne. Brug andele eller tal pr. 1.000 artikler, når år sammenlignes.
Svag hældning
De fleste fejl er artikler med svag hældning, der bliver dømt uden hældning, eller omvendt. Det sker til begge sider.
Køn
En sag om én anklaget mand kan få en kønsvinkel, selv om artiklen ikke handler om køn.
Hældning
Hældning siger noget om teksten, ikke om journalisten, redaktionen eller mediets hensigt.

De officielle kilder og deres forbehold

Ordliste

Hældning
Hvilken fløj artiklen som helhed gavner, og hvor meget: svagt, tydeligt eller stærkt. En hældning har en side og en styrke, ikke plus eller minus. Ingen hældning betyder, at artiklen er politisk, men ikke gavner nogen side.
Kritik og ros af et parti
Ros eller kritik fra nogen anden end partiet selv: journalisten, et andet parti eller en anden, der optræder i artiklen.
Uden svar
Partiet kritiseres, men får ikke selv ordet i samme artikel.
Vinkel
Hvordan et emne fremstilles: som krise, som problem, sagligt, som løsning eller nedtonet.
Fremstår
Hvordan en person, et parti eller et land fremstår i artiklen, fra meget negativt til meget positivt. Bag ordene ligger en skala fra −2 til +2, hvor minus betyder negativt.
Skævhed
En systematisk forskel mellem to ting, der måles på samme måde, for eksempel højre- og venstreekstremisme eller kvinder og mænd som kilder.
Usikkerhed
Det interval, tallet med stor sandsynlighed ligger i (95 %). Krydser det nul, kalder vi det ikke en skævhed.
Spejltest
Instruksen kræver, at samme formulering om den modsatte gruppe eller fløj giver samme dom.
Holdning
Et sted i teksten kan handle om en politisk holdning, for eksempel lavere skat, i stedet for en person. Holdningen hører til en fløj, og stedet gavner enten den fløj eller den modsatte.
Ekstremisme
Omtale af ekstreme bevægelser og grupper, deres handlinger, og hvilke ord journalisten selv bruger om dem.
Kønsvinkel
Hvem der fremstilles som offer, og hvem som problemet, når køn er en del af historien.
Journalistens vinkel
Den rolle, en gruppe får, fordi journalisten selv vinkler sådan, og ikke fordi kilderne siger det, eller fakta tilsiger det.
Generalisering
Hele gruppen tillægges et negativt træk.
Kilder til venstre og højre
Hvor mange citerede kilder der kommer fra organisationer, som står til venstre eller til højre i den debat, de udtaler sig om.
Historie
Artikler om samme konkrete sag, samlet på tværs af DR og TV 2, også når sagen strækker sig over flere år.
Titel og resumé
Skrevet af Pressetjek ud fra analysen, af den sprogmodel, der har læst artiklen. Mediernes egne rubrikker og underrubrikker gengives ikke.

Se selv efter

Hver artikel har sin egen side med dommen, citaterne bag og de steder, koden forkastede.

Søg i artiklerne