Kan man stole på tallene?
Tre sprogmodeller har læst alle 138.096 artikler én for én med samme instruks for DR og TV 2. Faste regler i koden afgør, hvad der tæller. Blinde bedømmere har vurderet over 1.000 af artiklerne igen.
Hvor sikre er tallene?
Sikre nok til at vise mønstre i tusindvis af artikler. Brug dem med forsigtighed om den enkelte artikel. Derfor står citaterne bag hver dom altid på artiklens side.
Enigheden er ikke 100 %, fordi de fleste artikler ikke er politiske eller ikke gavner nogen fløj, og mange af dem, der hælder, kun hælder svagt. Grænsen mellem svag hældning og ingen hældning er et skøn, og det er dér, analysen og bedømmerne er uenige. Enten finder bedømmerne en svag hældning, som analysen ikke fandt, eller også er det omvendt.
Kontrollen er en blind AI-kontrol. Bedømmerne er sprogmodellen Claude Opus, som får artiklerne i tilfældig rækkefølge uden analysens svar og dømmer dem efter en skreven regel. Der er ingen menneskelige bedømmere.
De tre modeller er også prøvet mod hinanden på 120 artikler, valgt fordi de er svære. Hvor de to andre modeller var enige med hinanden, var DeepSeek Flash enig i 53–55 af 68 artikler, og ingen artikel fik byttet om på venstre og højre. Da DeepSeek Flash læste de 120 artikler igen, pegede dommen samme vej i 88.
Små grupper vises ikke: partier under 20 omtaler, journalister under 25 politiske artikler og emner under 15.
Fra artikel til tal
- 1IndsamlingAlle artikler fra dr.dk (DR’s eget API) og nyheder.tv2.dk (TV 2’s nyhedslister) siden 1. januar 2020. Liveblogs, video og forsider gemmes, men analyseres ikke. DR’s arkiv før 2024 er ikke komplet.
- 2LæsningEn sprogmodel får hele artiklen og en fast instruks og svarer i et fast skema med over 30 felter. Passer svaret ikke til skemaet, læser modellen artiklen igen, op til tre gange. Alt, modellen peger på i teksten, skal stå som ordret citat.
- 3Faste reglerKoden, ikke sprogmodellen, afgør, hvilken fløj et sted i teksten gavner. Koden kender partiernes blok, hvem der sad i regering på artiklens dato, og kendte politikeres parti. Et blåt parti, der fremstår dårligere, gavner venstre, også når ingen fra rød blok er med. Kildernes egne ord, ren kritik af magthavere og strid inden for én blok tæller ikke. Et parti, der kun refereres for sit eget forslag, tæller som neutralt. Det, koden forkaster, gemmes med begrundelse.
- 4OptællingTallene lægges sammen pr. medie, år, parti, emne og journalist. Altid med antal artikler og usikkerhed (95 %).
Et sted i teksten kan handle om et dansk parti, en udenlandsk politiker (Trump og republikanerne tæller til højre, demokraterne til venstre) eller en klassisk højre- eller venstreholdning som lavere skat eller strammere regler for udlændinge.
Instruksen er skrevet om og prøvet i flere omgange, og artiklerne er læst forfra med den nye instruks. Undervejs er fire forskellige sprogmodeller brugt. Tallene på sitet kommer fra én samlet læsning med den seneste instruks.
Hvad hentes ud af hver artikel?
Modellen udfylder det samme skema for hver artikel. Alt, den peger på i teksten, står som ordret citat, og citaterne vises på artiklens egen side.
Hvad betyder en hældning?
En artikel hælder, når den som helhed stiller den ene fløj bedre end den anden. Dommen har en side og en styrke: svagt, tydeligt eller stærkt.
En hældning har intet plus eller minus. Rød betyder venstre og blå højre, ikke dårligt eller godt. Kun fremstilling, altså hvordan nogen fremstår, bruger minus (fra −2 til +2), og der betyder minus negativt. Artikler uden dansk partipolitik får ingen dom og tæller ikke med her.
Vi kalder det først en skævhed, når forskellen mellem venstre og højre er større, end tilfældigheder kan forklare. Forskellen skal være større end 1,96 × √(venstre + højre), altså uden for usikkerheden på 95 %.
Grupper, herkomst, indvandring, Vesten og kilder
Alle mål bruger de samme regler begge veje. Instruksen kræver samme dom, når gruppen eller fløjen byttes om. I en prøve, hvor partierne i neutrale artikler blev byttet om, tippede 8 mod venstre og 7 mod højre.
Hvad tallene kan, og hvad de ikke kan
Det kan de
- Vise mønstre på tværs af tusindvis af artikler.
- Sammenligne DR og TV 2, partier, år og emner med samme mål.
- Pege på de konkrete formuleringer bag hver dom.
- Vise, når der ingen forskel er. Nul vises som nul.
Det kan de ikke
- Afgøre, om én bestemt artikel er forkert. Det kræver læserens eget skøn.
- Måle, hvilke historier mediet vælger ikke at skrive.
- Måle tv- og radioindslag. Kun skrevne artikler er med.
- Sige noget om journalisters holdninger. Kun om teksten.
Kendte begrænsninger
De officielle kilder og deres forbehold
Ordliste
- Hældning
- Hvilken fløj artiklen som helhed gavner, og hvor meget: svagt, tydeligt eller stærkt. En hældning har en side og en styrke, ikke plus eller minus. Ingen hældning betyder, at artiklen er politisk, men ikke gavner nogen side.
- Kritik og ros af et parti
- Ros eller kritik fra nogen anden end partiet selv: journalisten, et andet parti eller en anden, der optræder i artiklen.
- Uden svar
- Partiet kritiseres, men får ikke selv ordet i samme artikel.
- Vinkel
- Hvordan et emne fremstilles: som krise, som problem, sagligt, som løsning eller nedtonet.
- Fremstår
- Hvordan en person, et parti eller et land fremstår i artiklen, fra meget negativt til meget positivt. Bag ordene ligger en skala fra −2 til +2, hvor minus betyder negativt.
- Skævhed
- En systematisk forskel mellem to ting, der måles på samme måde, for eksempel højre- og venstreekstremisme eller kvinder og mænd som kilder.
- Usikkerhed
- Det interval, tallet med stor sandsynlighed ligger i (95 %). Krydser det nul, kalder vi det ikke en skævhed.
- Spejltest
- Instruksen kræver, at samme formulering om den modsatte gruppe eller fløj giver samme dom.
- Holdning
- Et sted i teksten kan handle om en politisk holdning, for eksempel lavere skat, i stedet for en person. Holdningen hører til en fløj, og stedet gavner enten den fløj eller den modsatte.
- Ekstremisme
- Omtale af ekstreme bevægelser og grupper, deres handlinger, og hvilke ord journalisten selv bruger om dem.
- Kønsvinkel
- Hvem der fremstilles som offer, og hvem som problemet, når køn er en del af historien.
- Journalistens vinkel
- Den rolle, en gruppe får, fordi journalisten selv vinkler sådan, og ikke fordi kilderne siger det, eller fakta tilsiger det.
- Generalisering
- Hele gruppen tillægges et negativt træk.
- Kilder til venstre og højre
- Hvor mange citerede kilder der kommer fra organisationer, som står til venstre eller til højre i den debat, de udtaler sig om.
- Historie
- Artikler om samme konkrete sag, samlet på tværs af DR og TV 2, også når sagen strækker sig over flere år.
- Titel og resumé
- Skrevet af Pressetjek ud fra analysen, af den sprogmodel, der har læst artiklen. Mediernes egne rubrikker og underrubrikker gengives ikke.
Se selv efter
Hver artikel har sin egen side med dommen, citaterne bag og de steder, koden forkastede.