Evoluția în România a narativelor cu potențial disruptiv în contextul războiului din Ucraina . Considerații metodologice

Ce conțin rapoartele de monitorizare

Pe baza expertizei proprii, precum și a consultării unui număr de parteneri și posibili beneficiari, Global Focus a selectat o serie de narative cu potențial disruptiv care pot afecta negativ încrederea populației în eforturile făcute de stat și societatea civilă în sprijinirea refugiaților și a cauzei ucrainene, precum și în justețea acestei cauze.

Paragraful de mai sus implică o poziție valorică non-neutră, Astfel, Global Focus își asumă afirmația că sprijinirea Ucrainei și a persoanelor refugiate, indiferent de statutul lor legal, este dezirabilă atât în sine cât și pentru efectele pozitive pe care le poate avea în consolidarea societății românești.

Narativele au fost operaționalizate sub formă de sintaxe booleene (AND/OR/NOT etc) care folosesc o serie de combinații de cuvinte care au o probabilitate ridicată de a se regăsi în articole/postări care ilustrează narativele monitorizate. Sintaxele au fost testate iterativ pentru a minimiza apariția de rezultate fals-pozitive.

Aceste sintaxe sunt rulate în instrumentele de social media CrowdTangle, Pulsar și/sau Newshwhip pentru a obține graficele și cifrele care ilustrează dimensiunea cantitativă a studiului.

În analiza de social media a fost implementată o listă albă (whitelist) de aproximativ 60 de conturi care pot fi detectate în mod eronat de sintaxe ca postând mesaje disruptive. Acestea au fost selectate cantitativ (conturile cu cel mai mare impact pe o perioada de 30 de zile) și sunt excluse automat din grafice si analize. În urma whitelistingului, rata de detecție eronată (false positives) a mesajelor disruptive, exprimată ca număr de interacțiuni, este estimată la 11%.

Pe lângă acestea, rapoartele pot include date din Google Trends sau alte date obținute în regim open-source.

Pe baza datelor cantitative, GlobalFocus oferă o analiză calitativă care ia în considerare relații de cauzalitate, excluzând de la interpretare rezultatele fals-pozitive. Analiza se poate referei la narativele largi sau se poate focaliza asupra unor studii de caz / eraly warning.

Raportul poate fi completat de o serie de recomandări de comunicare strategică privind prevenirea narativelor disruptive și combaterea informațiilor incorecte. Recomandările pot fi ajustate pe tipologii de instituții și pot completa, fără a substitui, abordările proprii ale instituțiilor afectate.

Ce nu este inclus în rapoartele de monitorizare

Rapoartele iau în considerare comportamentul de comunicare și nu intenția de comunicare. În mod tipic, nu se verifică intenția malignă, intenție care este inclusă în unele definiții ale dezinformării. De asemenea, monitorizarea GlobalFocus nu verifică în mod sistematic corectitudinea tuturor informațiilor monitorizate. Astfel, monitorizarea noastră nu este o formă  sistematică de fact-checking.

Raționamentul care stă la baza acestor decizii este atât pragmatic, cât și analitic. Pe de o parte, GlobalFocus nu dispune de resurse pentru a face o evaluare sistematică a tuturor mesajelor importante (în ceea ce privește veridicitatea și intenția). Pe de altă parte, am considerat că este mai relevant din punct de vedere analitic să identificăm și să monitorizăm un tip de discurs toxic / disruptiv, aliniat de obicei cu pozițiile unor actori ostili democrației liberale și/sau cauzei Ucrainei. Acest tip de discurs împletește adevărul și minciuna, iar mesajele sale componente sunt promovate de persoane care pot avea sau nu intenții maligne.

Din motive practice, acest raport nu este și nu poate fi o cercetare exhaustivă a sferei publice. De aceea, datele colectate sunt reprezentative pentru circulația publică online a narativelelor monitorizate dar indicative pentru impactul acestora în sfera publică.

  • Acest raport acoperă exclusiv sursele online, sub formă de text (incluzând text în format grafic). Considerăm că media tipărită este adecvat reflectată în mediul online. De asemenea media audio-video este reflectată în elementele ei principale în mediul online. Totuși, în acest din urmă caz, instrumentele nu pot captura o parte din efectele persuasive.
  • Anumite surse nu sunt expuse analizei din motive de confidențialitate sau practicalitate.

Alte limitări metodologice

  • GlobalFocus și partenerii folosesc instrumente de minare a datelor cunoscute și respectate dar nu pot audita metodologia și tehnologia folosite de cei care au construit aceste platforme.
  • Suplimentar, anumite restricții tehnice pot duce la colectarea unui eșantion de date mai mic decât ar fi optim pentru scopurile cercetării.
  • Din cauza restricțiilor de timp nu poate fi codificată întreaga bază de date pentru a elimina rezultatele fals-pozitive. Totuși au fost luate măsuri robuste de a elimina automat marea majoritate a impactului rezultatelor fals pozitive în rezultatele din social media.

Photo by Nick Tsybenko on Unsplash