emecebe reloaded

Bine ai venit la EMCB
21.07.2018, 14:54

Chestionarul - instrument eficient de testare calitativă a satisfacției utilizatorilor EMCB

Stiri generale

Dr. Răzvan Ioan Trașcu, expert medic, Colegiul Medicilor din Municipiul București

În perioada 11-31 ianuarie 2007 a fost disponibil online un chestionar de verificare a gradului de satisfacție a utilizatorilor programului EMCB (www.emcb.ro) la finalizarea ultimei etape (etapa a 3-a).

Programul EMCB este un program de educație medicală continuă derulat online sub egida Colegiului Medicilor din Municipiul București și a Universității de Medicină și Farmacie „Carol Davila” din București. Prima etapă a programului a debutat în 2004, oferind celor circa 40 de utilizatori înregistrați la data terminării etapei inaugurale articole creditate EMC în cadrul a trei specialități. În prezent, programul s-a extins, atingând o cifră record de peste 1100 utilizatori, cărora le va oferi în cadrul etapei a patra (programată a începe în aprilie-mai 2007) articole creditate EMC grupate în 5 secțiuni principale: „medicină internă”, „chirurgie”, „pediatrie”, „gastroenterologie” și „alte specialități”.

Chestionarul aplicat a constat dintr-un număr total de 21 întrebări, grupate pe mai multe puncte de interes. Utilizatorii au fost rugați să aleagă atent varianta de răspuns considerată cea mai apropiată de punctul lor de vedere personal.

În vederea facilitării procesării rezultatelor, precum și pentru a evita indecizia respondenților, am preferat eliminarea valorilor intermediare/neutre din scala de apreciere.

Pentru a putea ulterior analiza și rezolva eventualele probleme punctiforme ale anumitor utilizatori, precum și pentru a elimina posibilitatea de „falsificare” a rezultatelor chestionarului („vot dublu”), utilizatorii au fost obligați să se autentifice în consola principală a programului EMCB; s-au salvat astfel în fișierul de date identificatori numerici care să permită, la nevoie, identificarea respondentului prin interogarea încrucișată cu baza de date cu utilizatorii programului EMCB; în etapa de procesare statistică nu s-a acordat acces la identitatea (numele) utilizatorului respondent, ci numai la identificatorul numeric alocat în mod unic fiecărui utilizator EMCB.

Protocolul chestionarului prevedea că, dacă ar fi existat înregistrări duble, identice ale aceluiași utilizator, acestea să fie luate în considerare doar ca un singur răspuns / respondent; dacă același utilizator ar fi furnizat seturi diferite de răspunsuri, s-ar fi luat în considerare numai ultima variantă (cronologic), salvându-se la completarea chestionarului alături de răspunsurile furnizate și identificatorul numeric corespunzător respondentului, dar și data și ora completării chestionarului.

Am considerat util să acceptăm răspunsuri și de la utilizatorii care nu au participat activ la etapă prin completarea de chestionare creditate EMC, dorindu-se pe de o parte să se identifice eventualele cauze care au împiedicat participarea acestora la program (excepție făcând acei utilizatori înregistrați în sistem după terminarea etapei a III-a), dar și să se testeze percepția acestora asupra programului, pornind de la premisa că au existat cazuri în care participanții nu au înțeles modul de funcționare a sistemului, sau nu au dispus de facilitățile tehnice necesare pentru participarea / continuarea participării la program (lipsa conexiunii Internet survenită după înscriere, lipsa unui computer personal, etc).

Pe parcursul celor trei săptămâni în care chestionarul a putut fi accesat de utilizatori am primit răspunsuri de la un total de 218 utilizatori EMCB (19,21% din cei 1135 utilizatori înregistrați la data redactării prezentului articol) – fig. 1.

Tabelul 1 rezumă rezultatele procesării răspunsurilor primite de la utilizatori: programul este apreciat favorabil (de multe ori, chiar folosind superlative).

Tabelul 1: Structura chestionarului aplicat și răspunsurile furnizate de utilizatori. Sunt evidențiate cu caractere aldine părerile majorității utilizatorilor.

ÎNTREBARE

VARIANTE DE RĂSPUNS

PUNCT DE INTERES

1. Articolele publicate în program au fost:

· foarte slabe: 0% (n=0)

· slabe: 1,83%

· bune: 82,11%

· excelente: 16,06%

S-a investigat satisfacția utilizatorilor în raport cu materialele selectate pentru procesul EMC: au fost acestea în primul rând utile (aplicabile în practică), au fost acestea suficient de explicite?

2. Exemplele și ilustrațiile folosite în cadrul articolelor publicate au fost:

· foarte slabe: 0,92%

· slabe: 8,72%

· bune: 70,18%

· excelente: 20,18%

3. Pentru activitatea dvs. medicală, articolele propuse au fost:

· utile: 92,2%

· inutile: 7,8%

4. Calitatea chestionarelor propuse a fost:

· foarte slabă: 0% (n=0)

· slabă: 5,5%

· bună: 79,82%

· excelentă: 14,68%

S-a investigat dacă modul de apreciere a volumului de informație asimilată în procesul EMC (chestionarul) a corespuns calitativ cerințelor utilizatorilor.

5. Chestionarele propuse vi s-au părut dificile?

· da: 33,49%

· nu: 66,51%

6. Chestionarele date au acoperit informația din articolele furnizate:

· foarte slab: 0,46%

· slab: 5,96%

· bine: 74,77%

· excelent: 18,81%

7. Efortul depus de echipa EMCB pentru susținerea programului a fost:

· inexistent: 0 (n=0)

· insuficient: 1,83%

· satisfăcător: 30,28%

· excelent: 67,89%

S-a investigat percepția utilizatorilor asupra modalității de realizare tehnică a programului: au fost identificate cele mai bune soluții de prezentare a programului?; a fost utilizarea soluției propuse suficient de facilă?; în cazul în care au existat probleme /neînțelegeri, s-a facilitat suficient soluționarea acestora?

8. Organizarea acestei etape a fost:

· foarte slabă: 0,92%

· slabă: 1,38%

· bună: 56,88%

· excelentă: 40,83%

9. Răspunsurile și soluțiile furnizate de echipa EMCB la problemele tehnice ridicate de cursanți au fost:

· inexistente: 2,29%

· insuficiente: 5,96%

· satisfăcătoare: 48,17%

· excelente: 43,58%

10. Disponibilitatea echipei tehnice EMCB de a oferi cursanților ajutor a fost:

· inexistentă: 2,29%

· insuficientă: 5,05%

· satisfăcătoare: 42,20%

· excelentă: 50,46

11. Comparativ cu alte cursuri EMC online pe care le-ați urmat, punctajul obținut în cadrul EMCB este:

· foarte slab: 4,13%

· slab: 13,76%

· bun: 58,72%

· excelent: 23,39%

S-a dorit o evaluare a programului EMCB în raport cu competitorii online.

12. Comparativ cu alte cursuri EMC online pe care le-ați urmat, provocarea intelectuala oferita de curs a fost:

· foarte slabă: 0,46%

· slabă: 4,13%

· satisfăcătoare: 50%

· excelentă: 45,41%

13. Din programul EMCB ați asimilat predominant:

· cunoștințe practice (terminologie, clasificări, tratamente, etc): 55,05%

· principii fundamentale, generalizări, teorii: 44,95%

S-a dorit evaluarea globală a informațiilor furnizate ȘI asimilate de utilizatori

14. În medie, cate ore pe luna ați alocat pentru acest program?

·

· 6-10 ore / lună: 48,62%

· >10 ore / lună: 11,47%

Având în vedere decizia CMR referitoare la programul național EMC care asimilează creditul (punctui) EMC cu ora de studiu, s-a testat în ce măsură evaluarea utilizatorilor a corespuns cu cea a organizatorilor EMCB.

15. Din totalul orelor menționate, câte au fost utile pentru activitatea dvs?

·

· 6-10 ore / lună: 38,53%

· >10 ore / lună: 6,88%

16. Din totalul maxim posibil de 48 credite EMC, ce punctaj total v-ați fi așteptat să obțineți la această etapă?

· 0-9 credite EMC: 10,09%

· 10-19 credite EMC: 15,60%

· 20-29 credite EMC: 16,06%

· 30-39 credite EMC: 18,35%

· >40 credite EMC: 39,91%

Corelate, întrebările au testat capacitatea de auto-evaluare a utilizatorului, pentru a putea extrapola asupra obiectivității procesului de evaluare a programului.

17. Ce punctaj total ați obținut la această etapă?

· 0 credite EMC (nu am participat): 22,48%

· 1-9 credite EMC: 9,63%

· 10-19 credite EMC: 9,63%

· 20-29 credite EMC: 10,09%

· 30-39 credite EMC: 14,22%

· >40 credite EMC: 33,94%

18. Caracterizați participarea dvs. la ultima etapă EMCB:

· a fost o experiență plăcută - voi participa și la etapele următoare EMCB: 94,95%

· a fost interesant dar prefer alte programe online: 4,59%

· a fost o experiență dezagreabilă – nu voi mai participa la alte etape EMCB 0,46%

· a fost o experiență dezagreabila – nu voi mai participa la programe EMC online 0% (n=0)

S-a dorit evaluarea gradului de conștientizare de către utilizator a permanenței programului în peisajul EMC, precum și aprecierea globală a programului de către medici.

19. Veți recomanda acest program EMC și colegilor dvs.

· da: 99,08%

· nu: 0,92%

20. Alegeți o singură specialitate pe care ați dori-o inclusă în sistemul de creditare EMC în cadrul programului EMCB:

Răspuns liber și obligatoriu

S-a avut în vedere posibilitatea de extindere / îmbunătățire a programului în direcția considerată necesară de majoritatea utilizatorilor prin diversificarea programului în direcția ceruta de aceștia.

21. Ce sugestii aveți referitoare la programul EMCB?

Răspuns liber, facultativ.

Au ales să răspundă un total de 162 din cei 218 respondenți la chestionar (74,3%); dintre aceștia, 54 (33,33%) și-au manifestat suportul și aprecierea față de program în forma în care acesta se derulează în prezent; în ordinea descrescătoare a procentelor de utilizatori, s-au exprimat intenții de extindere a programului (~20%), de mărire a cuantumului de credite acordate pentru participarea la program (~20%). Restul utilizatorilor au făcut sugestii cu caracter personal, în afara posibilităților de intervenție ale CMMB (dificultăți de acces internet, dificultăți legate de utilizarea computerului, etc.)

Astfel, articolele selectate în cadrul componentei creditate EMC s-au dovedit a fi „utile”, „bine” redactate și „bine” exemplificate / ilustrate pentru majoritatea utilizatorilor.

Chestionarele propuse au fost „bune”, cu un grad de dificultate acceptabil (doar o treime din utilizatori considerând că au fost dificile), și au acoperit „bine” conținutul informațional furnizat în cadrul articolelor aferente acestora. Câțiva utilizatori au considerat necesar să atragă atenția, în cadrul rubricii de răspuns la ultima întrebare, asupra unor întrebări care au fost axate, conform părerii lor, pe detalii statistice și prea puțin pe aspecte considerate de domniile lor mai importante în cadrul articolului respectiv.

Echipa de suport tehnic a depus eforturi „excelente” pentru sprijinirea programului, reușind o organizare „bună” a programului, soluțiile furnizate utilizatorilor fiind în relativ egală măsură „satisfăcătoare” și „excelente”. Disponibilitatea staff-ului tehnic a fost apreciată la superlativ de marea majoritate a utilizatorilor.

Principalele nemulțumiri sunt legate de logistica distribuirii diplomelor, unii utilizatori părând să înregistreze dificultăți legate de primirea diplomelor. Asigur însă și pe această cale pe toți utilizatorii că toate diplomele pentru creditele afișate în cadrul rubricii „Rezultate Chestionare” sunt la data redactării articolelor la sediile colegiilor județene, respectiv al Colegiului Medicilor din Municipiul București.

În raport cu competitorii apăruți în domeniul educație medicale continue la distanță, programul EMCB oferă un punctaj „bun” și o provocare intelectuală etichetată drept „satisfăcătoare” spre „excelentă” (diferență între aceste două calificative de circa 5 procente).

Conținutul informațional oferit de programul EMCB reușește să asigure un raport echilibrat între noțiuni și probleme practice (~55% din respondenți) și teoretice (~45%).

Punctajul EMC acordat respectă timpul efectiv de lucru alocat de medici (între 6-10 ore lunar, pentru toate specialitățile), mare parte din timpul de lucru fiind apreciat pozitiv („util”) de către medicii participanți la program.

Dacă ~40% din respondenți au aspirat la punctajul maximal, ~34% au și reușit obținerea acestuia (conform statisticilor la terminarea programului, 13,54% din utilizatori au primit punctajul maximal, iar pe plaja de punctaje EMC mai mari de 40 credite s-au înscris 36,2% din utilizatorii care au primit certificate de participare la EMCB).

Părerea de ansamblu a medicilor participanți: „a fost o experiență plăcută”, și nu numai că vor participa și la etapele următoare ale programului (94,95%), ci vor și recomanda acest program prietenilor și colegilor de breaslă (99,08%).

Principalele specialități în topurile preferințelor utilizatorilor se regăsesc în oferta de educație medicală continuă pentru anul 2007: medicină internă (incluzând aici și cardiologia), gastroenterologie, chirurgie, pediatrie.

Importanța informațiilor obținute de la utilizatori este evidentă – dorindu-se pe viitor includerea specialităților considerate importante în primul rând de utilizatorii finali ai programului de educație medicală continuă.

Pe viitor, se dorește propunerea cu regularitate a unor chestionare de satisfacție la terminarea fiecărei etape, deoarece cea mai convenabilă modalitate de feedback de la utilizatorii de sisteme EMC online este postarea de sondaje și chestionare online, care permit colectarea de date în timp scurt, de la un număr mare de utilizatori, pe bază de voluntariat, și într-un format electronic ușor de procesat ulterior din punct de vedere statistic.

Calitatea în sistemele de educație medicală trebuie să țină cont atât de părerea comunității științifice (reprezentate de comitetele științifice și consiliile editoriale implicate în proiect), cât și de nevoile utilizatorilor, oglindite în cazul nostru de statisticile descriptive pe baza rezultatelor generate prin aplicarea acestor chestionare.