<div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif">Thanks for asking Arsene</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">I wrote a blog last year where I enumerated the problems with the evaluation process. I copy paste the relevant section here.</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif"><h2 style="box-sizing:inherit;font-family:Hind,sans-serif;line-height:1.2;font-size:2.25em"><strong style="box-sizing:inherit">MAG and its curious approach to workshop selection</strong></h2><div style="box-sizing:inherit;font-family:"Istok Web",sans-serif;font-size:16px">Coming up with conference programs in a highly politicized environment such as the United Nations is not an easy task, especially for an event like the IGF where inclusion and diversity are fundamental and rightly important. Naturally, there were always problems with shaping the program, deciding on which sessions be included and what topics to be discussed. There was always a tendency to give some space to sessions that don’t really engage with Internet governance. But the IGF agenda is now at a stage of crisis. In the early days of the IGF when the globally inclusive multistakeholder concept was still largely unique, and it was gaining popularity, and when people could still remember why they convened IGF, there was some kind of order in the chaos of selection. IGF MAG could accept all of the proposals, merge a few and let the participants decide on the sessions they wanted to attend. MAG in those early years would not dictate the agenda and what should be discussed to the extent that it does now.</div><div style="box-sizing:inherit;font-family:"Istok Web",sans-serif;font-size:16px"></div><div style="box-sizing:inherit;font-family:"Istok Web",sans-serif;font-size:16px">But over the time, there was a change. Due to lack of resources and an increase in the number of session proposals, MAG’s role became more prominent in selecting the sessions and in shaping the agenda. That is when it started to get more complicated. Perhaps it didn’t help that IGF works under the auspices of the UN Department of Economic and Social Affairs (UNDESA), and the MAG members are appointed more or less by UNDESA. Within the UN, UNDESA is the agency that “holds up the development pillar of the UN.” Is UNDESA influencing the IGF?</div><div style="box-sizing:inherit;font-family:"Istok Web",sans-serif;font-size:16px"></div><div style="box-sizing:inherit;font-family:"Istok Web",sans-serif;font-size:16px">This year, to be more inclusive, MAG asked the public what it wanted to be discussed at IGF. The response is <a href="https://www.intgovforum.org/multilingual/index.php?q=filedepot_download/6701/1279" style="box-sizing:inherit;background-color:transparent;color:rgb(238,179,25);text-decoration-line:none">summarized in this document.</a>  According to the summary, twenty-two percent of the respondents wanted to talk about cybersecurity, trust, and privacy; only seventeen percent submitted digital inclusion and accessibility. And the rest was about other topics. The results of the MAG process show a marked bias. Twenty-two percent of the proposals received by MAG were about cybersecurity,  but only twelve percent ended up in the top forty ranked proposals. In contrast, only thirteen percent of the proposals received by MAG were about digital inclusion and accessibility, yet thirty-two percent of the top forty ranked workshops were about digital inclusion. This was highlighted by <u style="box-sizing:inherit"><a href="https://www.intgovforum.org/multilingual/content/igf-2018-second-open-consultations-and-mag-meeting-day-1" style="box-sizing:inherit;background-color:transparent;color:rgb(238,179,25);text-decoration-line:none">IGF Secretariat during MAG deliberations:</a></u></div><div style="box-sizing:inherit;font-family:"Istok Web",sans-serif;font-size:16px"><blockquote style="box-sizing:inherit;margin:0px 1.5em"><p style="box-sizing:inherit;margin-bottom:1.5em">“But then if you look at the top 40 proposals, there is some deviation from what the most popular themes were in those …two other pools of proposals.  We have as the most represented theme digital inclusion when in the overall proposal pool and the call for issues it was clearly cybersecurity. And then following from that technical and operational topics, emerging technologies, cybersecurity, development, innovation and economic issues, evolution of Internet governance, and then human rights as last.”</p></blockquote><p style="box-sizing:inherit;margin-bottom:1.5em">How did this happen? This year the MAG’s working group on workshop selection decided to assign each MAG member to a theme that the member had expertise in and was more comfortable with. And they could reduce the number of evaluated workshops by each MAG member because apparently, it’s too difficult for one person to evaluate so many proposals. Some of the deliberations and questions that have been raised about this issue among MAG members <u style="box-sizing:inherit"><a href="http://intgovforum.org/pipermail/wgwseval_intgovforum.org" style="box-sizing:inherit;background-color:transparent;color:rgb(238,179,25);text-decoration-line:none">can be found at this archive list.</a></u></p></div><p style="box-sizing:inherit;margin-bottom:1.5em;font-family:"Istok Web",sans-serif;font-size:16px"><span style="box-sizing:inherit;font-family:roboto">The problem with this method of evaluation is apparent. It prevents MAG members from various stakeholder groups to assess the proposals objectively. Even though the secretariat assigned an equal number of members <a href="https://www.intgovforum.org/multilingual/content/2018-igf-mag-virtual-meeting-vii-0" style="box-sizing:inherit;background-color:transparent;color:rgb(238,179,25);text-decoration-line:none">to each theme (and presumably considered stakeholder balance)</a>, some proposals did not have more than three evaluators on the day of the evaluation deadline. The Secretariat asked the MAG to <a href="https://www.intgovforum.org/multilingual/content/2018-igf-mag-virtual-meeting-viii-0" style="box-sizing:inherit;background-color:transparent;color:rgb(238,179,25);text-decoration-line:none">do more evaluation since 13 proposals had only 3 evaluations</a>.</span></p><p style="box-sizing:inherit;margin-bottom:1.5em;font-family:"Istok Web",sans-serif;font-size:16px"><span style="box-sizing:inherit;font-family:roboto"><br></span></p><p style="box-sizing:inherit;margin-bottom:1.5em;font-family:"Istok Web",sans-serif;font-size:16px"><span style="box-sizing:inherit;font-family:roboto"><a href="https://www.internetgovernance.org/2018/10/29/igf-embracing-inclusion-excluding-internet-governance/">https://www.internetgovernance.org/2018/10/29/igf-embracing-inclusion-excluding-internet-governance/</a><br></span></p></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><font face="verdana, sans-serif">Farzaneh </font></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 8, 2019 at 9:28 AM sivasubramanian muthusamy <<a href="mailto:governance@lists.riseup.net">governance@lists.riseup.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 8, 2019, 6:42 PM Arsène Tungali <<a href="mailto:governance@lists.riseup.net" target="_blank">governance@lists.riseup.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi there,<br>
<br>
Just wanted to throw this outta here.<br>
<br>
At the MAG, we are evaluating workshop proposals (the initial phase)<br>
and this goes until  May 12th. This is a tough job!<br>
<br>
I remember last year, there were a lot of unhappy people based on the<br>
results of the evaluation. What did the MAG do wrong last year?<br>
<br>
Can you share what were some of the frustrations that came out of the<br>
process last year? I know it might be late (or maybe not?) but if we<br>
can quickly discuss here, I am happy to consider some of your inputs<br>
and share to fellow MAG members.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Marginal errors in workshop evaluation </div><div dir="auto">are unavoidable. But the MAG could ensure that there is no orchestrated bias in the process towards or against a certain school of thought.</div><div dir="auto"><br></div><div dir="auto">Sivasubramanian M</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Regards,<br>
Arsene<br>
<br>
----------------------<br>
**Arsène Tungali* <<a href="http://about.me/ArseneTungali" rel="noreferrer noreferrer" target="_blank">http://about.me/ArseneTungali</a>>*<br>
Co-Founder & Executive Director, *Rudi international<br>
<<a href="http://www.rudiinternational.org" rel="noreferrer noreferrer" target="_blank">http://www.rudiinternational.org</a>>*,<br>
CEO,* Smart Services Sarl <<a href="https://www.smart-kitoko.com/" rel="noreferrer noreferrer" target="_blank">https://www.smart-kitoko.com/</a>>*,<br>
Tel: +243 993810967 (DRC)<br>
GPG: 523644A0<br>
<br>
2015 Mandela Washington Fellow<br>
<<br>
<a href="http://tungali.blogspot.com/2015/06/selected-for-2015-mandela-washington.html" rel="noreferrer noreferrer" target="_blank">http://tungali.blogspot.com/2015/06/selected-for-2015-mandela-washington.html</a>><br>
<br>
(YALI) - ICANN GNSO Council Member<br>
<<a href="https://gnso.icann.org/en/about/gnso-council.htm" rel="noreferrer noreferrer" target="_blank">https://gnso.icann.org/en/about/gnso-council.htm</a>> Member. UN IGF MAG<br>
<<a href="https://www.un.org/press/en/2018/pi2247.doc.htm" rel="noreferrer noreferrer" target="_blank">https://www.un.org/press/en/2018/pi2247.doc.htm</a>> Member<br>
---<br>
To unsubscribe: <mailto:<a href="mailto:igc-unsubscribe@lists.riseup.net" rel="noreferrer" target="_blank">igc-unsubscribe@lists.riseup.net</a>><br>
List help: <<a href="https://riseup.net/lists" rel="noreferrer noreferrer" target="_blank">https://riseup.net/lists</a>><br>
</blockquote></div></div></div>
---<br>
To unsubscribe: <mailto:<a href="mailto:igc-unsubscribe@lists.riseup.net" target="_blank">igc-unsubscribe@lists.riseup.net</a>><br>
List help: <<a href="https://riseup.net/lists" rel="noreferrer" target="_blank">https://riseup.net/lists</a>><br>
</blockquote></div>