FMJD rating (01.10.2004) is uit

[Eric Sanders]

Ook een mogelijkheid is om de ratingberekening te itereren:
gewoon de rating bereken, zoals dat al gebeurt en met de nieuwe rating en dezelfde uitslagen de boel nog een keer doorrekenen. Net zolang als je wil, desnoods tot het de ratingen niet meer veranderen. In dat geval lijkt het op een rating van de jaarprestatie.
Groot nadeel is (net als bij jaarprestatie) dat bij iemand met weinig uitslagen, die uitslagen erg zwaar tellen.

De schaakbond werkt met itererende ratingberekeningen.

Overigens hebben de schakers hier al goed over nagedacht, zie
http://www.schaakbond.nl
en
http://www.schaakbond.nl/rating/KNSB-ratingsysteem.html

[hans andriessen]

Jan Masselink schreef (zie site Hendrik's ratingmachine: http://www.mycgiserver.com/~hendrikv/ratingregels.html):
De correctiefactor bedraagt 5 voor spelers die meer dan 125 wedstrijden in totaal hebben gespeeld. Voor spelers die minder dan 125 wedstrijden hebben gespeeld geldt een correctiefactor van 7,5.
Indien de in een jaar behaalde prestatie echter sterk afwijkt van de oude rating (meer dan 100 punten) wordt een correctiefactor van 10 gehanteerd. Hierdoor wordt zoveel mogelijk voorkomen dat de rating van zich snel ontwikkelende jeugdspelers uit de pas loopt met de werkelijke speelsterkte. Het effect is al direct zichtbaar in de ratinglijst per 30 juni 1997, waarin deze turbofactor voor het eerst is toegepast.


Is dit antwoord op je vraag?

Het is geen antwoord op mijn vraag, maar het helpt wel. Ik ben op de hoogte van deze tekst, maar ik vind hem niet duidelijk. Wat is een afwijkende prestatie van meer dan 100 punten? Meer dan 100 punten waarvan? Ik lees: een prestatierating die meer dan 100 punten afwijkt van de oude rating. Klaas leest: een stijging (of daling) van meer dan 100 punten bij een factor van 7,5. Beide interpretaties zijn mogelijk volgens mij. Maar welke gebruikt Jan Masselink?

Ik veronderstelde wel dat je deze tekst kende. Ja, inderdaad voor tweerlei uitleg vatbaar.
Weet jij of er een formule bestaat om de rating te berekenen. Ik heb wel iets geprobeerd op te stellen, maar dat levert een formule op met een dubbele sommatie en een niet-lineaire functie.

[hans andriessen]

Ik begrijp wel wat je wilt duidelijk maken, maar ik vraag me af of het klopt.

Geloof Wieger nu maar gewoon, het klopt.

Ik vroeg Wieger naar zijn berekening. Dat liet je weg uit mijn quote [img]images/smilies/icon_eek.gif[/img]
Zolang iets te berekenen valt, hoef ik het geloof niet uit de kast te halen.
Dus, Wieger, heb je het berekend of gaat het om een veronderstelling of een ervaringsfeit? Of is het een bekend/standaard voorbeeld?

Die iteratieve berekening lijkt mij wel wat. Ik ga gauw eens bij de schakers kijken.

[GuidoB]

Weet jij of er een formule bestaat om de rating te berekenen. Ik heb wel iets geprobeerd op te stellen, maar dat levert een formule op met een dubbele sommatie en een niet-lineaire functie.

Ik heb een Excel sheet om de rating te berekenen. Ik probeer de regels in het sheet net zo te maken als de berekeningen van Jan Masselink, maar dat valt nog niet mee. Allereerst maakt Jan de fout een tabel van de normale verdeling te gebruiken die barst van de fouten. Die fouten heb ik maar niet overgenomen in mijn sheet; daarom is mijn berekening slechts een benadering van de echte rating.

Verder zit ik al jaren te worstelen met het begrip prestatierating. Volgens mijn logica (maar wie ben ik) zou dat de prestatie moeten zijn die je dat jaar hebt geleverd. Oftewel: die rating die je zou moeten hebben gehad, als je rating bij de gespeelde partijen precies gelijk zou zijn gebleven. Dus: neem die rating als beginrating, bereken de stijging bij al je gespeelde partijen en merk dat er 0 uit komt. Met een eenvoudige iteratie (Goal Seek in Excel) is dit snel te berekenen.

Jan Masselink blijkt de prestatierating te definiëren door te kijken naar de gemiddelde rating van de tegenstanders en de gemiddelde score. Die rating waarbij de stijging met 1 partij tegen de gemiddelde tegenstander en de gemiddelde score 0 is, is je prestatierating.

Het probleem met Jans berekening is, dat de normale verdeling niet rechtlijnig is. Er zit een kromming is, met als gevolg dat de gemiddelde partij niet hetzelfde is als het gemiddelde over de partijen. Hierdoor kunnen mensen met een prestatierating lager dan hun eigen rating, toch stijgen. Er zijn verschillende voorbeelden hiervan te vinden in de lijst van 2004.

Nu blijkt dus dat het bepalen van de factoren ook nog eens onduidelijk is. Jan, als je dit leest, reageer dan even alsjeblieft.

[Klaas van der Laan]

Het is gewoon een afweging. Stel je hebt twee mogelijkheden:

1) alle spelers hebben een onbetrouwbaarheid van 100 ratingpunten, of

2) 95% van de spelers heeft een onbetrouwbaarheid van 50 ratingpunten, en 5% een onbetrouwbaarheid van 200 ratingpunten (i.e. spelers die nog maar een handvol partijen gespeeld hebben)

In zo'n geval prefereer ik optie 2).

Ik vindt dat systemen er voor ons zijn en niet andersom. Een beetje wiskundige moet met de bestaande gegevens toch factoren of handelingen kunnen inbouwen die een vloeiender, minder grof en veel betrouwbaarder resultaat geven. Zoiets als de correctiefactor 5, 7.5, 10 maar dan veel beter. Lijkt me piece of cake voor mijn old-teammate Rein Halbertsma.

[Klaas van der Laan]

Dat KNSB-systeem is wat ik ongeveer bedoel.

[Wieger Wesselink]

Ik vindt dat systemen er voor ons zijn en niet andersom. Een beetje wiskundige moet met de bestaande gegevens toch factoren of handelingen kunnen inbouwen die een vloeiender, minder grof en veel betrouwbaarder resultaat geven. Zoiets als de correctiefactor 5, 7.5, 10 maar dan veel beter. Lijkt me piece of cake voor mijn old-teammate Rein Halbertsma.

Jouw uitgangspunt dat de huidige rating te grof en onbetrouwbaar is vind ik opmerkelijk. Ik denk dat het systeem weliswaar niet perfect is, maar dat het toch behoorlijk goed werkt. Het lijkt mij niet aannemelijk dat alle hier voorgestelde verbeteringen een meer dan marginaal verschil zullen teweegbrengen. Het voorstel van Bert is denk ik nog het beste: maak een model dat toegespitst is op de damsport. Dat is echter geen 'piece of cake'.

[hans andriessen]

Deze formule gaat er van uit dat de verwachte score tussen twee spelers alleen afhangt van het verschil in rating en niet in hoogte.

Dit lijkt me niet echt realistisch: op grootmeesterniveau is het veel moeilijker om een overwinning te behalen dan opeen niveau wat 400 punten lager ligt.

Ik gaf al aan, dat de nummer 1 op lager niveau bijna 100% moet scoren om zijn rating te handhaven.
Tegen spelers van zijn eigen niveau is 50% voldoende en dat zal hem toch wel lukken. Die wereldkannonnen hoeven uiteraard ook maar 50% te scoren om bij te blijven.

Ik had mijn punt wellicht niet helemaal duidelijk gemaakt. Ik heb de tekst inmiddels aangepast. Vanaf een bepaald niveau, zeg 2350, vallen er ontzettend veel remises.
dus: de kans op remise is veel groter in een partij tussen een speler met een rating van 2450 en 2350 dan in een partij tussen spelers met ratings van 2000 en 1900.

Ok, dat is duidelijk.
Als spelers van ongeveer gelijke sterkte rond het niveau 1900 a 2000 tegen elkaar spelen, zullen er inderdaad minder remises vallen dan op topniveau. Maar die spelers zullen allemaal even vaak winnen als gelijkspelen; dat is tenminste de verwachting, gebaseerd op "grote" aantallen partijen. De verwachte score (alle winst, remise en verlies samen) is ook op dit niveau 50%. De kans op remise doet er in de verwachte score niet toe. Op dit punt heb ik geen behoefte aan wijziging van het huidige systeem.

Ter zijde: de rating van die spelers verandert dan niet; wijkt de werkelijke score af van de verwachting dan verandert de rating wel.

[steenslag]

Statisticus Jeff Sonas gaat hier in op de zwakke punten van de huidige ELO-formule. Veel van de in deze draad genoemde problemen komen aan bod. Hij doet ook een doortimmerd voorstel tot verbetering.
Hij berekende de rating van 13000 schakers; niet twee maal per jaar maar wekelijks. De resultaten van dat voorstel vind je hier: http://www.chessmetrics.com.

[steenslag]

Dear frinds,
first - one remark. FMJD ranking is not my private initiative - I'v just collect and calculate data - the rules - it is up to NATIONAL Federations and then to FMJD congress to decide.
(...)
Backing to present problems with ranking
From my point of view most important problem is STILL - how to GET THE RESULTS ! Any ranking is good If You have all materials. But I have a lot of problems with results. According fmjd-roules every referee should send results in form shown in our statutes.
But in practice - some referess ignore it (for example till now I have no OFFICIAL results from Champioship of France & Ukraine played some month ago), other people thinking that if competition web-site exist this is all what they should do for ranking system. Some results coming to fmjd in very unusefull form without full names for example: J vd Smith it is Johan, Jan or Jacek ? van der or van den ... (pay attantion that each player have his own FMJD-ID !) etc... This is not my task to search internet for results. According fmjd=statutes each federation should have person responsibility for ranking colaboration with fmjd. For that moment I know the name of this person only from Belarus (Yuri Lipnitski) and Poland (me)

This is real problems ! I'll try to do my best but sometimes it is realy difficult. This problems also shows that colaboration with organizers for Grand-Prix (or any other) system will be TOP-POINT !!!

That makes sense. All discussions about formulas are academic if there is insufficient data.

[Klaas van der Laan]

Ik vindt dat systemen er voor ons zijn en niet andersom. Een beetje wiskundige moet met de bestaande gegevens toch factoren of handelingen kunnen inbouwen die een vloeiender, minder grof en veel betrouwbaarder resultaat geven. Zoiets als de correctiefactor 5, 7.5, 10 maar dan veel beter. Lijkt me piece of cake voor mijn old-teammate Rein Halbertsma.

Jouw uitgangspunt dat de huidige rating te grof en onbetrouwbaar is vind ik opmerkelijk. Ik denk dat het systeem weliswaar niet perfect is, maar dat het toch behoorlijk goed werkt. Het lijkt mij niet aannemelijk dat alle hier voorgestelde verbeteringen een meer dan marginaal verschil zullen teweegbrengen. Het voorstel van Bert is denk ik nog het beste: maak een model dat toegespitst is op de damsport. Dat is echter geen 'piece of cake'.

Je overdrijft. Waar staat dat ik het huidige systeem TE grof en TE onbetrouwbaar vindt. Voor 90% zal het wel OK zijn. Ik plijt voor een verfijning waardoor die 10 % wordt teruggebracht.
Het punt van Hans, dat het aantal partijen een storende factor kunnen worden, moet toch met een (zo mogelijk geleidelijke) boven en ondergrens zijn te corrigeren? In het schaaksysteem neemt de fluctuatiegevoeligheid af naarmate de rating hoger is. Lijkt me een goed idee. Als je toevallig doodziek aan een zomertoernooi meedoet zak je door die week zomaar 50 punten. Kun je misschien oplossen door een tijdspreidingsfactor in te bouwen. Het schaaksysteem wordt veel vaker gemeten, waardoor toevallige resterende miskleunen zeer tijdelijk zijn. Het itereren voorkomt te grote incidentele sprongen. Er zijn vast nog wel veel meer mogelijkheden om ook voor de damwereld een (nog) betrouwbaardere ratinglijst op te stellen.

[Rein Halbersma]

Ik vindt dat systemen er voor ons zijn en niet andersom. Een beetje wiskundige moet met de bestaande gegevens toch factoren of handelingen kunnen inbouwen die een vloeiender, minder grof en veel betrouwbaarder resultaat geven. Zoiets als de correctiefactor 5, 7.5, 10 maar dan veel beter.

De statistische oorzaak van de onzekerheid in de ratings is dat er zo weinig gegevens gebruikt worden bij de ratingberekening: alleen het gehaalde aantal punten, niet de uitslagen van de verschillende partijen.

Een simpel voorbeeldje: stel je wilt de prestatierating van alle spelers in een toernooi uitrekenen, bv het NK 2004. Dit telt 14 spelers, en er worden 13 x 7 = 91 partijen gespeeld.

Huidige systeem: gegeven de beginratings, bereken je voor elke speler het verwachte aantal punten (obv een tabel van de normale verdeling). Vergelijk dit met het aantal behaalde punten, en reken het puntenverschil om naar een ratingverschil (obv van dezelfde tabel), en tel dit op bij de beginrating: dit is de prestatierating. In totaal 14 gebruikte datapunten, 14 berekende prestatieratings: 1 datapunt per bepaalde rating.

Alternatief: bereken de gemiddelde ratings van alle spelers. Doe een regressie van de uitslagen op de spelers en schat de ratingverschillen (voor de econometristen onder ons: een probit model met de 3 uitkomsten winst, remise en verlies). Een beetje statistiekpakket geeft je met een druk op de knop de uitkomsten, inclusief foutenmarges. Uitkomsten: 14 prestatieratings, waarvan het gemiddelde gelijk is aan de gemiddelde beginrating. In totaal 91 gebruikte datapunten, 14 berekende ratings met 1 randvoorwaarde: 7 datapunten per rating.

Dit alternatieve systeem heb ik natuurlijk niet zelf bedacht, Prof. Koning (hoogleraar sporteconomie in Groningen) heeft een dergelijk systeem gebruikt voor de ratings van de eredivisie voetbalteams. Je kunt er ook de remisemarge mee uitrekenen, en bv het effect van de 3-punten regel mee bepalen. Ook kun je dit systeem gebruiken voor de Delftse telling (probit met 5 uitkomsten: winst, puntenwinst, remise, puntenverlies, verlies)

Prof. Held uit Munchen heeft iets soortgelijks voor de Bundesliga gedaan. Hij heeft ook een veel verfijndere manier van updates bedacht: de nieuwe rating bepaald op grond van de oude rating en de prestatierating, op zo'n manier dat de onzekerheidsmarge in de nieuwe rating zo klein mogelijk is (voor de liefhebbers: hij veronderstelt dat de tijdsontwikkeling van ratings aan een 'random walk' voldoen: nieuwe rating = oude rating + kleine schommeling)

[Klaas van der Laan]

Rein, (sorry voor de t) bedankt. Mischien kan Masselink hier wat mee of een idee voor een nieuwe werkgroep van de Bondsraad?

[Ben Anoniem]

Al dit geneuzel gaat voorbij aan de vraag waarom de No. 1 zoveel punten heeft.
Random walk or not, de beginsituatie is onjuist opgesteld.
Garbage in, garbage out.
Nederland een democratie? Not as long as Bea/Alex/Maxima have much more rights than other dutch people.

[joost]

Rein, (sorry voor de t) bedankt. Mischien kan Masselink hier wat mee of een idee voor een nieuwe werkgroep van de Bondsraad?

Hier verschillen KNDB en FMJD.
Jan past dit voor de KNDB al toe.