Sunday, May 18, 2008

Rychlost opravy chyb aneb úpadek Gnome a KDE

Před více než rokem jsem porovnával rychlost opravy chyb, a teď mě napadlo podívat se, jak se od té doby situace změnila.



Metodika zůstala stejná:



Vyberou se chyby z bugzilly za šestiměsíční období (leden-červen 2006 a květen-říjen 2007). Zajímavé jsou jen opravdové chyby, takže nepočítáme duplicity, neplatné chyby a chyby způsobené původním kódem (upstream). Pokud nebyla chyba opravena do 6 měsíců, počítá se jako neopravená.



Oproti původnímu srovnání jsem v Mandriví Bugzille počítal jen položku Mandriva Linux (i když ty ostatní položky měly dohromady jen pár desítek bugů) a v Novellí Bugzille jen položku openSUSE. Vynechal jsem RedHat, anžto jsem nakonec nějak nepochopil, jakým způsobem tu Bugzillu vedou.



A výsledek je na obrázcích.



Mandriva si polepšila, očividně je to důsledek změn, které zavedl Adam Williamson. (Nahlášená chyba je nejprve prozkoumána členy triage teamu, kteří se postarají, aby se nejednalo o duplicitu a aby hlášení obsahovalo všechny potřebné informace. Teprve pak je předána vývojářům, kteří tak neztrácejí čas.)



openSUSE je stabilní, Gentoo si mírně polepšilo.


Ale velké překvapení mě čekalo u KDE a Gnome.

U KDE očividně platilo, že chyba je buďto opravena v den nahlášení anebo nikdy. Teď silně polevili, a to i přes výrazně nižší počet hlášení.



Největší překvapení bylo ale u Gnome. Z 50% úspěšnosti se dostali na 16 %. Musí se ale uznat, že měli trochu těžší situaci - počet hlášení se jim ztrojnásobil a polovina z nich byly duplicity (<flame>tipnul bych si na ubunťáky - je jich hodně, mají Gnome jako default a mají vyšší podíl BFU</flame>) (za duplicity mohou hlavně automatická hlášení při pádu aplikací, hlavně od uživatelů Fedory a Ubuntu)


Data 2006


Data 2007

Data:


Mandriva old
(2006-01-01 - 2006-06-30)
Celkový počet chyb: 2634
Z nich nás ale zajímá jen: 2089
(Protože nepočítáme 215 DUPLICATE, 46 WORKSFORME, 175 INVALID, 74 WONTFIX a 35 REPORTEDUPSTREAM)
Neopraveno zůstalo: 1050
Opraveno bylo: 1039
Celkem bugů opravených do 1 dne: 207
Celkem bugů opravených do 7 dnů: 205
Celkem bugů opravených do 14 dnů: 85
Celkem bugů opravených do 30 dnů: 112
Celkem bugů opravených do 61 dnů: 127
Celkem bugů opravených do 183 dnů: 303
Mandriva new
(2007-05-01 - 2007-10-30)
Celkový počet chyb: 4174
Z nich nás ale zajímá jen: 3128
(Protože nepočítáme 479 DUPLICATE, 54 WORKSFORME, 306 INVALID, 154 WONTFIX a 53 REPORTEDUPSTREAM)
Neopraveno zůstalo: 1278
Opraveno bylo: 1850
Celkem bugů opravených do 1 dne: 334
Celkem bugů opravených do 7 dnů: 456
Celkem bugů opravených do 14 dnů: 201
Celkem bugů opravených do 30 dnů: 237
Celkem bugů opravených do 61 dnů: 192
Celkem bugů opravených do 183 dnů: 430
openSUSE old
Celkový počet chyb: 7005
Z nich nás ale zajímá jen: 4297
(Protože nepočítáme 1093 DUPLICATE, 263 WORKSFORME, 801 INVALID a 551 WONTFIX)
Neopraveno zůstalo: 1525
Opraveno bylo: 2772
Celkem bugů opravených do 1 dne: 474
Celkem bugů opravených do 7 dnů: 707
Celkem bugů opravených do 14 dnů: 337
Celkem bugů opravených do 30 dnů: 431
Celkem bugů opravených do 61 dnů: 359
Celkem bugů opravených do 183 dnů: 464
openSUSE new
Celkový počet chyb: 7368
Z nich nás ale zajímá jen: 4710
(Protože nepočítáme 1221 DUPLICATE, 294 WORKSFORME, 611 INVALID a 532 WONTFIX)
Neopraveno zůstalo: 1674
Opraveno bylo: 3036
Celkem bugů opravených do 1 dne: 457
Celkem bugů opravených do 7 dnů: 775
Celkem bugů opravených do 14 dnů: 389
Celkem bugů opravených do 30 dnů: 454
Celkem bugů opravených do 61 dnů: 425
Celkem bugů opravených do 183 dnů: 536
gentoo old
Celkový počet chyb: 20603
Z nich nás ale zajímá jen: 13871
(Protože nepočítáme 4179 DUPLICATE, 630 WORKSFORME, 1412 INVALID a 511 WONTFIX)
Neopraveno zůstalo: 5088
Opraveno bylo: 8783
Celkem bugů opravených do 1 dne: 2218
Celkem bugů opravených do 7 dnů: 2037
Celkem bugů opravených do 14 dnů: 851
Celkem bugů opravených do 30 dnů: 989
Celkem bugů opravených do 61 dnů: 1006
Celkem bugů opravených do 183 dnů: 1682
gentoo new
Celkový počet chyb: 13675
Z nich nás ale zajímá jen: 10103
(Protože nepočítáme 2153 DUPLICATE, 355 WORKSFORME, 763 INVALID a 301 WONTFIX)
Neopraveno zůstalo: 3348
Opraveno bylo: 6755
Celkem bugů opravených do 1 dne: 1557
Celkem bugů opravených do 7 dnů: 1518
Celkem bugů opravených do 14 dnů: 695
Celkem bugů opravených do 30 dnů: 855
Celkem bugů opravených do 61 dnů: 935
Celkem bugů opravených do 183 dnů: 1195
kde old
Celkový počet chyb: 10724
Z nich nás ale zajímá jen: 7142
(Protože nepočítáme 1364 DUPLICATE, 966 WORKSFORME, 995 INVALID a 257 WONTFIX)
Neopraveno zůstalo: 5176
Opraveno bylo: 1966
Celkem bugů opravených do 1 dne: 1731
Celkem bugů opravených do 7 dnů: 16
Celkem bugů opravených do 14 dnů: 0
Celkem bugů opravených do 30 dnů: 27
Celkem bugů opravených do 61 dnů: 85
Celkem bugů opravených do 183 dnů: 107
kde new
Celkový počet chyb: 6689
Z nich nás ale zajímá jen: 4612
(Protože nepočítáme 825 DUPLICATE, 425 WORKSFORME, 678 INVALID a 149 WONTFIX)
Neopraveno zůstalo: 3648
Opraveno bylo: 964
Celkem bugů opravených do 1 dne: 276
Celkem bugů opravených do 7 dnů: 145
Celkem bugů opravených do 14 dnů: 61
Celkem bugů opravených do 30 dnů: 81
Celkem bugů opravených do 61 dnů: 117
Celkem bugů opravených do 183 dnů: 284
gnome old
Celkový počet chyb: 20740
Z nich nás ale zajímá jen: 15018
(Protože nepočítáme 3809 DUPLICATE, 0 WORKSFORME, 406 INVALID, 695 NOTABUG, 481 NOTGNOME, 0 NOTXIMIAN a 331 WONTFIX)
Neopraveno zůstalo: 7627
Opraveno bylo: 7391
Celkem bugů opravených do 1 dne: 1843
Celkem bugů opravených do 7 dnů: 1753
Celkem bugů opravených do 14 dnů: 748
Celkem bugů opravených do 30 dnů: 908
Celkem bugů opravených do 61 dnů: 851
Celkem bugů opravených do 183 dnů: 1288
gnome new
Celkový počet chyb: 63421
Z nich nás ale zajímá jen: 35707
(Protože nepočítáme 25159 DUPLICATE, 0 WORKSFORME, 449 INVALID, 645 NOTABUG, 1184 NOTGNOME, 0 NOTXIMIAN a 277 WONTFIX)
Neopraveno zůstalo: 29887
Opraveno bylo: 5820
Celkem bugů opravených do 1 dne: 1447
Celkem bugů opravených do 7 dnů: 1262
Celkem bugů opravených do 14 dnů: 513
Celkem bugů opravených do 30 dnů: 620
Celkem bugů opravených do 61 dnů: 700
Celkem bugů opravených do 183 dnů: 1278

No comments:

Post a Comment