Wednesday, January 3, 2007

Je lepší Novell+KDE nebo Mandriva+Gnome?

Příznivci Linuxu jako jednu z jeho předností uvádějí rychlost s jakou jsou opravovány chyby. Protože mě začala frustrovat doba, po kterou teď už stovky mnou nahlášených nebo komentovaných bugů hnijí v bugzillách, rozhodl jsem se tuto legendu podrobit věděckému zkoumání, konkrétně tedy v případě Mandrivy, Novellu, RedHatu, Gentoo, Gnome a KDE.



Metodika:

1. Půl roku je dost dlouhá doba, bugy opravené po této době se nepočítají.


2. Z bugzilly příslušné distribuce se získá seznam chyb nahlášených v období od 1.1.2006 do 30.6.2006, včetně data nahlášení a data opravení a jejich aktuálního stavu.

3. Ze souboru se odstraní bugy vyřešené jako např. jako DUPLICATE (duplicitní), INVALID/NOTABUG (neplatné), WORKSFORME (vývojář nedokáže chybu reprodukovat), WONTFIX/CANTFIX (vývojář chybu neopraví, protože by třeba znamenala zásadní změnu koncepce programu), REPORTEDUPSTREAM (nahlášeno přímo autorovi programu) - ale jen ty, které takto byly zatříděny do 183 dnů.

4. Jako opravené se počítají chyby se statusem FIXED (nebo jejich ekvivalentem - viz např. RedHat)

5. Podle času, který trvala oprava se provede rozdělení na chyby opravené do 1,0 dne včetně, během 1,0-7,0 dnů včetně, během 7,0-14,0 dnů včetně, během 14,0-30,0 dnů včetně, během 30,0-61,0 dnů včetně, během 61,0-183,0 dnů včetně. Bugy opravené později než po 183,0 dnech se počítají jako neopravené.


(Tady je trochu zádrhel, protože údaje z KDE a RedHatu obsahují pouze informace o datu, nikoliv o čase, takže mohou být trochu v nevýhodě v případě chyb opravených do 1 dne, ale snad to tolik nevadí.)



No a konečně výsledky (dle abecedy):


Gentoo
Celkový počet chyb: 21313

Z nich nás ale zajímá jen: 14235

(Protože nepočítáme 4360 DUPLICATE, 666 WORKSFORME, 1486 INVALID a 566 WONTFIX)

Neopraveno zůstalo: 4964

Opraveno bylo: 9271

Celkem bugů opravených do 1 dne: 2317

Celkem bugů opravených do 7 dnů: 2119

Celkem bugů opravených do 14 dnů: 902

Celkem bugů opravených do 30 dnů: 1045

Celkem bugů opravených do 61 dnů: 1064

Celkem bugů opravených do 183 dnů: 1824

Mandriva

Celkový počet chyb: 2788

Z nich nás ale zajímá jen: 2221

(Protože nepočítáme 227 DUPLICATE, 48 WORKSFORME, 182 INVALID, 75 WONTFIX a 35 REPORTEDUPSTREAM)

Neopraveno zůstalo: 1108

Opraveno bylo: 1113

Celkem bugů opravených do 1 dne: 235

Celkem bugů opravených do 7 dnů: 218

Celkem bugů opravených do 14 dnů: 92

Celkem bugů opravených do 30 dnů: 121

Celkem bugů opravených do 61 dnů: 130

Celkem bugů opravených do 183 dnů: 317


Novell

Celkový počet chyb: 9745

Z nich nás ale zajímá jen: 6844

(Protože nepočítáme 1156 DUPLICATE, 293 WORKSFORME, 868 INVALID a 584 WONTFIX)

Neopraveno zůstalo: 2982

Opraveno bylo: 3862

Celkem bugů opravených do 1 dne: 526

Celkem bugů opravených do 7 dnů: 813

Celkem bugů opravených do 14 dnů: 400

Celkem bugů opravených do 30 dnů: 538

Celkem bugů opravených do 61 dnů: 461

Celkem bugů opravených do 183 dnů: 1124


RedHat

Celkový počet chyb: 15361

Z nich nás ale zajímá jen: 10819

(Protože nepočítáme 1894 DUPLICATE, 227 WORKSFORME, 1596 NOTABUG, 530 WONTFIX/CANTFIX a 295 REPORTEDUPSTREAM)

Neopraveno zůstalo: 5711

Opraveno bylo: 5108

Celkem bugů opravených do 1 dne: 687

Celkem bugů opravených do 7 dnů: 802

Celkem bugů opravených do 14 dnů: 607

Celkem bugů opravených do 30 dnů: 663

Celkem bugů opravených do 61 dnů: 725

Celkem bugů opravených do 183 dnů: 1624


Gnome

Celkový počet chyb: 20901

Z nich nás ale zajímá jen: 14908

(Protože nepočítáme 3933 DUPLICATE, 0 WORKSFORME, 446 INVALID, 757 NOTABUG, 509 NOTGNOME, 0 NOTXIMIAN a 348 WONTFIX)

Neopraveno zůstalo: 7347

Opraveno bylo: 7561

Celkem bugů opravených do 1 dne: 1887

Celkem bugů opravených do 7 dnů: 1761

Celkem bugů opravených do 14 dnů: 764

Celkem bugů opravených do 30 dnů: 905

Celkem bugů opravených do 61 dnů: 842

Celkem bugů opravených do 183 dnů: 1402


KDE

Celkový počet chyb: 10762

Z nich nás ale zajímá jen: 7105

(Protože nepočítáme 1312 DUPLICATE, 963 WORKSFORME, 1124 INVALID a 258 WONTFIX)

Neopraveno zůstalo: 5002

Opraveno bylo: 2103

Celkem bugů opravených do 1 dne: 474

Celkem bugů opravených do 7 dnů: 329

Celkem bugů opravených do 14 dnů: 145

Celkem bugů opravených do 30 dnů: 218

Celkem bugů opravených do 61 dnů: 288

Celkem bugů opravených do 183 dnů: 649


Jeden graf vydá za tisíc slov:

graf



Vítěznou kombinací pro člověka, který nechce na vyřešení problémů čekat, je tedy Gentoo s Gnome. Naopak Nejhůře na tom bude ten, kdo si vybere RedHat a KDE.






FAQ:


Proč tam není Debian? Protože nepoužívá Bugzillu.


Proč ne XYZ? Neměl jsem čas. Nic ti nebrání zpracovat data XYZ a doplnit je.


Použitá data


English version:

Bug solving speed: Novell or Mandriva, Gnome or KDE?


link

Linux promoters use to give as one of its advantages the speed with which the bugs are solved. Because many of the (now hundreds) bugs I submitted or commented are still rotting in various bugzillas, I decided to scientifically inspect this legend, more specifically in the case of
Mandriva, Novell, RedHat, Gentoo, Gnome and KDE.


Methodology:

1. Half year is a timeframe big enough, bugs fixed after that are considered to be not fixed


2. From the pertinent bugzilla a list of bugs filed between 1.1.2006 and 30.6.2006 is retrieved, including the opening date, date of last change (should be +- the same as date of fixing for most) and their current status.

3. From the list must be removed bugs resolved as e.g. DUPLICATE, INVALID/NOTABUG, WORKSFORME, WONTFIX/CANTFIX, REPORTEDUPSTREAM - but only those that were classified this way during the 6 months period (183 days).

4. Bugs are counted as fixed if their status is FIXED (or equivalent - see e.g. RedHat)

5. The fixed bugs are then divided into categories based on the time it took to fix them - bugs fixed within 1,0 day, during 1,0-7,0 days, during 7,0-14,0 days, during 14,0-30,0 days, during 30,0-61,0 dnů, during 61,0-183,0 days. Bugs fixed later than 183 days after opening are considered as not fixed.


(A slight problem is that dumps from KDE and RedHat bugzillas contain only information about date, not about time, so they have a slight disadvantage as regards the 1 day fixes)



And the results:


Gentoo
Total bugs: 21313

But we are only interested in: 14235

(Because we do not count 4360 DUPLICATE, 666 WORKSFORME, 1486 INVALID and 566 WONTFIX)

Not fixed: 4964

Fixed: 9271

Total bugs fixed during 1 day: 2317

Total bugs fixed during 7 days: 2119

Total bugs fixed during 14 days: 902

Total bugs fixed during 30 days: 1045

Total bugs fixed during 61 days: 1064

Total bugs fixed during 183 days: 1824

Mandriva

Total bugs: 2788

But we are only interested in: 2221

(Because we do not count 227 DUPLICATE, 48 WORKSFORME, 182 INVALID, 75 WONTFIX and 35 REPORTEDUPSTREAM)

Not fixed: 1108

Fixed: 1113

Total bugs fixed during 1 day: 235

Total bugs fixed during 7 days: 218

Total bugs fixed during 14 days: 92

Total bugs fixed during 30 days: 121

Total bugs fixed during 61 days: 130

Total bugs fixed during 183 days: 317


Novell

Total bugs: 9745

But we are only interested in: 6844

(Because we do not count 1156 DUPLICATE, 293 WORKSFORME, 868 INVALID and 584 WONTFIX)

Not fixed: 2982

Fixed: 3862

Total bugs fixed during 1 day: 526

Total bugs fixed during 7 days: 813

Total bugs fixed during 14 days: 400

Total bugs fixed during 30 days: 538

Total bugs fixed during 61 days: 461

Total bugs fixed during 183 days: 1124


RedHat

Total bugs: 15361

But we are only interested in: 10819

(Because we do not count 1894 DUPLICATE, 227 WORKSFORME, 1596 NOTABUG, 530 WONTFIX/CANTFIX and 295 REPORTEDUPSTREAM)

Not fixed: 5711

Fixed: 5108

Total bugs fixed during 1 day: 687

Total bugs fixed during 7 days: 802

Total bugs fixed during 14 days: 607

Total bugs fixed during 30 days: 663

Total bugs fixed during 61 days: 725

Total bugs fixed during 183 days: 1624


Gnome

Total bugs: 20901

But we are only interested in: 14908

(Because we do not count 3933 DUPLICATE, 0 WORKSFORME, 446 INVALID, 757 NOTABUG, 509 NOTGNOME, 0 NOTXIMIAN and 348 WONTFIX)

Not fixed: 7347

Fixed: 7561

Total bugs fixed during 1 day: 1887

Total bugs fixed during 7 days: 1761

Total bugs fixed during 14 days: 764

Total bugs fixed during 30 days: 905

Total bugs fixed during 61 days: 842

Total bugs fixed during 183 days: 1402


KDE

Total bugs: 10762

But we are only interested in: 7105

(Because we do not count 1312 DUPLICATE, 963 WORKSFORME, 1124 INVALID and 258 WONTFIX)

Not fixed: 5002

Fixed: 2103

Total bugs fixed during 1 day: 474

Total bugs fixed during 7 days: 329

Total bugs fixed during 14 days: 145

Total bugs fixed during 30 days: 218

Total bugs fixed during 61 days: 288

Total bugs fixed during 183 days: 649


One graph is worth thousands words:

graf


I did some comments on the results in the original, but as many people pointed out in the comments, the approach of every project is different, so use your brain and your knowledge/experience to figure out.


And remember: "the only statistics you can trust are those you falsified yourself" Winston Churchill.






FAQ:


Why is Debian/Ubuntu not included? Because the do not use bugzilla and I was not able to dump their data easily.


Why is XYZ not included? I do have only a finite amount of time available. You can do it yourself and let me know.


Used data and scripts


No comments:

Post a Comment