Příznivci Linuxu jako jednu z jeho předností uvádějí rychlost s jakou jsou opravovány chyby. Protože mě začala frustrovat doba, po kterou teď už stovky mnou nahlášených nebo komentovaných bugů hnijí v bugzillách, rozhodl jsem se tuto legendu podrobit věděckému zkoumání, konkrétně tedy v případě Mandrivy, Novellu, RedHatu, Gentoo, Gnome a KDE.
Metodika:
1. Půl roku je dost dlouhá doba, bugy opravené po této době se nepočítají.
2. Z bugzilly příslušné distribuce se získá seznam chyb nahlášených v období od 1.1.2006 do 30.6.2006, včetně data nahlášení a data opravení a jejich aktuálního stavu.
3. Ze souboru se odstraní bugy vyřešené jako např. jako DUPLICATE (duplicitní), INVALID/NOTABUG (neplatné), WORKSFORME (vývojář nedokáže chybu reprodukovat), WONTFIX/CANTFIX (vývojář chybu neopraví, protože by třeba znamenala zásadní změnu koncepce programu), REPORTEDUPSTREAM (nahlášeno přímo autorovi programu) - ale jen ty, které takto byly zatříděny do 183 dnů.
4. Jako opravené se počítají chyby se statusem FIXED (nebo jejich ekvivalentem - viz např. RedHat)
5. Podle času, který trvala oprava se provede rozdělení na chyby opravené do 1,0 dne včetně, během 1,0-7,0 dnů včetně, během 7,0-14,0 dnů včetně, během 14,0-30,0 dnů včetně, během 30,0-61,0 dnů včetně, během 61,0-183,0 dnů včetně. Bugy opravené později než po 183,0 dnech se počítají jako neopravené.
(Tady je trochu zádrhel, protože údaje z KDE a RedHatu obsahují pouze informace o datu, nikoliv o čase, takže mohou být trochu v nevýhodě v případě chyb opravených do 1 dne, ale snad to tolik nevadí.)
No a konečně výsledky (dle abecedy):
Gentoo
Celkový počet chyb: 21313
Z nich nás ale zajímá jen: 14235
(Protože nepočítáme 4360 DUPLICATE, 666 WORKSFORME, 1486 INVALID a 566 WONTFIX)
Neopraveno zůstalo: 4964
Opraveno bylo: 9271
Celkem bugů opravených do 1 dne: 2317
Celkem bugů opravených do 7 dnů: 2119
Celkem bugů opravených do 14 dnů: 902
Celkem bugů opravených do 30 dnů: 1045
Celkem bugů opravených do 61 dnů: 1064
Celkem bugů opravených do 183 dnů: 1824
Mandriva
Celkový počet chyb: 2788
Z nich nás ale zajímá jen: 2221
(Protože nepočítáme 227 DUPLICATE, 48 WORKSFORME, 182 INVALID, 75 WONTFIX a 35 REPORTEDUPSTREAM)
Neopraveno zůstalo: 1108
Opraveno bylo: 1113
Celkem bugů opravených do 1 dne: 235
Celkem bugů opravených do 7 dnů: 218
Celkem bugů opravených do 14 dnů: 92
Celkem bugů opravených do 30 dnů: 121
Celkem bugů opravených do 61 dnů: 130
Celkem bugů opravených do 183 dnů: 317
Novell
Celkový počet chyb: 9745
Z nich nás ale zajímá jen: 6844
(Protože nepočítáme 1156 DUPLICATE, 293 WORKSFORME, 868 INVALID a 584 WONTFIX)
Neopraveno zůstalo: 2982
Opraveno bylo: 3862
Celkem bugů opravených do 1 dne: 526
Celkem bugů opravených do 7 dnů: 813
Celkem bugů opravených do 14 dnů: 400
Celkem bugů opravených do 30 dnů: 538
Celkem bugů opravených do 61 dnů: 461
Celkem bugů opravených do 183 dnů: 1124
RedHat
Celkový počet chyb: 15361
Z nich nás ale zajímá jen: 10819
(Protože nepočítáme 1894 DUPLICATE, 227 WORKSFORME, 1596 NOTABUG, 530 WONTFIX/CANTFIX a 295 REPORTEDUPSTREAM)
Neopraveno zůstalo: 5711
Opraveno bylo: 5108
Celkem bugů opravených do 1 dne: 687
Celkem bugů opravených do 7 dnů: 802
Celkem bugů opravených do 14 dnů: 607
Celkem bugů opravených do 30 dnů: 663
Celkem bugů opravených do 61 dnů: 725
Celkem bugů opravených do 183 dnů: 1624
Gnome
Celkový počet chyb: 20901
Z nich nás ale zajímá jen: 14908
(Protože nepočítáme 3933 DUPLICATE, 0 WORKSFORME, 446 INVALID, 757 NOTABUG, 509 NOTGNOME, 0 NOTXIMIAN a 348 WONTFIX)
Neopraveno zůstalo: 7347
Opraveno bylo: 7561
Celkem bugů opravených do 1 dne: 1887
Celkem bugů opravených do 7 dnů: 1761
Celkem bugů opravených do 14 dnů: 764
Celkem bugů opravených do 30 dnů: 905
Celkem bugů opravených do 61 dnů: 842
Celkem bugů opravených do 183 dnů: 1402
KDE
Celkový počet chyb: 10762
Z nich nás ale zajímá jen: 7105
(Protože nepočítáme 1312 DUPLICATE, 963 WORKSFORME, 1124 INVALID a 258 WONTFIX)
Neopraveno zůstalo: 5002
Opraveno bylo: 2103
Celkem bugů opravených do 1 dne: 474
Celkem bugů opravených do 7 dnů: 329
Celkem bugů opravených do 14 dnů: 145
Celkem bugů opravených do 30 dnů: 218
Celkem bugů opravených do 61 dnů: 288
Celkem bugů opravených do 183 dnů: 649
Jeden graf vydá za tisíc slov:
Vítěznou kombinací pro člověka, který nechce na vyřešení problémů čekat, je tedy Gentoo s Gnome. Naopak Nejhůře na tom bude ten, kdo si vybere RedHat a KDE.
FAQ:
Proč tam není Debian? Protože nepoužívá Bugzillu.
Proč ne XYZ? Neměl jsem čas. Nic ti nebrání zpracovat data XYZ a doplnit je.
Použitá data
English version:
link
Linux promoters use to give as one of its advantages the speed with which the bugs are solved. Because many of the (now hundreds) bugs I submitted or commented are still rotting in various bugzillas, I decided to scientifically inspect this legend, more specifically in the case of
Mandriva, Novell, RedHat, Gentoo, Gnome and KDE.
Methodology:
1. Half year is a timeframe big enough, bugs fixed after that are considered to be not fixed
2. From the pertinent bugzilla a list of bugs filed between 1.1.2006 and 30.6.2006 is retrieved, including the opening date, date of last change (should be +- the same as date of fixing for most) and their current status.
3. From the list must be removed bugs resolved as e.g. DUPLICATE, INVALID/NOTABUG, WORKSFORME, WONTFIX/CANTFIX, REPORTEDUPSTREAM - but only those that were classified this way during the 6 months period (183 days).
4. Bugs are counted as fixed if their status is FIXED (or equivalent - see e.g. RedHat)
5. The fixed bugs are then divided into categories based on the time it took to fix them - bugs fixed within 1,0 day, during 1,0-7,0 days, during 7,0-14,0 days, during 14,0-30,0 days, during 30,0-61,0 dnů, during 61,0-183,0 days. Bugs fixed later than 183 days after opening are considered as not fixed.
(A slight problem is that dumps from KDE and RedHat bugzillas contain only information about date, not about time, so they have a slight disadvantage as regards the 1 day fixes)
And the results:
Gentoo
Total bugs: 21313
But we are only interested in: 14235
(Because we do not count 4360 DUPLICATE, 666 WORKSFORME, 1486 INVALID and 566 WONTFIX)
Not fixed: 4964
Fixed: 9271
Total bugs fixed during 1 day: 2317
Total bugs fixed during 7 days: 2119
Total bugs fixed during 14 days: 902
Total bugs fixed during 30 days: 1045
Total bugs fixed during 61 days: 1064
Total bugs fixed during 183 days: 1824
Mandriva
Total bugs: 2788
But we are only interested in: 2221
(Because we do not count 227 DUPLICATE, 48 WORKSFORME, 182 INVALID, 75 WONTFIX and 35 REPORTEDUPSTREAM)
Not fixed: 1108
Fixed: 1113
Total bugs fixed during 1 day: 235
Total bugs fixed during 7 days: 218
Total bugs fixed during 14 days: 92
Total bugs fixed during 30 days: 121
Total bugs fixed during 61 days: 130
Total bugs fixed during 183 days: 317
Novell
Total bugs: 9745
But we are only interested in: 6844
(Because we do not count 1156 DUPLICATE, 293 WORKSFORME, 868 INVALID and 584 WONTFIX)
Not fixed: 2982
Fixed: 3862
Total bugs fixed during 1 day: 526
Total bugs fixed during 7 days: 813
Total bugs fixed during 14 days: 400
Total bugs fixed during 30 days: 538
Total bugs fixed during 61 days: 461
Total bugs fixed during 183 days: 1124
RedHat
Total bugs: 15361
But we are only interested in: 10819
(Because we do not count 1894 DUPLICATE, 227 WORKSFORME, 1596 NOTABUG, 530 WONTFIX/CANTFIX and 295 REPORTEDUPSTREAM)
Not fixed: 5711
Fixed: 5108
Total bugs fixed during 1 day: 687
Total bugs fixed during 7 days: 802
Total bugs fixed during 14 days: 607
Total bugs fixed during 30 days: 663
Total bugs fixed during 61 days: 725
Total bugs fixed during 183 days: 1624
Gnome
Total bugs: 20901
But we are only interested in: 14908
(Because we do not count 3933 DUPLICATE, 0 WORKSFORME, 446 INVALID, 757 NOTABUG, 509 NOTGNOME, 0 NOTXIMIAN and 348 WONTFIX)
Not fixed: 7347
Fixed: 7561
Total bugs fixed during 1 day: 1887
Total bugs fixed during 7 days: 1761
Total bugs fixed during 14 days: 764
Total bugs fixed during 30 days: 905
Total bugs fixed during 61 days: 842
Total bugs fixed during 183 days: 1402
KDE
Total bugs: 10762
But we are only interested in: 7105
(Because we do not count 1312 DUPLICATE, 963 WORKSFORME, 1124 INVALID and 258 WONTFIX)
Not fixed: 5002
Fixed: 2103
Total bugs fixed during 1 day: 474
Total bugs fixed during 7 days: 329
Total bugs fixed during 14 days: 145
Total bugs fixed during 30 days: 218
Total bugs fixed during 61 days: 288
Total bugs fixed during 183 days: 649
One graph is worth thousands words:
I did some comments on the results in the original, but as many people pointed out in the comments, the approach of every project is different, so use your brain and your knowledge/experience to figure out.
And remember: "the only statistics you can trust are those you falsified yourself" Winston Churchill.
FAQ:
Why is Debian/Ubuntu not included? Because the do not use bugzilla and I was not able to dump their data easily.
Why is XYZ not included? I do have only a finite amount of time available. You can do it yourself and let me know.
Used data and scripts
Metodika:
1. Půl roku je dost dlouhá doba, bugy opravené po této době se nepočítají.
2. Z bugzilly příslušné distribuce se získá seznam chyb nahlášených v období od 1.1.2006 do 30.6.2006, včetně data nahlášení a data opravení a jejich aktuálního stavu.
3. Ze souboru se odstraní bugy vyřešené jako např. jako DUPLICATE (duplicitní), INVALID/NOTABUG (neplatné), WORKSFORME (vývojář nedokáže chybu reprodukovat), WONTFIX/CANTFIX (vývojář chybu neopraví, protože by třeba znamenala zásadní změnu koncepce programu), REPORTEDUPSTREAM (nahlášeno přímo autorovi programu) - ale jen ty, které takto byly zatříděny do 183 dnů.
4. Jako opravené se počítají chyby se statusem FIXED (nebo jejich ekvivalentem - viz např. RedHat)
5. Podle času, který trvala oprava se provede rozdělení na chyby opravené do 1,0 dne včetně, během 1,0-7,0 dnů včetně, během 7,0-14,0 dnů včetně, během 14,0-30,0 dnů včetně, během 30,0-61,0 dnů včetně, během 61,0-183,0 dnů včetně. Bugy opravené později než po 183,0 dnech se počítají jako neopravené.
(Tady je trochu zádrhel, protože údaje z KDE a RedHatu obsahují pouze informace o datu, nikoliv o čase, takže mohou být trochu v nevýhodě v případě chyb opravených do 1 dne, ale snad to tolik nevadí.)
No a konečně výsledky (dle abecedy):
Gentoo
Celkový počet chyb: 21313
Z nich nás ale zajímá jen: 14235
(Protože nepočítáme 4360 DUPLICATE, 666 WORKSFORME, 1486 INVALID a 566 WONTFIX)
Neopraveno zůstalo: 4964
Opraveno bylo: 9271
Celkem bugů opravených do 1 dne: 2317
Celkem bugů opravených do 7 dnů: 2119
Celkem bugů opravených do 14 dnů: 902
Celkem bugů opravených do 30 dnů: 1045
Celkem bugů opravených do 61 dnů: 1064
Celkem bugů opravených do 183 dnů: 1824
Mandriva
Celkový počet chyb: 2788
Z nich nás ale zajímá jen: 2221
(Protože nepočítáme 227 DUPLICATE, 48 WORKSFORME, 182 INVALID, 75 WONTFIX a 35 REPORTEDUPSTREAM)
Neopraveno zůstalo: 1108
Opraveno bylo: 1113
Celkem bugů opravených do 1 dne: 235
Celkem bugů opravených do 7 dnů: 218
Celkem bugů opravených do 14 dnů: 92
Celkem bugů opravených do 30 dnů: 121
Celkem bugů opravených do 61 dnů: 130
Celkem bugů opravených do 183 dnů: 317
Novell
Celkový počet chyb: 9745
Z nich nás ale zajímá jen: 6844
(Protože nepočítáme 1156 DUPLICATE, 293 WORKSFORME, 868 INVALID a 584 WONTFIX)
Neopraveno zůstalo: 2982
Opraveno bylo: 3862
Celkem bugů opravených do 1 dne: 526
Celkem bugů opravených do 7 dnů: 813
Celkem bugů opravených do 14 dnů: 400
Celkem bugů opravených do 30 dnů: 538
Celkem bugů opravených do 61 dnů: 461
Celkem bugů opravených do 183 dnů: 1124
RedHat
Celkový počet chyb: 15361
Z nich nás ale zajímá jen: 10819
(Protože nepočítáme 1894 DUPLICATE, 227 WORKSFORME, 1596 NOTABUG, 530 WONTFIX/CANTFIX a 295 REPORTEDUPSTREAM)
Neopraveno zůstalo: 5711
Opraveno bylo: 5108
Celkem bugů opravených do 1 dne: 687
Celkem bugů opravených do 7 dnů: 802
Celkem bugů opravených do 14 dnů: 607
Celkem bugů opravených do 30 dnů: 663
Celkem bugů opravených do 61 dnů: 725
Celkem bugů opravených do 183 dnů: 1624
Gnome
Celkový počet chyb: 20901
Z nich nás ale zajímá jen: 14908
(Protože nepočítáme 3933 DUPLICATE, 0 WORKSFORME, 446 INVALID, 757 NOTABUG, 509 NOTGNOME, 0 NOTXIMIAN a 348 WONTFIX)
Neopraveno zůstalo: 7347
Opraveno bylo: 7561
Celkem bugů opravených do 1 dne: 1887
Celkem bugů opravených do 7 dnů: 1761
Celkem bugů opravených do 14 dnů: 764
Celkem bugů opravených do 30 dnů: 905
Celkem bugů opravených do 61 dnů: 842
Celkem bugů opravených do 183 dnů: 1402
KDE
Celkový počet chyb: 10762
Z nich nás ale zajímá jen: 7105
(Protože nepočítáme 1312 DUPLICATE, 963 WORKSFORME, 1124 INVALID a 258 WONTFIX)
Neopraveno zůstalo: 5002
Opraveno bylo: 2103
Celkem bugů opravených do 1 dne: 474
Celkem bugů opravených do 7 dnů: 329
Celkem bugů opravených do 14 dnů: 145
Celkem bugů opravených do 30 dnů: 218
Celkem bugů opravených do 61 dnů: 288
Celkem bugů opravených do 183 dnů: 649
Jeden graf vydá za tisíc slov:
Vítěznou kombinací pro člověka, který nechce na vyřešení problémů čekat, je tedy Gentoo s Gnome. Naopak Nejhůře na tom bude ten, kdo si vybere RedHat a KDE.
FAQ:
Proč tam není Debian? Protože nepoužívá Bugzillu.
Proč ne XYZ? Neměl jsem čas. Nic ti nebrání zpracovat data XYZ a doplnit je.
Použitá data
English version:
Bug solving speed: Novell or Mandriva, Gnome or KDE?
link
Linux promoters use to give as one of its advantages the speed with which the bugs are solved. Because many of the (now hundreds) bugs I submitted or commented are still rotting in various bugzillas, I decided to scientifically inspect this legend, more specifically in the case of
Mandriva, Novell, RedHat, Gentoo, Gnome and KDE.
Methodology:
1. Half year is a timeframe big enough, bugs fixed after that are considered to be not fixed
2. From the pertinent bugzilla a list of bugs filed between 1.1.2006 and 30.6.2006 is retrieved, including the opening date, date of last change (should be +- the same as date of fixing for most) and their current status.
3. From the list must be removed bugs resolved as e.g. DUPLICATE, INVALID/NOTABUG, WORKSFORME, WONTFIX/CANTFIX, REPORTEDUPSTREAM - but only those that were classified this way during the 6 months period (183 days).
4. Bugs are counted as fixed if their status is FIXED (or equivalent - see e.g. RedHat)
5. The fixed bugs are then divided into categories based on the time it took to fix them - bugs fixed within 1,0 day, during 1,0-7,0 days, during 7,0-14,0 days, during 14,0-30,0 days, during 30,0-61,0 dnů, during 61,0-183,0 days. Bugs fixed later than 183 days after opening are considered as not fixed.
(A slight problem is that dumps from KDE and RedHat bugzillas contain only information about date, not about time, so they have a slight disadvantage as regards the 1 day fixes)
And the results:
Gentoo
Total bugs: 21313
But we are only interested in: 14235
(Because we do not count 4360 DUPLICATE, 666 WORKSFORME, 1486 INVALID and 566 WONTFIX)
Not fixed: 4964
Fixed: 9271
Total bugs fixed during 1 day: 2317
Total bugs fixed during 7 days: 2119
Total bugs fixed during 14 days: 902
Total bugs fixed during 30 days: 1045
Total bugs fixed during 61 days: 1064
Total bugs fixed during 183 days: 1824
Mandriva
Total bugs: 2788
But we are only interested in: 2221
(Because we do not count 227 DUPLICATE, 48 WORKSFORME, 182 INVALID, 75 WONTFIX and 35 REPORTEDUPSTREAM)
Not fixed: 1108
Fixed: 1113
Total bugs fixed during 1 day: 235
Total bugs fixed during 7 days: 218
Total bugs fixed during 14 days: 92
Total bugs fixed during 30 days: 121
Total bugs fixed during 61 days: 130
Total bugs fixed during 183 days: 317
Novell
Total bugs: 9745
But we are only interested in: 6844
(Because we do not count 1156 DUPLICATE, 293 WORKSFORME, 868 INVALID and 584 WONTFIX)
Not fixed: 2982
Fixed: 3862
Total bugs fixed during 1 day: 526
Total bugs fixed during 7 days: 813
Total bugs fixed during 14 days: 400
Total bugs fixed during 30 days: 538
Total bugs fixed during 61 days: 461
Total bugs fixed during 183 days: 1124
RedHat
Total bugs: 15361
But we are only interested in: 10819
(Because we do not count 1894 DUPLICATE, 227 WORKSFORME, 1596 NOTABUG, 530 WONTFIX/CANTFIX and 295 REPORTEDUPSTREAM)
Not fixed: 5711
Fixed: 5108
Total bugs fixed during 1 day: 687
Total bugs fixed during 7 days: 802
Total bugs fixed during 14 days: 607
Total bugs fixed during 30 days: 663
Total bugs fixed during 61 days: 725
Total bugs fixed during 183 days: 1624
Gnome
Total bugs: 20901
But we are only interested in: 14908
(Because we do not count 3933 DUPLICATE, 0 WORKSFORME, 446 INVALID, 757 NOTABUG, 509 NOTGNOME, 0 NOTXIMIAN and 348 WONTFIX)
Not fixed: 7347
Fixed: 7561
Total bugs fixed during 1 day: 1887
Total bugs fixed during 7 days: 1761
Total bugs fixed during 14 days: 764
Total bugs fixed during 30 days: 905
Total bugs fixed during 61 days: 842
Total bugs fixed during 183 days: 1402
KDE
Total bugs: 10762
But we are only interested in: 7105
(Because we do not count 1312 DUPLICATE, 963 WORKSFORME, 1124 INVALID and 258 WONTFIX)
Not fixed: 5002
Fixed: 2103
Total bugs fixed during 1 day: 474
Total bugs fixed during 7 days: 329
Total bugs fixed during 14 days: 145
Total bugs fixed during 30 days: 218
Total bugs fixed during 61 days: 288
Total bugs fixed during 183 days: 649
One graph is worth thousands words:
I did some comments on the results in the original, but as many people pointed out in the comments, the approach of every project is different, so use your brain and your knowledge/experience to figure out.
And remember: "the only statistics you can trust are those you falsified yourself" Winston Churchill.
FAQ:
Why is Debian/Ubuntu not included? Because the do not use bugzilla and I was not able to dump their data easily.
Why is XYZ not included? I do have only a finite amount of time available. You can do it yourself and let me know.
Used data and scripts
No comments:
Post a Comment