Page 1 of 1

High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.32.4

PostPosted: Wed Jun 15, 2011 10:20 am
by dabetz
Hello grsecurity team,

when booting an server with 2.6.32.41 Kernel patched with grsecurity-2.2.2-2.6.32.41-201106132135.patch the hard interrupts ( hi ) from the CPU(s) are very high.

As an example:
Cpu0 : 31.4%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 68.6%hi, 0.0%si, 0.0%st
Cpu1 : 5.9%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 94.1%hi, 0.0%si, 0.0%st
Cpu2 : 10.8%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 89.2%hi, 0.0%si, 0.0%st
Cpu3 : 5.9%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 94.1%hi, 0.0%si, 0.0%st

[~/root]# cat /proc/loadavg
2.52 1.93 0.88 1/256 5898
[~/root]#

I have also tried to disable all GRSEC options fully in the kernel config, but the problem still exists.
The problem does not occur when booting the unpatched vanilla kernel with same config.

Thanks for your help.

Greetings,
Daniel

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Wed Jun 15, 2011 10:36 am
by PaX Team
dabetz wrote:when booting an server with 2.6.32.41 Kernel patched with grsecurity-2.2.2-2.6.32.41-201106132135.patch the hard interrupts ( hi ) from the CPU(s) are very high.
is the load actually this high or is it a problem with statistics only (maybe you can use perf to see what the CPUs are doing)? i'm asking it because we have another similar report: http://forums.grsecurity.net/viewtopic.php?f=3&t=2646 that may be related. also can you post your .config and what was the last version that you tried and didn't have the problem?

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Fri Jun 17, 2011 3:09 am
by dabetz
Hello,

here are the perf top results from 2.6.32.41-grsec:
Code: Select all
------------------------------------------------------------------------------
   PerfTop:     152 irqs/sec  kernel:91.4% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

               44.00 - 15.4% : sha_transform
               41.00 - 14.4% : delay_tsc
               22.00 -  7.7% : hpet_next_event
               18.00 -  6.3% : acpi_idle_enter_bm
                8.00 -  2.8% : kunmap_atomic
                7.00 -  2.5% : check_poison_obj
                6.00 -  2.1% : kmap_atomic_prot
                6.00 -  2.1% : find_busiest_group
                5.00 -  1.8% : hrtimer_interrupt
                5.00 -  1.8% : page_fault

------------------------------------------------------------------------------
   PerfTop:    2821 irqs/sec  kernel:34.5% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              180.00 -  8.5% : check_poison_obj
              171.00 -  8.1% : hpet_next_event
              160.00 -  7.6% : kunmap_atomic
              101.00 -  4.8% : system_call
               96.00 -  4.5% : __purge_vmap_area_lazy
               96.00 -  4.5% : kmap_atomic_prot
               79.00 -  3.7% : delay_tsc
               58.00 -  2.7% : flush_all_zero_pkmaps
               46.00 -  2.2% : flush_tlb_mm
               44.00 -  2.1% : schedule
               43.00 -  2.0% : sha_transform
               39.00 -  1.8% : __copy_to_user_ll
               39.00 -  1.8% : find_next_bit
               35.00 -  1.7% : acpi_idle_enter_bm
               34.00 -  1.6% : poison_obj

------------------------------------------------------------------------------
   PerfTop:   12536 irqs/sec  kernel:33.7% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1586.00 - 15.7% : check_poison_obj
              970.00 -  9.6% : hpet_next_event
              908.00 -  9.0% : schedule
              561.00 -  5.6% : system_call
              356.00 -  3.5% : kunmap_atomic
              291.00 -  2.9% : __switch_to
              275.00 -  2.7% : perf_poll
              262.00 -  2.6% : fget_light
              228.00 -  2.3% : fput
              216.00 -  2.1% : kmap_atomic_prot
              210.00 -  2.1% : _spin_unlock_irqrestore
              205.00 -  2.0% : __copy_to_user_ll
              204.00 -  2.0% : _spin_lock_irqsave
              171.00 -  1.7% : do_sys_poll
              121.00 -  1.2% : poison_obj

------------------------------------------------------------------------------
   PerfTop:     363 irqs/sec  kernel:79.3% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1421.00 - 15.6% : check_poison_obj
              866.00 -  9.5% : hpet_next_event
              803.00 -  8.8% : schedule
              504.00 -  5.5% : system_call
              373.00 -  4.1% : kunmap_atomic
              261.00 -  2.9% : __switch_to
              242.00 -  2.7% : perf_poll
              231.00 -  2.5% : fget_light
              228.00 -  2.5% : kmap_atomic_prot
              203.00 -  2.2% : fput
              185.00 -  2.0% : _spin_unlock_irqrestore
              183.00 -  2.0% : __copy_to_user_ll
              181.00 -  2.0% : _spin_lock_irqsave
              151.00 -  1.7% : do_sys_poll
              129.00 -  1.4% : delay_tsc

------------------------------------------------------------------------------
   PerfTop:     710 irqs/sec  kernel:72.1% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1581.00 - 18.0% : check_poison_obj
              769.00 -  8.7% : hpet_next_event
              707.00 -  8.0% : schedule
              531.00 -  6.0% : system_call
              361.00 -  4.1% : kunmap_atomic
              229.00 -  2.6% : __switch_to
              220.00 -  2.5% : kmap_atomic_prot
              213.00 -  2.4% : perf_poll
              203.00 -  2.3% : fget_light
              186.00 -  2.1% : __copy_to_user_ll
              179.00 -  2.0% : fput
              164.00 -  1.9% : _spin_unlock_irqrestore
              163.00 -  1.9% : _spin_lock_irqsave
              147.00 -  1.7% : delay_tsc
              134.00 -  1.5% : do_sys_poll

------------------------------------------------------------------------------
   PerfTop:     570 irqs/sec  kernel:57.9% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1463.00 - 17.9% : check_poison_obj
              726.00 -  8.9% : hpet_next_event
              640.00 -  7.8% : schedule
              480.00 -  5.9% : system_call
              347.00 -  4.2% : kunmap_atomic
              219.00 -  2.7% : kmap_atomic_prot
              207.00 -  2.5% : __switch_to
              190.00 -  2.3% : perf_poll
              181.00 -  2.2% : fget_light
              171.00 -  2.1% : __copy_to_user_ll
              163.00 -  2.0% : delay_tsc
              160.00 -  2.0% : fput
              150.00 -  1.8% : _spin_unlock_irqrestore
              147.00 -  1.8% : _spin_lock_irqsave
              121.00 -  1.5% : do_sys_poll

------------------------------------------------------------------------------
   PerfTop:      62 irqs/sec  kernel:85.5% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1282.00 - 18.1% : check_poison_obj
              644.00 -  9.1% : hpet_next_event
              564.00 -  8.0% : schedule
              422.00 -  6.0% : system_call
              303.00 -  4.3% : kunmap_atomic
              191.00 -  2.7% : kmap_atomic_prot
              183.00 -  2.6% : __switch_to
              181.00 -  2.6% : delay_tsc
              167.00 -  2.4% : perf_poll
              159.00 -  2.2% : fget_light
              152.00 -  2.1% : __copy_to_user_ll
              140.00 -  2.0% : fput
              134.00 -  1.9% : _spin_unlock_irqrestore
              128.00 -  1.8% : _spin_lock_irqsave
              105.00 -  1.5% : do_sys_poll

------------------------------------------------------------------------------
   PerfTop:     430 irqs/sec  kernel:85.3% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1254.00 - 18.4% : check_poison_obj
              617.00 -  9.1% : hpet_next_event
              503.00 -  7.4% : schedule
              394.00 -  5.8% : system_call
              280.00 -  4.1% : kunmap_atomic
              192.00 -  2.8% : delay_tsc
              182.00 -  2.7% : kmap_atomic_prot
              162.00 -  2.4% : __switch_to
              147.00 -  2.2% : perf_poll
              145.00 -  2.1% : fget_light
              143.00 -  2.1% : __copy_to_user_ll
              125.00 -  1.8% : fput
              119.00 -  1.7% : _spin_unlock_irqrestore
              118.00 -  1.7% : _spin_lock_irqsave
              102.00 -  1.5% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      74 irqs/sec  kernel:86.5% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1103.00 - 18.6% : check_poison_obj
              554.00 -  9.3% : hpet_next_event
              444.00 -  7.5% : schedule
              346.00 -  5.8% : system_call
              245.00 -  4.1% : kunmap_atomic
              201.00 -  3.4% : delay_tsc
              159.00 -  2.7% : kmap_atomic_prot
              144.00 -  2.4% : __switch_to
              128.00 -  2.2% : perf_poll
              127.00 -  2.1% : fget_light
              127.00 -  2.1% : __copy_to_user_ll
              109.00 -  1.8% : fput
              106.00 -  1.8% : _spin_lock_irqsave
              105.00 -  1.8% : _spin_unlock_irqrestore
               90.00 -  1.5% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      77 irqs/sec  kernel:87.0% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              970.00 - 18.6% : check_poison_obj
              494.00 -  9.5% : hpet_next_event
              395.00 -  7.6% : schedule
              304.00 -  5.8% : system_call
              214.00 -  4.1% : kunmap_atomic
              210.00 -  4.0% : delay_tsc
              139.00 -  2.7% : kmap_atomic_prot
              127.00 -  2.4% : __switch_to
              113.00 -  2.2% : __copy_to_user_ll
              112.00 -  2.2% : perf_poll
              111.00 -  2.1% : fget_light
               95.00 -  1.8% : fput
               93.00 -  1.8% : _spin_lock_irqsave
               93.00 -  1.8% : _spin_unlock_irqrestore
               78.00 -  1.5% : poison_obj

------------------------------------------------------------------------------
   PerfTop:    1033 irqs/sec  kernel:60.9% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              942.00 - 16.5% : check_poison_obj
              514.00 -  9.0% : hpet_next_event
              393.00 -  6.9% : schedule
              305.00 -  5.4% : system_call
              250.00 -  4.4% : kunmap_atomic
              225.00 -  3.9% : delay_tsc
              155.00 -  2.7% : kmap_atomic_prot
              126.00 -  2.2% : __switch_to
              119.00 -  2.1% : __copy_to_user_ll
              102.00 -  1.8% : fget_light
              102.00 -  1.8% : perf_poll
               92.00 -  1.6% : _spin_lock_irqsave
               89.00 -  1.6% : _spin_unlock_irqrestore
               88.00 -  1.5% : fput
               86.00 -  1.5% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      88 irqs/sec  kernel:87.5% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              826.00 - 16.9% : check_poison_obj
              463.00 -  9.5% : hpet_next_event
              346.00 -  7.1% : schedule
              268.00 -  5.5% : system_call
              230.00 -  4.7% : delay_tsc
              218.00 -  4.5% : kunmap_atomic
              135.00 -  2.8% : kmap_atomic_prot
              111.00 -  2.3% : __switch_to
              105.00 -  2.1% : __copy_to_user_ll
               90.00 -  1.8% : fget_light
               89.00 -  1.8% : perf_poll
               81.00 -  1.7% : _spin_lock_irqsave
               77.00 -  1.6% : fput
               77.00 -  1.6% : _spin_unlock_irqrestore
               76.00 -  1.6% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      67 irqs/sec  kernel:80.6% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              723.00 - 17.1% : check_poison_obj
              415.00 -  9.8% : hpet_next_event
              308.00 -  7.3% : schedule
              235.00 -  5.6% : system_call
              235.00 -  5.6% : delay_tsc
              190.00 -  4.5% : kunmap_atomic
              118.00 -  2.8% : kmap_atomic_prot
               97.00 -  2.3% : __switch_to
               91.00 -  2.1% : __copy_to_user_ll
               78.00 -  1.8% : fget_light
               77.00 -  1.8% : perf_poll
               70.00 -  1.7% : _spin_lock_irqsave
               69.00 -  1.6% : fput
               68.00 -  1.6% : _spin_unlock_irqrestore
               66.00 -  1.6% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      69 irqs/sec  kernel:87.0% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              639.00 - 17.2% : check_poison_obj
              372.00 - 10.0% : hpet_next_event
              277.00 -  7.5% : schedule
              247.00 -  6.6% : delay_tsc
              208.00 -  5.6% : system_call
              166.00 -  4.5% : kunmap_atomic
              103.00 -  2.8% : kmap_atomic_prot
               84.00 -  2.3% : __switch_to
               80.00 -  2.2% : __copy_to_user_ll
               68.00 -  1.8% : fget_light
               68.00 -  1.8% : perf_poll
               61.00 -  1.6% : _spin_lock_irqsave
               60.00 -  1.6% : fput
               60.00 -  1.6% : _spin_unlock_irqrestore
               58.00 -  1.6% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      73 irqs/sec  kernel:87.7% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              563.00 - 17.1% : check_poison_obj
              338.00 - 10.3% : hpet_next_event
              257.00 -  7.8% : delay_tsc
              247.00 -  7.5% : schedule
              185.00 -  5.6% : system_call
              145.00 -  4.4% : kunmap_atomic
               90.00 -  2.7% : kmap_atomic_prot
               74.00 -  2.2% : __switch_to
               71.00 -  2.2% : __copy_to_user_ll
               59.00 -  1.8% : fget_light
               59.00 -  1.8% : perf_poll
               54.00 -  1.6% : _spin_lock_irqsave
               52.00 -  1.6% : fput
               52.00 -  1.6% : _spin_unlock_irqrestore
               52.00 -  1.6% : find_busiest_group

------------------------------------------------------------------------------
   PerfTop:     133 irqs/sec  kernel:85.7% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              494.00 - 16.4% : check_poison_obj
              306.00 - 10.2% : hpet_next_event
              265.00 -  8.8% : delay_tsc
              222.00 -  7.4% : schedule
              163.00 -  5.4% : system_call
              131.00 -  4.3% : kunmap_atomic
               83.00 -  2.8% : sha_transform
               81.00 -  2.7% : kmap_atomic_prot
               66.00 -  2.2% : __copy_to_user_ll
               65.00 -  2.2% : __switch_to
               51.00 -  1.7% : fget_light
               51.00 -  1.7% : perf_poll
               48.00 -  1.6% : _spin_lock_irqsave
               46.00 -  1.5% : _spin_unlock_irqrestore
               46.00 -  1.5% : find_busiest_group

------------------------------------------------------------------------------
   PerfTop:      61 irqs/sec  kernel:86.9% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              433.00 - 16.4% : check_poison_obj
              277.00 - 10.5% : hpet_next_event
              274.00 - 10.3% : delay_tsc
              195.00 -  7.4% : schedule
              144.00 -  5.4% : system_call
              114.00 -  4.3% : kunmap_atomic
               72.00 -  2.7% : sha_transform
               70.00 -  2.6% : kmap_atomic_prot
               57.00 -  2.2% : __copy_to_user_ll
               57.00 -  2.2% : __switch_to
               45.00 -  1.7% : _spin_lock_irqsave
               44.00 -  1.7% : fget_light
               44.00 -  1.7% : perf_poll
               43.00 -  1.6% : find_busiest_group
               40.00 -  1.5% : fput

------------------------------------------------------------------------------
   PerfTop:      69 irqs/sec  kernel:87.0% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              379.00 - 16.0% : check_poison_obj
              279.00 - 11.8% : delay_tsc
              252.00 - 10.7% : hpet_next_event
              176.00 -  7.4% : schedule
              127.00 -  5.4% : system_call
               99.00 -  4.2% : kunmap_atomic
               63.00 -  2.7% : sha_transform
               61.00 -  2.6% : kmap_atomic_prot
               51.00 -  2.2% : __copy_to_user_ll
               51.00 -  2.2% : __switch_to
               42.00 -  1.8% : _spin_lock_irqsave
               39.00 -  1.6% : find_busiest_group
               38.00 -  1.6% : fget_light
               38.00 -  1.6% : perf_poll
               36.00 -  1.5% : _spin_unlock_irqrestore

------------------------------------------------------------------------------
   PerfTop:      67 irqs/sec  kernel:86.6% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              332.00 - 15.7% : check_poison_obj
              285.00 - 13.5% : delay_tsc
              237.00 - 11.2% : hpet_next_event
              156.00 -  7.4% : schedule
              113.00 -  5.3% : system_call
               86.00 -  4.1% : kunmap_atomic
               55.00 -  2.6% : sha_transform
               53.00 -  2.5% : kmap_atomic_prot
               45.00 -  2.1% : __copy_to_user_ll
               45.00 -  2.1% : __switch_to
               36.00 -  1.7% : _spin_lock_irqsave
               36.00 -  1.7% : find_busiest_group
               33.00 -  1.6% : fget_light
               33.00 -  1.6% : perf_poll
               31.00 -  1.5% : _spin_unlock_irqrestore


And here from the last Kernel without high irq load 2.6.32.33-grsec:
Code: Select all
------------------------------------------------------------------------------
   PerfTop:     592 irqs/sec  kernel:61.8% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              314.00 - 38.3% : check_poison_obj
              110.00 - 13.4% : delay_tsc
               37.00 -  4.5% : vsnprintf
               28.00 -  3.4% : poison_obj
               26.00 -  3.2% : number
               16.00 -  2.0% : hpet_next_event
               13.00 -  1.6% : __d_lookup
               12.00 -  1.5% : kunmap_atomic
                9.00 -  1.1% : seq_printf
                9.00 -  1.1% : render_sigset_t
                8.00 -  1.0% : kmem_cache_alloc
                8.00 -  1.0% : __link_path_walk
                7.00 -  0.9% : page_fault
                6.00 -  0.7% : put_dec_trunc
                6.00 -  0.7% : get_page_from_freelist

------------------------------------------------------------------------------
   PerfTop:      49 irqs/sec  kernel:81.6% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              274.00 - 40.6% : check_poison_obj
              138.00 - 20.4% : delay_tsc
               32.00 -  4.7% : vsnprintf
               24.00 -  3.6% : poison_obj
               22.00 -  3.3% : number
               19.00 -  2.8% : hpet_next_event
               11.00 -  1.6% : __d_lookup
               10.00 -  1.5% : kunmap_atomic
                7.00 -  1.0% : seq_printf
                7.00 -  1.0% : render_sigset_t
                7.00 -  1.0% : kmem_cache_alloc
                7.00 -  1.0% : __link_path_walk
                6.00 -  0.9% : page_fault
                6.00 -  0.9% : schedule
                5.00 -  0.7% : put_dec_trunc

------------------------------------------------------------------------------
   PerfTop:      79 irqs/sec  kernel:86.1% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              244.00 - 36.5% : check_poison_obj
              162.00 - 24.3% : delay_tsc
               28.00 -  4.2% : vsnprintf
               28.00 -  4.2% : hpet_next_event
               21.00 -  3.1% : poison_obj
               19.00 -  2.8% : number
               10.00 -  1.5% : __d_lookup
               10.00 -  1.5% : kunmap_atomic
                9.00 -  1.3% : sha_transform
                8.00 -  1.2% : find_busiest_group
                7.00 -  1.0% : page_fault
                7.00 -  1.0% : schedule
                6.00 -  0.9% : do_wp_page
                6.00 -  0.9% : seq_printf
                6.00 -  0.9% : render_sigset_t

------------------------------------------------------------------------------
   PerfTop:      53 irqs/sec  kernel:86.8% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              215.00 - 34.6% : check_poison_obj
              183.00 - 29.4% : delay_tsc
               33.00 -  5.3% : hpet_next_event
               24.00 -  3.9% : vsnprintf
               18.00 -  2.9% : poison_obj
               16.00 -  2.6% : number
                8.00 -  1.3% : __d_lookup
                8.00 -  1.3% : kunmap_atomic
                7.00 -  1.1% : sha_transform
                7.00 -  1.1% : find_busiest_group
                6.00 -  1.0% : page_fault
                6.00 -  1.0% : schedule
                5.00 -  0.8% : do_wp_page
                5.00 -  0.8% : seq_printf
                5.00 -  0.8% : render_sigset_t

------------------------------------------------------------------------------
   PerfTop:      54 irqs/sec  kernel:87.0% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              203.00 - 34.2% : delay_tsc
              192.00 - 32.3% : check_poison_obj
               40.00 -  6.7% : hpet_next_event
               21.00 -  3.5% : vsnprintf
               15.00 -  2.5% : poison_obj
               14.00 -  2.4% : number
                8.00 -  1.3% : find_busiest_group
                7.00 -  1.2% : __d_lookup
                7.00 -  1.2% : kunmap_atomic
                6.00 -  1.0% : sha_transform
                6.00 -  1.0% : schedule
                5.00 -  0.8% : page_fault

------------------------------------------------------------------------------
   PerfTop:      47 irqs/sec  kernel:85.1% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              217.00 - 38.5% : delay_tsc
              170.00 - 30.2% : check_poison_obj
               41.00 -  7.3% : hpet_next_event
               18.00 -  3.2% : vsnprintf
               13.00 -  2.3% : poison_obj
               12.00 -  2.1% : number
                8.00 -  1.4% : find_busiest_group
                7.00 -  1.2% : schedule
                6.00 -  1.1% : __d_lookup
                6.00 -  1.1% : kunmap_atomic
                5.00 -  0.9% : sha_transform


I hope this helps you.
If you need more or other information, please feel free to ask for it.
Btw. the problem is reproducable on more than 20 servers.

Greetings,
Daniel

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Sun Jun 19, 2011 12:25 pm
by yiannis.k
I face the same problem on gentoo x86 with 2.6.39-hardened-r2 kernel. Top shows 40-50% of hardware interrupts. If you need any feedback please ask for it.

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Mon Jun 20, 2011 11:16 am
by perlish
I use "grsecurity-2.2.2-2.6.32.41-201106071941.patch" in my box,it seems work fine.
Code: Select all
top - 23:12:30 up 12 days, 12:53,  1 user,  load average: 0.00, 0.00, 0.00
Tasks: 104 total,   1 running, 103 sleeping,   0 stopped,   0 zombie
Cpu(s):  3.8%us,  0.2%sy,  0.0%ni, 96.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   8172884k total,  5193080k used,  2979804k free,   301844k buffers
Swap:  1598456k total,        0k used,  1598456k free,  4209856k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                           
 3447 nobody    20   0 2613m  40m 2172 S  8.3  0.5 985:52.70 zeus.zxtm                                                                         
 3446 nobody    20   0 2613m  40m 2180 S  7.3  0.5 814:03.44 zeus.zxtm                                                                         
 3440 nobody    20   0 2613m  40m 2220 S  6.3  0.5 777:17.56 zeus.zxtm                                                                         
 3444 nobody    20   0 2613m  39m 2172 S  3.0  0.5 623:39.57 zeus.zxtm                                                                         
 3445 nobody    20   0 2613m  40m 2172 S  3.0  0.5 451:07.62 zeus.zxtm                                                                         
 3443 nobody    20   0 2612m  39m 2172 S  2.3  0.5 326:05.39 zeus.zxtm                                                                         
 3441 nobody    20   0 2613m  39m 2172 S  1.7  0.5 224:37.10 zeus.zxtm                                                                         
 1022 root      39  19     0    0    0 S  0.3  0.0  29:33.61 kipmi0                                                                           
 3442 nobody    20   0 2613m  39m 2172 S  0.3  0.5 180:40.75 zeus.zxtm                                                                         
27174 root      20   0 12780 1332  948 R  0.3  0.0   0:00.04 top                                                                               
    1 root      20   0 10392  744  620 S  0.0  0.0   0:05.12 init   

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Mon Jun 20, 2011 11:18 am
by perlish
dabetz wrote:Hello,

here are the perf top results from 2.6.32.41-grsec:
Code: Select all
------------------------------------------------------------------------------
   PerfTop:     152 irqs/sec  kernel:91.4% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

               44.00 - 15.4% : sha_transform
               41.00 - 14.4% : delay_tsc
               22.00 -  7.7% : hpet_next_event
               18.00 -  6.3% : acpi_idle_enter_bm
                8.00 -  2.8% : kunmap_atomic
                7.00 -  2.5% : check_poison_obj
                6.00 -  2.1% : kmap_atomic_prot
                6.00 -  2.1% : find_busiest_group
                5.00 -  1.8% : hrtimer_interrupt
                5.00 -  1.8% : page_fault

------------------------------------------------------------------------------
   PerfTop:    2821 irqs/sec  kernel:34.5% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              180.00 -  8.5% : check_poison_obj
              171.00 -  8.1% : hpet_next_event
              160.00 -  7.6% : kunmap_atomic
              101.00 -  4.8% : system_call
               96.00 -  4.5% : __purge_vmap_area_lazy
               96.00 -  4.5% : kmap_atomic_prot
               79.00 -  3.7% : delay_tsc
               58.00 -  2.7% : flush_all_zero_pkmaps
               46.00 -  2.2% : flush_tlb_mm
               44.00 -  2.1% : schedule
               43.00 -  2.0% : sha_transform
               39.00 -  1.8% : __copy_to_user_ll
               39.00 -  1.8% : find_next_bit
               35.00 -  1.7% : acpi_idle_enter_bm
               34.00 -  1.6% : poison_obj

------------------------------------------------------------------------------
   PerfTop:   12536 irqs/sec  kernel:33.7% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1586.00 - 15.7% : check_poison_obj
              970.00 -  9.6% : hpet_next_event
              908.00 -  9.0% : schedule
              561.00 -  5.6% : system_call
              356.00 -  3.5% : kunmap_atomic
              291.00 -  2.9% : __switch_to
              275.00 -  2.7% : perf_poll
              262.00 -  2.6% : fget_light
              228.00 -  2.3% : fput
              216.00 -  2.1% : kmap_atomic_prot
              210.00 -  2.1% : _spin_unlock_irqrestore
              205.00 -  2.0% : __copy_to_user_ll
              204.00 -  2.0% : _spin_lock_irqsave
              171.00 -  1.7% : do_sys_poll
              121.00 -  1.2% : poison_obj

------------------------------------------------------------------------------
   PerfTop:     363 irqs/sec  kernel:79.3% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1421.00 - 15.6% : check_poison_obj
              866.00 -  9.5% : hpet_next_event
              803.00 -  8.8% : schedule
              504.00 -  5.5% : system_call
              373.00 -  4.1% : kunmap_atomic
              261.00 -  2.9% : __switch_to
              242.00 -  2.7% : perf_poll
              231.00 -  2.5% : fget_light
              228.00 -  2.5% : kmap_atomic_prot
              203.00 -  2.2% : fput
              185.00 -  2.0% : _spin_unlock_irqrestore
              183.00 -  2.0% : __copy_to_user_ll
              181.00 -  2.0% : _spin_lock_irqsave
              151.00 -  1.7% : do_sys_poll
              129.00 -  1.4% : delay_tsc

------------------------------------------------------------------------------
   PerfTop:     710 irqs/sec  kernel:72.1% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1581.00 - 18.0% : check_poison_obj
              769.00 -  8.7% : hpet_next_event
              707.00 -  8.0% : schedule
              531.00 -  6.0% : system_call
              361.00 -  4.1% : kunmap_atomic
              229.00 -  2.6% : __switch_to
              220.00 -  2.5% : kmap_atomic_prot
              213.00 -  2.4% : perf_poll
              203.00 -  2.3% : fget_light
              186.00 -  2.1% : __copy_to_user_ll
              179.00 -  2.0% : fput
              164.00 -  1.9% : _spin_unlock_irqrestore
              163.00 -  1.9% : _spin_lock_irqsave
              147.00 -  1.7% : delay_tsc
              134.00 -  1.5% : do_sys_poll

------------------------------------------------------------------------------
   PerfTop:     570 irqs/sec  kernel:57.9% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1463.00 - 17.9% : check_poison_obj
              726.00 -  8.9% : hpet_next_event
              640.00 -  7.8% : schedule
              480.00 -  5.9% : system_call
              347.00 -  4.2% : kunmap_atomic
              219.00 -  2.7% : kmap_atomic_prot
              207.00 -  2.5% : __switch_to
              190.00 -  2.3% : perf_poll
              181.00 -  2.2% : fget_light
              171.00 -  2.1% : __copy_to_user_ll
              163.00 -  2.0% : delay_tsc
              160.00 -  2.0% : fput
              150.00 -  1.8% : _spin_unlock_irqrestore
              147.00 -  1.8% : _spin_lock_irqsave
              121.00 -  1.5% : do_sys_poll

------------------------------------------------------------------------------
   PerfTop:      62 irqs/sec  kernel:85.5% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1282.00 - 18.1% : check_poison_obj
              644.00 -  9.1% : hpet_next_event
              564.00 -  8.0% : schedule
              422.00 -  6.0% : system_call
              303.00 -  4.3% : kunmap_atomic
              191.00 -  2.7% : kmap_atomic_prot
              183.00 -  2.6% : __switch_to
              181.00 -  2.6% : delay_tsc
              167.00 -  2.4% : perf_poll
              159.00 -  2.2% : fget_light
              152.00 -  2.1% : __copy_to_user_ll
              140.00 -  2.0% : fput
              134.00 -  1.9% : _spin_unlock_irqrestore
              128.00 -  1.8% : _spin_lock_irqsave
              105.00 -  1.5% : do_sys_poll

------------------------------------------------------------------------------
   PerfTop:     430 irqs/sec  kernel:85.3% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1254.00 - 18.4% : check_poison_obj
              617.00 -  9.1% : hpet_next_event
              503.00 -  7.4% : schedule
              394.00 -  5.8% : system_call
              280.00 -  4.1% : kunmap_atomic
              192.00 -  2.8% : delay_tsc
              182.00 -  2.7% : kmap_atomic_prot
              162.00 -  2.4% : __switch_to
              147.00 -  2.2% : perf_poll
              145.00 -  2.1% : fget_light
              143.00 -  2.1% : __copy_to_user_ll
              125.00 -  1.8% : fput
              119.00 -  1.7% : _spin_unlock_irqrestore
              118.00 -  1.7% : _spin_lock_irqsave
              102.00 -  1.5% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      74 irqs/sec  kernel:86.5% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

             1103.00 - 18.6% : check_poison_obj
              554.00 -  9.3% : hpet_next_event
              444.00 -  7.5% : schedule
              346.00 -  5.8% : system_call
              245.00 -  4.1% : kunmap_atomic
              201.00 -  3.4% : delay_tsc
              159.00 -  2.7% : kmap_atomic_prot
              144.00 -  2.4% : __switch_to
              128.00 -  2.2% : perf_poll
              127.00 -  2.1% : fget_light
              127.00 -  2.1% : __copy_to_user_ll
              109.00 -  1.8% : fput
              106.00 -  1.8% : _spin_lock_irqsave
              105.00 -  1.8% : _spin_unlock_irqrestore
               90.00 -  1.5% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      77 irqs/sec  kernel:87.0% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              970.00 - 18.6% : check_poison_obj
              494.00 -  9.5% : hpet_next_event
              395.00 -  7.6% : schedule
              304.00 -  5.8% : system_call
              214.00 -  4.1% : kunmap_atomic
              210.00 -  4.0% : delay_tsc
              139.00 -  2.7% : kmap_atomic_prot
              127.00 -  2.4% : __switch_to
              113.00 -  2.2% : __copy_to_user_ll
              112.00 -  2.2% : perf_poll
              111.00 -  2.1% : fget_light
               95.00 -  1.8% : fput
               93.00 -  1.8% : _spin_lock_irqsave
               93.00 -  1.8% : _spin_unlock_irqrestore
               78.00 -  1.5% : poison_obj

------------------------------------------------------------------------------
   PerfTop:    1033 irqs/sec  kernel:60.9% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              942.00 - 16.5% : check_poison_obj
              514.00 -  9.0% : hpet_next_event
              393.00 -  6.9% : schedule
              305.00 -  5.4% : system_call
              250.00 -  4.4% : kunmap_atomic
              225.00 -  3.9% : delay_tsc
              155.00 -  2.7% : kmap_atomic_prot
              126.00 -  2.2% : __switch_to
              119.00 -  2.1% : __copy_to_user_ll
              102.00 -  1.8% : fget_light
              102.00 -  1.8% : perf_poll
               92.00 -  1.6% : _spin_lock_irqsave
               89.00 -  1.6% : _spin_unlock_irqrestore
               88.00 -  1.5% : fput
               86.00 -  1.5% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      88 irqs/sec  kernel:87.5% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              826.00 - 16.9% : check_poison_obj
              463.00 -  9.5% : hpet_next_event
              346.00 -  7.1% : schedule
              268.00 -  5.5% : system_call
              230.00 -  4.7% : delay_tsc
              218.00 -  4.5% : kunmap_atomic
              135.00 -  2.8% : kmap_atomic_prot
              111.00 -  2.3% : __switch_to
              105.00 -  2.1% : __copy_to_user_ll
               90.00 -  1.8% : fget_light
               89.00 -  1.8% : perf_poll
               81.00 -  1.7% : _spin_lock_irqsave
               77.00 -  1.6% : fput
               77.00 -  1.6% : _spin_unlock_irqrestore
               76.00 -  1.6% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      67 irqs/sec  kernel:80.6% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              723.00 - 17.1% : check_poison_obj
              415.00 -  9.8% : hpet_next_event
              308.00 -  7.3% : schedule
              235.00 -  5.6% : system_call
              235.00 -  5.6% : delay_tsc
              190.00 -  4.5% : kunmap_atomic
              118.00 -  2.8% : kmap_atomic_prot
               97.00 -  2.3% : __switch_to
               91.00 -  2.1% : __copy_to_user_ll
               78.00 -  1.8% : fget_light
               77.00 -  1.8% : perf_poll
               70.00 -  1.7% : _spin_lock_irqsave
               69.00 -  1.6% : fput
               68.00 -  1.6% : _spin_unlock_irqrestore
               66.00 -  1.6% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      69 irqs/sec  kernel:87.0% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              639.00 - 17.2% : check_poison_obj
              372.00 - 10.0% : hpet_next_event
              277.00 -  7.5% : schedule
              247.00 -  6.6% : delay_tsc
              208.00 -  5.6% : system_call
              166.00 -  4.5% : kunmap_atomic
              103.00 -  2.8% : kmap_atomic_prot
               84.00 -  2.3% : __switch_to
               80.00 -  2.2% : __copy_to_user_ll
               68.00 -  1.8% : fget_light
               68.00 -  1.8% : perf_poll
               61.00 -  1.6% : _spin_lock_irqsave
               60.00 -  1.6% : fput
               60.00 -  1.6% : _spin_unlock_irqrestore
               58.00 -  1.6% : poison_obj

------------------------------------------------------------------------------
   PerfTop:      73 irqs/sec  kernel:87.7% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              563.00 - 17.1% : check_poison_obj
              338.00 - 10.3% : hpet_next_event
              257.00 -  7.8% : delay_tsc
              247.00 -  7.5% : schedule
              185.00 -  5.6% : system_call
              145.00 -  4.4% : kunmap_atomic
               90.00 -  2.7% : kmap_atomic_prot
               74.00 -  2.2% : __switch_to
               71.00 -  2.2% : __copy_to_user_ll
               59.00 -  1.8% : fget_light
               59.00 -  1.8% : perf_poll
               54.00 -  1.6% : _spin_lock_irqsave
               52.00 -  1.6% : fput
               52.00 -  1.6% : _spin_unlock_irqrestore
               52.00 -  1.6% : find_busiest_group

------------------------------------------------------------------------------
   PerfTop:     133 irqs/sec  kernel:85.7% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              494.00 - 16.4% : check_poison_obj
              306.00 - 10.2% : hpet_next_event
              265.00 -  8.8% : delay_tsc
              222.00 -  7.4% : schedule
              163.00 -  5.4% : system_call
              131.00 -  4.3% : kunmap_atomic
               83.00 -  2.8% : sha_transform
               81.00 -  2.7% : kmap_atomic_prot
               66.00 -  2.2% : __copy_to_user_ll
               65.00 -  2.2% : __switch_to
               51.00 -  1.7% : fget_light
               51.00 -  1.7% : perf_poll
               48.00 -  1.6% : _spin_lock_irqsave
               46.00 -  1.5% : _spin_unlock_irqrestore
               46.00 -  1.5% : find_busiest_group

------------------------------------------------------------------------------
   PerfTop:      61 irqs/sec  kernel:86.9% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              433.00 - 16.4% : check_poison_obj
              277.00 - 10.5% : hpet_next_event
              274.00 - 10.3% : delay_tsc
              195.00 -  7.4% : schedule
              144.00 -  5.4% : system_call
              114.00 -  4.3% : kunmap_atomic
               72.00 -  2.7% : sha_transform
               70.00 -  2.6% : kmap_atomic_prot
               57.00 -  2.2% : __copy_to_user_ll
               57.00 -  2.2% : __switch_to
               45.00 -  1.7% : _spin_lock_irqsave
               44.00 -  1.7% : fget_light
               44.00 -  1.7% : perf_poll
               43.00 -  1.6% : find_busiest_group
               40.00 -  1.5% : fput

------------------------------------------------------------------------------
   PerfTop:      69 irqs/sec  kernel:87.0% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              379.00 - 16.0% : check_poison_obj
              279.00 - 11.8% : delay_tsc
              252.00 - 10.7% : hpet_next_event
              176.00 -  7.4% : schedule
              127.00 -  5.4% : system_call
               99.00 -  4.2% : kunmap_atomic
               63.00 -  2.7% : sha_transform
               61.00 -  2.6% : kmap_atomic_prot
               51.00 -  2.2% : __copy_to_user_ll
               51.00 -  2.2% : __switch_to
               42.00 -  1.8% : _spin_lock_irqsave
               39.00 -  1.6% : find_busiest_group
               38.00 -  1.6% : fget_light
               38.00 -  1.6% : perf_poll
               36.00 -  1.5% : _spin_unlock_irqrestore

------------------------------------------------------------------------------
   PerfTop:      67 irqs/sec  kernel:86.6% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              332.00 - 15.7% : check_poison_obj
              285.00 - 13.5% : delay_tsc
              237.00 - 11.2% : hpet_next_event
              156.00 -  7.4% : schedule
              113.00 -  5.3% : system_call
               86.00 -  4.1% : kunmap_atomic
               55.00 -  2.6% : sha_transform
               53.00 -  2.5% : kmap_atomic_prot
               45.00 -  2.1% : __copy_to_user_ll
               45.00 -  2.1% : __switch_to
               36.00 -  1.7% : _spin_lock_irqsave
               36.00 -  1.7% : find_busiest_group
               33.00 -  1.6% : fget_light
               33.00 -  1.6% : perf_poll
               31.00 -  1.5% : _spin_unlock_irqrestore


And here from the last Kernel without high irq load 2.6.32.33-grsec:
Code: Select all
------------------------------------------------------------------------------
   PerfTop:     592 irqs/sec  kernel:61.8% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              314.00 - 38.3% : check_poison_obj
              110.00 - 13.4% : delay_tsc
               37.00 -  4.5% : vsnprintf
               28.00 -  3.4% : poison_obj
               26.00 -  3.2% : number
               16.00 -  2.0% : hpet_next_event
               13.00 -  1.6% : __d_lookup
               12.00 -  1.5% : kunmap_atomic
                9.00 -  1.1% : seq_printf
                9.00 -  1.1% : render_sigset_t
                8.00 -  1.0% : kmem_cache_alloc
                8.00 -  1.0% : __link_path_walk
                7.00 -  0.9% : page_fault
                6.00 -  0.7% : put_dec_trunc
                6.00 -  0.7% : get_page_from_freelist

------------------------------------------------------------------------------
   PerfTop:      49 irqs/sec  kernel:81.6% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              274.00 - 40.6% : check_poison_obj
              138.00 - 20.4% : delay_tsc
               32.00 -  4.7% : vsnprintf
               24.00 -  3.6% : poison_obj
               22.00 -  3.3% : number
               19.00 -  2.8% : hpet_next_event
               11.00 -  1.6% : __d_lookup
               10.00 -  1.5% : kunmap_atomic
                7.00 -  1.0% : seq_printf
                7.00 -  1.0% : render_sigset_t
                7.00 -  1.0% : kmem_cache_alloc
                7.00 -  1.0% : __link_path_walk
                6.00 -  0.9% : page_fault
                6.00 -  0.9% : schedule
                5.00 -  0.7% : put_dec_trunc

------------------------------------------------------------------------------
   PerfTop:      79 irqs/sec  kernel:86.1% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              244.00 - 36.5% : check_poison_obj
              162.00 - 24.3% : delay_tsc
               28.00 -  4.2% : vsnprintf
               28.00 -  4.2% : hpet_next_event
               21.00 -  3.1% : poison_obj
               19.00 -  2.8% : number
               10.00 -  1.5% : __d_lookup
               10.00 -  1.5% : kunmap_atomic
                9.00 -  1.3% : sha_transform
                8.00 -  1.2% : find_busiest_group
                7.00 -  1.0% : page_fault
                7.00 -  1.0% : schedule
                6.00 -  0.9% : do_wp_page
                6.00 -  0.9% : seq_printf
                6.00 -  0.9% : render_sigset_t

------------------------------------------------------------------------------
   PerfTop:      53 irqs/sec  kernel:86.8% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              215.00 - 34.6% : check_poison_obj
              183.00 - 29.4% : delay_tsc
               33.00 -  5.3% : hpet_next_event
               24.00 -  3.9% : vsnprintf
               18.00 -  2.9% : poison_obj
               16.00 -  2.6% : number
                8.00 -  1.3% : __d_lookup
                8.00 -  1.3% : kunmap_atomic
                7.00 -  1.1% : sha_transform
                7.00 -  1.1% : find_busiest_group
                6.00 -  1.0% : page_fault
                6.00 -  1.0% : schedule
                5.00 -  0.8% : do_wp_page
                5.00 -  0.8% : seq_printf
                5.00 -  0.8% : render_sigset_t

------------------------------------------------------------------------------
   PerfTop:      54 irqs/sec  kernel:87.0% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              203.00 - 34.2% : delay_tsc
              192.00 - 32.3% : check_poison_obj
               40.00 -  6.7% : hpet_next_event
               21.00 -  3.5% : vsnprintf
               15.00 -  2.5% : poison_obj
               14.00 -  2.4% : number
                8.00 -  1.3% : find_busiest_group
                7.00 -  1.2% : __d_lookup
                7.00 -  1.2% : kunmap_atomic
                6.00 -  1.0% : sha_transform
                6.00 -  1.0% : schedule
                5.00 -  0.8% : page_fault

------------------------------------------------------------------------------
   PerfTop:      47 irqs/sec  kernel:85.1% [100000 cycles],  (all, 4 CPUs)
------------------------------------------------------------------------------

             samples    pcnt   kernel function
             _______   _____   _______________

              217.00 - 38.5% : delay_tsc
              170.00 - 30.2% : check_poison_obj
               41.00 -  7.3% : hpet_next_event
               18.00 -  3.2% : vsnprintf
               13.00 -  2.3% : poison_obj
               12.00 -  2.1% : number
                8.00 -  1.4% : find_busiest_group
                7.00 -  1.2% : schedule
                6.00 -  1.1% : __d_lookup
                6.00 -  1.1% : kunmap_atomic
                5.00 -  0.9% : sha_transform


I hope this helps you.
If you need more or other information, please feel free to ask for it.
Btw. the problem is reproducable on more than 20 servers.

Greetings,
Daniel


would you like to tell me where can I download the perftop ? or would you like to tell me the full name of perftop ?
Thank you !

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Mon Jun 20, 2011 8:55 pm
by dabetz
perlish wrote:would you like to tell me where can I download the perftop ? or would you like to tell me the full name of perftop ?
Thank you !


Hi perlish,

perf ist part of the kernel source and can be found in the linux-xxxx/tools folder.

Greetings,
Daniel

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Mon Jun 27, 2011 6:39 am
by yiannis.k
anyone managed finding a workaround ?

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Wed Jun 29, 2011 11:08 pm
by spender
I believe the PaX Team has identified the issue (it was only an accounting reporting issue, not real load) and may have something to report soon.

-Brad

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Wed Jul 06, 2011 1:40 pm
by PaX Team
the latest patches should fix the issue.

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Thu Jul 07, 2011 2:40 am
by dabetz
Hello,

PaX Team wrote:the latest patches should fix the issue.


Do you mean grsecurity-2.2.2-2.6.32.42-201107011911.patch ( 07/01/11 19:31 ) ?
The problem still exists with this patch.

Greetings

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Thu Jul 07, 2011 2:51 am
by PaX Team
dabetz wrote:Do you mean grsecurity-2.2.2-2.6.32.42-201107011911.patch ( 07/01/11 19:31 ) ?
no, i always mean my patches :), but spender has also updated his since so try them please.

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Thu Jul 07, 2011 3:24 am
by dabetz
PaX Team wrote:no, i always mean my patches :), but spender has also updated his since so try them please.


Your patches ? :D Then do you mean pax-linux-2.6.32.41-test100.patch ?
The problem still exists there :(

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Thu Jul 07, 2011 5:19 am
by PaX Team
dabetz wrote:Then do you mean pax-linux-2.6.32.41-test100.patch ?
nope,that's old, look into our home directories directly, test.php isn't updated real-time ;).

Re: High Load with 2.6.32.41-grsec and grsecurity-2.2.2-2.6.

PostPosted: Thu Jul 07, 2011 7:52 am
by dabetz
aaaaahhh ok :D
Now i got it from spenders home, but test.php is update now too.

The problem is now solved with this new patch.

Great !!

Many thx,
Daniel