Nathan Scott wrote:
On Tue, Sep 28, 2004 at 07:20:28PM -0500, Chris Evert wrote:
Hello,
I'm getting a bunch of these messages:
Sep 28 19:04:48 hod kernel: possible deadlock in kmem_alloc (mode:0x50)
Sep 28 19:05:18 hod last message repeated 349087 times
Sep 28 19:06:20 hod last message repeated 688880 times
Sep 28 19:07:21 hod last message repeated 681742 times
Sep 28 19:08:22 hod last message repeated 686647 times
Sep 28 19:09:23 hod last message repeated 679838 times
I'm using kernel 2.6.8-1.521 (Fedora Core 2) and sharing the file system
via NFS. I'm getting no oopses, just slow to no response to NFS requests.
Any clues?
/proc/slabinfo will hold some clues, send it over this way.
Also, try bumping up the value of /proc/sys/vm/vfs_cache_pressure.
cheers.
Thanks.
I bumped /proc/sys/vm/vfs_cache_pressure to 150 and that seemed to work
til this weekend.
This time, the messages were being repeated merely 3000 times a second,
but the log seems to be writing over itself:
Oct 10 23:31:00 hod kernel: possible deadlock in kmem_alloc (mo deadlock
in kmem_alloc (mode:0x50)
Oct 10 23:31:00 hod kernel: possible deadlock in kmem_alloc (mode:0x50)
Oct 10 23:31:00 hod last message repeated 85 times
Oct 10 23:31:00 hod kernel: possible deadl deadlock in kmem_alloc
(mode:0x50)
Oct 10 23:31:00 hod kernel: poss deadlock in kmem_alloc (mode:0x50)
Oct 10 23:31:00 hod kernel: possible deadlock in kmem_alloc (mode:0x50)
Oct 10 23:31:00 hod last message repeated 84 times
A snapshot of /proc/slabinfo during this time:
slabinfo - version: 2.0
# name <active_objs> <num_objs> <objsize> <objperslab>
<pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : slabdata
<active_slabs> <num_slabs> <sharedavail>
nfs_write_data 36 42 512 7 1 : tunables 54 27
8 : slabdata 6 6 0
nfs_read_data 32 35 512 7 1 : tunables 54 27
8 : slabdata 5 5 0
nfs_inode_cache 19 30 640 6 1 : tunables 54 27
8 : slabdata 5 5 0
nfs_page 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
xfrm6_tunnel_spi 0 0 64 61 1 : tunables 120 60
8 : slabdata 0 0 0
fib6_nodes 5 119 32 119 1 : tunables 120 60
8 : slabdata 1 1 0
ip6_dst_cache 11 30 256 15 1 : tunables 120 60
8 : slabdata 2 2 0
ndisc_cache 1 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
raw6_sock 0 0 768 5 1 : tunables 54 27
8 : slabdata 0 0 0
udp6_sock 0 0 768 5 1 : tunables 54 27
8 : slabdata 0 0 0
tcp6_sock 11 12 1280 3 1 : tunables 24 12
8 : slabdata 4 4 0
bt_sock 3 14 512 7 1 : tunables 54 27
8 : slabdata 2 2 0
rpc_buffers 8 8 2048 2 1 : tunables 24 12
8 : slabdata 4 4 0
rpc_tasks 8 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
rpc_inode_cache 8 14 512 7 1 : tunables 54 27
8 : slabdata 2 2 0
ip_fib_hash 25 226 16 226 1 : tunables 120 60
8 : slabdata 1 1 0
xfs_acl 0 0 304 13 1 : tunables 54 27
8 : slabdata 0 0 0
xfs_chashlist 17 185 20 185 1 : tunables 120 60
8 : slabdata 1 1 0
xfs_ili 133 196 140 28 1 : tunables 120 60
8 : slabdata 7 7 0
xfs_ifork 0 0 56 70 1 : tunables 120 60
8 : slabdata 0 0 0
xfs_efi_item 0 0 260 15 1 : tunables 54 27
8 : slabdata 0 0 0
xfs_efd_item 0 0 260 15 1 : tunables 54 27
8 : slabdata 0 0 0
xfs_buf_item 0 0 148 27 1 : tunables 120 60
8 : slabdata 0 0 0
xfs_dabuf 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
xfs_da_state 0 0 336 12 1 : tunables 54 27
8 : slabdata 0 0 0
xfs_trans 0 0 600 6 1 : tunables 54 27
8 : slabdata 0 0 0
xfs_inode 212 240 384 10 1 : tunables 54 27
8 : slabdata 24 24 0
xfs_btree_cur 0 0 140 28 1 : tunables 120 60
8 : slabdata 0 0 0
xfs_bmap_free_item 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
xfs_buf_t 20 120 256 15 1 : tunables 120 60
8 : slabdata 8 8 0
linvfs_icache 212 240 384 10 1 : tunables 54 27
8 : slabdata 24 24 0
dm_tio 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
dm_io 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
uhci_urb_priv 0 0 44 88 1 : tunables 120 60
8 : slabdata 0 0 0
ext3_inode_cache 6898 17840 512 8 1 : tunables 54 27
8 : slabdata 2230 2230 0
ext3_xattr 0 0 48 81 1 : tunables 120 60
8 : slabdata 0 0 0
journal_handle 34 135 28 135 1 : tunables 120 60
8 : slabdata 1 1 0
journal_head 138 243 48 81 1 : tunables 120 60
8 : slabdata 3 3 0
revoke_table 4 290 12 290 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_record 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
scsi_cmd_cache 2 10 384 10 1 : tunables 54 27
8 : slabdata 1 1 0
qla2xxx_srbs 256 310 128 31 1 : tunables 120 60
8 : slabdata 10 10 0
sgpool-128 32 33 2560 3 2 : tunables 24 12
8 : slabdata 11 11 0
sgpool-64 32 33 1280 3 1 : tunables 24 12
8 : slabdata 11 11 0
sgpool-32 32 36 640 6 1 : tunables 54 27
8 : slabdata 6 6 0
sgpool-16 32 40 384 10 1 : tunables 54 27
8 : slabdata 4 4 0
sgpool-8 32 45 256 15 1 : tunables 120 60
8 : slabdata 3 3 0
unix_sock 24 63 512 7 1 : tunables 54 27
8 : slabdata 9 9 0
ip_mrt_cache 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
tcp_tw_bucket 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
tcp_bind_bucket 19 226 16 226 1 : tunables 120 60
8 : slabdata 1 1 0
tcp_open_request 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
inet_peer_cache 1 61 64 61 1 : tunables 120 60
8 : slabdata 1 1 0
secpath_cache 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
xfrm_dst_cache 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
ip_dst_cache 44 105 256 15 1 : tunables 120 60
8 : slabdata 7 7 0
arp_cache 7 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
raw4_sock 0 0 640 6 1 : tunables 54 27
8 : slabdata 0 0 0
udp_sock 10 24 640 6 1 : tunables 54 27
8 : slabdata 4 4 0
tcp_sock 46 70 1152 7 2 : tunables 24 12
8 : slabdata 10 10 0
flow_cache 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
mqueue_inode_cache 1 6 640 6 1 : tunables 54 27
8 : slabdata 1 1 0
isofs_inode_cache 0 0 384 10 1 : tunables 54 27
8 : slabdata 0 0 0
hugetlbfs_inode_cache 1 11 348 11 1 : tunables 54
27 8 : slabdata 1 1 0
ext2_inode_cache 0 0 512 7 1 : tunables 54 27
8 : slabdata 0 0 0
ext2_xattr 0 0 48 81 1 : tunables 120 60
8 : slabdata 0 0 0
dquot 0 0 144 27 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_pwq 0 0 36 107 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_epi 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
kioctx 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
kiocb 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
dnotify_cache 2 185 20 185 1 : tunables 120 60
8 : slabdata 1 1 0
file_lock_cache 3 78 100 39 1 : tunables 120 60
8 : slabdata 2 2 0
fasync_cache 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
shmem_inode_cache 6 14 512 7 1 : tunables 54 27
8 : slabdata 2 2 0
posix_timers_cache 0 0 112 35 1 : tunables 120 60
8 : slabdata 0 0 0
uid_cache 12 61 64 61 1 : tunables 120 60
8 : slabdata 1 1 0
cfq_pool 101 119 32 119 1 : tunables 120 60
8 : slabdata 1 1 0
crq_pool 54 480 40 96 1 : tunables 120 60
8 : slabdata 5 5 0
deadline_drq 0 0 52 75 1 : tunables 120 60
8 : slabdata 0 0 0
as_arq 0 0 64 61 1 : tunables 120 60
8 : slabdata 0 0 0
blkdev_ioc 176 370 20 185 1 : tunables 120 60
8 : slabdata 2 2 0
blkdev_queue 22 24 480 8 1 : tunables 54 27
8 : slabdata 3 3 0
blkdev_requests 54 125 160 25 1 : tunables 120 60
8 : slabdata 5 5 0
biovec-(256) 256 256 3072 2 2 : tunables 24 12
8 : slabdata 128 128 0
biovec-128 256 260 1536 5 2 : tunables 24 12
8 : slabdata 52 52 0
biovec-64 256 260 768 5 1 : tunables 54 27
8 : slabdata 52 52 0
biovec-16 256 270 256 15 1 : tunables 120 60
8 : slabdata 18 18 0
biovec-4 256 305 64 61 1 : tunables 120 60
8 : slabdata 5 5 0
biovec-1 371 678 16 226 1 : tunables 120 60
8 : slabdata 3 3 0
bio 385 434 128 31 1 : tunables 120 60
8 : slabdata 14 14 0
sock_inode_cache 101 133 512 7 1 : tunables 54 27
8 : slabdata 19 19 0
skbuff_head_cache 949 1380 256 15 1 : tunables 120 60
8 : slabdata 92 92 60
sock 5 10 384 10 1 : tunables 54 27
8 : slabdata 1 1 0
proc_inode_cache 2690 2690 384 10 1 : tunables 54 27
8 : slabdata 269 269 0
sigqueue 6 27 148 27 1 : tunables 120 60
8 : slabdata 1 1 0
radix_tree_node 35085 46284 276 14 1 : tunables 54 27
8 : slabdata 3306 3306 0
bdev_cache 10 21 512 7 1 : tunables 54 27
8 : slabdata 3 3 0
mnt_cache 35 62 128 31 1 : tunables 120 60
8 : slabdata 2 2 0
inode_cache 2054 2080 384 10 1 : tunables 54 27
8 : slabdata 208 208 0
dentry_cache 10215 26468 152 26 1 : tunables 120 60
8 : slabdata 1018 1018 0
filp 703 885 256 15 1 : tunables 120 60
8 : slabdata 59 59 0
names_cache 5 5 4096 1 1 : tunables 24 12
8 : slabdata 5 5 0
idr_layer_cache 74 116 136 29 1 : tunables 120 60
8 : slabdata 4 4 0
buffer_head 486022 486525 52 75 1 : tunables 120 60
8 : slabdata 6487 6487 0
mm_struct 74 115 768 5 1 : tunables 54 27
8 : slabdata 23 23 0
vm_area_struct 1812 2565 88 45 1 : tunables 120 60
8 : slabdata 57 57 0
fs_cache 191 366 64 61 1 : tunables 120 60
8 : slabdata 6 6 0
files_cache 76 133 512 7 1 : tunables 54 27
8 : slabdata 19 19 0
signal_cache 239 372 128 31 1 : tunables 120 60
8 : slabdata 12 12 0
sighand_cache 244 255 1408 5 2 : tunables 24 12
8 : slabdata 51 51 0
task_struct 545 545 1472 5 2 : tunables 24 12
8 : slabdata 109 109 0
anon_vma 757 1808 16 226 1 : tunables 120 60
8 : slabdata 8 8 0
pgd 77 357 32 119 1 : tunables 120 60
8 : slabdata 3 3 0
kpmd 58 58 4096 1 1 : tunables 24 12
8 : slabdata 58 58 0
pmd 174 174 4096 1 1 : tunables 24 12
8 : slabdata 174 174 0
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-131072 1 1 131072 1 32 : tunables 8 4
0 : slabdata 1 1 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
size-65536 20 20 65536 1 16 : tunables 8 4
0 : slabdata 20 20 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4
0 : slabdata 0 0 0
size-32768 26 26 32768 1 8 : tunables 8 4
0 : slabdata 26 26 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4
0 : slabdata 0 0 0
size-16384 6 6 16384 1 4 : tunables 8 4
0 : slabdata 6 6 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4
0 : slabdata 0 0 0
size-8192 16 16 8192 1 2 : tunables 8 4
0 : slabdata 16 16 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12
8 : slabdata 0 0 0
size-4096 1318 1318 4096 1 1 : tunables 24 12
8 : slabdata 1318 1318 0
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12
8 : slabdata 0 0 0
size-2048 368 384 2048 2 1 : tunables 24 12
8 : slabdata 192 192 0
size-1620(DMA) 0 0 1664 4 2 : tunables 24 12
8 : slabdata 0 0 0
size-1620 28 32 1664 4 2 : tunables 24 12
8 : slabdata 8 8 0
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27
8 : slabdata 0 0 0
size-1024 256 256 1024 4 1 : tunables 54 27
8 : slabdata 64 64 0
size-512(DMA) 0 0 512 8 1 : tunables 54 27
8 : slabdata 0 0 0
size-512 718 2536 512 8 1 : tunables 54 27
8 : slabdata 317 317 27
size-256(DMA) 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
size-256 769 2400 256 15 1 : tunables 120 60
8 : slabdata 160 160 0
size-128(DMA) 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
size-128 2465 4960 128 31 1 : tunables 120 60
8 : slabdata 160 160 0
size-64(DMA) 0 0 64 61 1 : tunables 120 60
8 : slabdata 0 0 0
size-64 5975 25498 64 61 1 : tunables 120 60
8 : slabdata 418 418 0
size-32(DMA) 0 0 32 119 1 : tunables 120 60
8 : slabdata 0 0 0
size-32 4052 5474 32 119 1 : tunables 120 60
8 : slabdata 46 46 0
kmem_cache 165 165 256 15 1 : tunables 120 60
8 : slabdata 11 11 0
Thanks for any insight.
Chris
--
Chris Evert
chris@xxxxxxxxxx
Geophysical Development Corporation
Houston, TX
|