Re: possible deadlock in kmem

To:	Nathan Scott <nathans@xxxxxxx>
Subject:	Re: possible deadlock in kmem_alloc (mode:0x50)
From:	Chris Evert <chris@xxxxxxxxxx>
Date:	Mon, 11 Oct 2004 11:16:01 -0500
Cc:	linux-xfs@xxxxxxxxxxx
In-reply-to:	<20040929111143.G4413387@wobbly.melbourne.sgi.com>
References:	<4159FFCC.9000708@geodev.com> <20040929111143.G4413387@wobbly.melbourne.sgi.com>
Sender:	linux-xfs-bounce@xxxxxxxxxxx
User-agent:	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.3) Gecko/20040922

Nathan Scott wrote:

On Tue, Sep 28, 2004 at 07:20:28PM -0500, Chris Evert wrote:

Hello,

I'm getting a bunch of these messages:

Sep 28 19:04:48 hod kernel: possible deadlock in kmem_alloc (mode:0x50)
Sep 28 19:05:18 hod last message repeated 349087 times
Sep 28 19:06:20 hod last message repeated 688880 times
Sep 28 19:07:21 hod last message repeated 681742 times
Sep 28 19:08:22 hod last message repeated 686647 times
Sep 28 19:09:23 hod last message repeated 679838 times

I'm using kernel 2.6.8-1.521 (Fedora Core 2) and sharing the file system via NFS. I'm getting no oopses, just slow to no response to NFS requests.

Any clues?

/proc/slabinfo will hold some clues, send it over this way.
Also, try bumping up the value of /proc/sys/vm/vfs_cache_pressure.

cheers.


Thanks.

I bumped /proc/sys/vm/vfs_cache_pressure to 150 and that seemed to work til this weekend.

This time, the messages were being repeated merely 3000 times a second, but the log seems to be writing over itself:

Oct 10 23:31:00 hod kernel: possible deadlock in kmem_alloc (mo deadlock in kmem_alloc (mode:0x50) Oct 10 23:31:00 hod kernel: possible deadlock in kmem_alloc (mode:0x50) Oct 10 23:31:00 hod last message repeated 85 times Oct 10 23:31:00 hod kernel: possible deadl deadlock in kmem_alloc (mode:0x50) Oct 10 23:31:00 hod kernel: poss deadlock in kmem_alloc (mode:0x50) Oct 10 23:31:00 hod kernel: possible deadlock in kmem_alloc (mode:0x50) Oct 10 23:31:00 hod last message repeated 84 times


A snapshot of /proc/slabinfo during this time:

slabinfo - version: 2.0 # name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail> nfs_write_data 36 42 512 7 1 : tunables 54 27 8 : slabdata 6 6 0 nfs_read_data 32 35 512 7 1 : tunables 54 27 8 : slabdata 5 5 0 nfs_inode_cache 19 30 640 6 1 : tunables 54 27 8 : slabdata 5 5 0 nfs_page 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 xfrm6_tunnel_spi 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0 fib6_nodes 5 119 32 119 1 : tunables 120 60 8 : slabdata 1 1 0 ip6_dst_cache 11 30 256 15 1 : tunables 120 60 8 : slabdata 2 2 0 ndisc_cache 1 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0 raw6_sock 0 0 768 5 1 : tunables 54 27 8 : slabdata 0 0 0 udp6_sock 0 0 768 5 1 : tunables 54 27 8 : slabdata 0 0 0 tcp6_sock 11 12 1280 3 1 : tunables 24 12 8 : slabdata 4 4 0 bt_sock 3 14 512 7 1 : tunables 54 27 8 : slabdata 2 2 0 rpc_buffers 8 8 2048 2 1 : tunables 24 12 8 : slabdata 4 4 0 rpc_tasks 8 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0 rpc_inode_cache 8 14 512 7 1 : tunables 54 27 8 : slabdata 2 2 0 ip_fib_hash 25 226 16 226 1 : tunables 120 60 8 : slabdata 1 1 0 xfs_acl 0 0 304 13 1 : tunables 54 27 8 : slabdata 0 0 0 xfs_chashlist 17 185 20 185 1 : tunables 120 60 8 : slabdata 1 1 0 xfs_ili 133 196 140 28 1 : tunables 120 60 8 : slabdata 7 7 0 xfs_ifork 0 0 56 70 1 : tunables 120 60 8 : slabdata 0 0 0 xfs_efi_item 0 0 260 15 1 : tunables 54 27 8 : slabdata 0 0 0 xfs_efd_item 0 0 260 15 1 : tunables 54 27 8 : slabdata 0 0 0 xfs_buf_item 0 0 148 27 1 : tunables 120 60 8 : slabdata 0 0 0 xfs_dabuf 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 xfs_da_state 0 0 336 12 1 : tunables 54 27 8 : slabdata 0 0 0 xfs_trans 0 0 600 6 1 : tunables 54 27 8 : slabdata 0 0 0 xfs_inode 212 240 384 10 1 : tunables 54 27 8 : slabdata 24 24 0 xfs_btree_cur 0 0 140 28 1 : tunables 120 60 8 : slabdata 0 0 0 xfs_bmap_free_item 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 xfs_buf_t 20 120 256 15 1 : tunables 120 60 8 : slabdata 8 8 0 linvfs_icache 212 240 384 10 1 : tunables 54 27 8 : slabdata 24 24 0 dm_tio 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 dm_io 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 uhci_urb_priv 0 0 44 88 1 : tunables 120 60 8 : slabdata 0 0 0 ext3_inode_cache 6898 17840 512 8 1 : tunables 54 27 8 : slabdata 2230 2230 0 ext3_xattr 0 0 48 81 1 : tunables 120 60 8 : slabdata 0 0 0 journal_handle 34 135 28 135 1 : tunables 120 60 8 : slabdata 1 1 0 journal_head 138 243 48 81 1 : tunables 120 60 8 : slabdata 3 3 0 revoke_table 4 290 12 290 1 : tunables 120 60 8 : slabdata 1 1 0 revoke_record 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 scsi_cmd_cache 2 10 384 10 1 : tunables 54 27 8 : slabdata 1 1 0 qla2xxx_srbs 256 310 128 31 1 : tunables 120 60 8 : slabdata 10 10 0 sgpool-128 32 33 2560 3 2 : tunables 24 12 8 : slabdata 11 11 0 sgpool-64 32 33 1280 3 1 : tunables 24 12 8 : slabdata 11 11 0 sgpool-32 32 36 640 6 1 : tunables 54 27 8 : slabdata 6 6 0 sgpool-16 32 40 384 10 1 : tunables 54 27 8 : slabdata 4 4 0 sgpool-8 32 45 256 15 1 : tunables 120 60 8 : slabdata 3 3 0 unix_sock 24 63 512 7 1 : tunables 54 27 8 : slabdata 9 9 0 ip_mrt_cache 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 tcp_tw_bucket 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 tcp_bind_bucket 19 226 16 226 1 : tunables 120 60 8 : slabdata 1 1 0 tcp_open_request 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 inet_peer_cache 1 61 64 61 1 : tunables 120 60 8 : slabdata 1 1 0 secpath_cache 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 xfrm_dst_cache 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0 ip_dst_cache 44 105 256 15 1 : tunables 120 60 8 : slabdata 7 7 0 arp_cache 7 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0 raw4_sock 0 0 640 6 1 : tunables 54 27 8 : slabdata 0 0 0 udp_sock 10 24 640 6 1 : tunables 54 27 8 : slabdata 4 4 0 tcp_sock 46 70 1152 7 2 : tunables 24 12 8 : slabdata 10 10 0 flow_cache 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 mqueue_inode_cache 1 6 640 6 1 : tunables 54 27 8 : slabdata 1 1 0 isofs_inode_cache 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0 hugetlbfs_inode_cache 1 11 348 11 1 : tunables 54 27 8 : slabdata 1 1 0 ext2_inode_cache 0 0 512 7 1 : tunables 54 27 8 : slabdata 0 0 0 ext2_xattr 0 0 48 81 1 : tunables 120 60 8 : slabdata 0 0 0 dquot 0 0 144 27 1 : tunables 120 60 8 : slabdata 0 0 0 eventpoll_pwq 0 0 36 107 1 : tunables 120 60 8 : slabdata 0 0 0 eventpoll_epi 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 kioctx 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0 kiocb 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 dnotify_cache 2 185 20 185 1 : tunables 120 60 8 : slabdata 1 1 0 file_lock_cache 3 78 100 39 1 : tunables 120 60 8 : slabdata 2 2 0 fasync_cache 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 shmem_inode_cache 6 14 512 7 1 : tunables 54 27 8 : slabdata 2 2 0 posix_timers_cache 0 0 112 35 1 : tunables 120 60 8 : slabdata 0 0 0 uid_cache 12 61 64 61 1 : tunables 120 60 8 : slabdata 1 1 0 cfq_pool 101 119 32 119 1 : tunables 120 60 8 : slabdata 1 1 0 crq_pool 54 480 40 96 1 : tunables 120 60 8 : slabdata 5 5 0 deadline_drq 0 0 52 75 1 : tunables 120 60 8 : slabdata 0 0 0 as_arq 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0 blkdev_ioc 176 370 20 185 1 : tunables 120 60 8 : slabdata 2 2 0 blkdev_queue 22 24 480 8 1 : tunables 54 27 8 : slabdata 3 3 0 blkdev_requests 54 125 160 25 1 : tunables 120 60 8 : slabdata 5 5 0 biovec-(256) 256 256 3072 2 2 : tunables 24 12 8 : slabdata 128 128 0 biovec-128 256 260 1536 5 2 : tunables 24 12 8 : slabdata 52 52 0 biovec-64 256 260 768 5 1 : tunables 54 27 8 : slabdata 52 52 0 biovec-16 256 270 256 15 1 : tunables 120 60 8 : slabdata 18 18 0 biovec-4 256 305 64 61 1 : tunables 120 60 8 : slabdata 5 5 0 biovec-1 371 678 16 226 1 : tunables 120 60 8 : slabdata 3 3 0 bio 385 434 128 31 1 : tunables 120 60 8 : slabdata 14 14 0 sock_inode_cache 101 133 512 7 1 : tunables 54 27 8 : slabdata 19 19 0 skbuff_head_cache 949 1380 256 15 1 : tunables 120 60 8 : slabdata 92 92 60 sock 5 10 384 10 1 : tunables 54 27 8 : slabdata 1 1 0 proc_inode_cache 2690 2690 384 10 1 : tunables 54 27 8 : slabdata 269 269 0 sigqueue 6 27 148 27 1 : tunables 120 60 8 : slabdata 1 1 0 radix_tree_node 35085 46284 276 14 1 : tunables 54 27 8 : slabdata 3306 3306 0 bdev_cache 10 21 512 7 1 : tunables 54 27 8 : slabdata 3 3 0 mnt_cache 35 62 128 31 1 : tunables 120 60 8 : slabdata 2 2 0 inode_cache 2054 2080 384 10 1 : tunables 54 27 8 : slabdata 208 208 0 dentry_cache 10215 26468 152 26 1 : tunables 120 60 8 : slabdata 1018 1018 0 filp 703 885 256 15 1 : tunables 120 60 8 : slabdata 59 59 0 names_cache 5 5 4096 1 1 : tunables 24 12 8 : slabdata 5 5 0 idr_layer_cache 74 116 136 29 1 : tunables 120 60 8 : slabdata 4 4 0 buffer_head 486022 486525 52 75 1 : tunables 120 60 8 : slabdata 6487 6487 0 mm_struct 74 115 768 5 1 : tunables 54 27 8 : slabdata 23 23 0 vm_area_struct 1812 2565 88 45 1 : tunables 120 60 8 : slabdata 57 57 0 fs_cache 191 366 64 61 1 : tunables 120 60 8 : slabdata 6 6 0 files_cache 76 133 512 7 1 : tunables 54 27 8 : slabdata 19 19 0 signal_cache 239 372 128 31 1 : tunables 120 60 8 : slabdata 12 12 0 sighand_cache 244 255 1408 5 2 : tunables 24 12 8 : slabdata 51 51 0 task_struct 545 545 1472 5 2 : tunables 24 12 8 : slabdata 109 109 0 anon_vma 757 1808 16 226 1 : tunables 120 60 8 : slabdata 8 8 0 pgd 77 357 32 119 1 : tunables 120 60 8 : slabdata 3 3 0 kpmd 58 58 4096 1 1 : tunables 24 12 8 : slabdata 58 58 0 pmd 174 174 4096 1 1 : tunables 24 12 8 : slabdata 174 174 0 size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0 size-131072 1 1 131072 1 32 : tunables 8 4 0 : slabdata 1 1 0 size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0 size-65536 20 20 65536 1 16 : tunables 8 4 0 : slabdata 20 20 0 size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0 size-32768 26 26 32768 1 8 : tunables 8 4 0 : slabdata 26 26 0 size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0 size-16384 6 6 16384 1 4 : tunables 8 4 0 : slabdata 6 6 0 size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0 size-8192 16 16 8192 1 2 : tunables 8 4 0 : slabdata 16 16 0 size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8 : slabdata 0 0 0 size-4096 1318 1318 4096 1 1 : tunables 24 12 8 : slabdata 1318 1318 0 size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0 size-2048 368 384 2048 2 1 : tunables 24 12 8 : slabdata 192 192 0 size-1620(DMA) 0 0 1664 4 2 : tunables 24 12 8 : slabdata 0 0 0 size-1620 28 32 1664 4 2 : tunables 24 12 8 : slabdata 8 8 0 size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0 size-1024 256 256 1024 4 1 : tunables 54 27 8 : slabdata 64 64 0 size-512(DMA) 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0 size-512 718 2536 512 8 1 : tunables 54 27 8 : slabdata 317 317 27 size-256(DMA) 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0 size-256 769 2400 256 15 1 : tunables 120 60 8 : slabdata 160 160 0 size-128(DMA) 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 size-128 2465 4960 128 31 1 : tunables 120 60 8 : slabdata 160 160 0 size-64(DMA) 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0 size-64 5975 25498 64 61 1 : tunables 120 60 8 : slabdata 418 418 0 size-32(DMA) 0 0 32 119 1 : tunables 120 60 8 : slabdata 0 0 0 size-32 4052 5474 32 119 1 : tunables 120 60 8 : slabdata 46 46 0 kmem_cache 165 165 256 15 1 : tunables 120 60 8 : slabdata 11 11 0

Thanks for any insight.
Chris
--
Chris Evert
chris@xxxxxxxxxx
Geophysical Development Corporation
Houston, TX

<Prev in Thread]	Current Thread	[Next in Thread>
Re: possible deadlock in kmem_alloc (mode:0x50), Chris Evert <= Re: possible deadlock in kmem_alloc (mode:0x50), Nathan Scott Re: possible deadlock in kmem_alloc (mode:0x50), Chris Evert

Previous by Date:	Re: Unable to mount root when using 'quiet', Pierre Ossman
Next by Date:	xfs_repair failing, Joe Eiler
Previous by Thread:	(no subject), milos_p
Next by Thread:	Re: possible deadlock in kmem_alloc (mode:0x50), Nathan Scott
Indexes:	[Date] [Thread] [Top] [All Lists]

Re: possible deadlock in kmem_alloc (mode:0x50)