ÿþR e d H a t E n t e r p r i s e L i n u x
K V M H y p e r v i s o r I / O
R e d H a t a n d I B M D e m o n s t r a t e T o p V i r t u a l i z a t i o n
P e r f o r m a n c e w i t h K V M o n I B M ' s x 3 8 5 0 X 5
K h o a H u y n h , P h . D . - L i n u x T e c h n o l o g y C e n t e r , I B M
A n d r e w T h e u r e r - L i n u x T e c h n o l o g y C e n t e r , I B M
D o r L a o r - S e n i o r E n g i n e e r i n g M a n a g e r , R e d H a t
V e r s i o n 1 . 0
A u g u s t 2 0 1 2
1 8 0 1 V a r s i t y D r i v e "!
R a l e i g h N C 2 7 6 0 6 - 2 0 7 2 U S A
P h o n e : + 1 9 1 9 7 5 4 3 7 0 0
P h o n e : 8 8 8 7 3 3 4 2 8 1
F a x : + 1 9 1 9 7 5 4 3 7 0 1
P O B o x 1 3 5 8 8
R e s e a r c h T r i a n g l e P a r k N C 2 7 7 0 9 U S A
L i n u x i s a r e g i s t e r e d t r a d e m a r k o f L i n u s T o r v a l d s .
R e d H a t , R e d H a t E n t e r p r i s e L i n u x a n d t h e R e d H a t " S h a d o w m a n " l o g o a r e r e g i s t e r e d t r a d e m a r k s o f
R e d H a t , I n c . i n t h e U n i t e d S t a t e s a n d o t h e r c o u n t r i e s .
I B M , t h e I B M l o g o , i b m . c o m , S e r v e R A I D , S y s t e m x , X - A r c h i t e c t u r e , a n d a l l o t h e r I B M p r o d u c t s a n d
s e r v i c e s m e n t i o n e d h e r e i n a r e t r a d e m a r k s o f I n t e r n a t i o n a l B u s i n e s s M a c h i n e s C o r p o r a t i o n i n t h e
U n i t e d S t a t e s a n d o t h e r c o u n t r i e s
U N I X i s a r e g i s t e r e d t r a d e m a r k o f T h e O p e n G r o u p .
I n t e l , t h e I n t e l l o g o a n d X e o n a r e r e g i s t e r e d t r a d e m a r k s o f I n t e l C o r p o r a t i o n o r i t s s u b s i d i a r i e s i n t h e
U n i t e d S t a t e s a n d o t h e r c o u n t r i e s .
A l l o t h e r t r a d e m a r k s r e f e r e n c e d h e r e i n a r e t h e p r o p e r t y o f t h e i r r e s p e c t i v e o w n e r s .
© 2 0 1 2 b y R e d H a t , I n c a n d I B M C o r p . T h i s m a t e r i a l m a y b e d i s t r i b u t e d o n l y s u b j e c t t o t h e t e r m s a n d
c o n d i t i o n s s e t f o r t h i n t h e O p e n P u b l i c a t i o n L i c e n s e , V 1 . 0 o r l a t e r ( t h e l a t e s t v e r s i o n i s p r e s e n t l y
a v a i l a b l e a t h t t p : / / w w w . o p e n c o n t e n t . o r g / o p e n p u b / ) .
T h e i n f o r m a t i o n c o n t a i n e d h e r e i n i s s u b j e c t t o c h a n g e w i t h o u t n o t i c e . R e d H a t , I n c . s h a l l n o t b e l i a b l e
f o r t e c h n i c a l o r e d i t o r i a l e r r o r s o r o m i s s i o n s c o n t a i n e d h e r e i n .
D i s t r i b u t i o n o f m o d i f i e d v e r s i o n s o f t h i s d o c u m e n t i s p r o h i b i t e d w i t h o u t t h e e x p l i c i t p e r m i s s i o n o f R e d
H a t I n c .
D i s t r i b u t i o n o f t h i s w o r k o r d e r i v a t i v e o f t h i s w o r k i n a n y s t a n d a r d ( p a p e r ) b o o k f o r m f o r c o m m e r c i a l
p u r p o s e s i s p r o h i b i t e d u n l e s s p r i o r p e r m i s s i o n i s o b t a i n e d f r o m R e d H a t I n c .
T h e G P G f i n g e r p r i n t o f t h e s e c u r i t y @ r e d h a t . c o m k e y i s :
C A 2 0 8 6 8 6 2 B D 6 9 D F C 6 5 F 6 E C C 4 2 1 9 1 8 0 C D D B 4 2 A 6 0 E
S e n d f e e d b a c k t o r e f a r c h - f e e d b a c k @ r e d h a t . c o m
w w w . r e d h a t . c o m i i r e f a r c h - f e e d b a c k @ r e d h a t . c o m
T a b l e o f C o n t e n t s
1 E x e c u t i v e S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 . 1 T h e K V M h y p e r v i s o r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 . 2 R e d H a t ® 6 V i r t u a l i z a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
E n t e r p r i s e L i n u x ®
2 . 3 I B M ® S e r v e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
S y s t e m x ®
2 . 4 M o t i v a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3 T e s t S e t u p . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3 . 1 T e s t H a r d w a r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3 . 2 W o r k l o a d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3 . 3 K V M C o n f i g u r a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
4 R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
4 . 1 S i n g l e V M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
4 . 2 M u l t i p l e V M s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1
5 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5
A p p e n d i x A : R e f e r e n c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6
r e f a r c h - f e e d b a c k @ r e d h a t . c o m i i i w w w . r e d h a t . c o m
1 E x e c u t i v e S u m m a r y
T h e K e r n e l - b a s e d V i r t u a l M a c h i n e ( K V M ) h y p e r v i s o r h a s e a r n e d a r e p u t a t i o n a s t h e h i g h e s t
p e r f o r m i n g h y p e r v i s o r i n v i r t u a l i z a t i o n b e n c h m a r k s , h o l d i n g t h e t o p s e v e n r e s u l t s i n
S P E C v i r t _ s c 2 0 1 0 [ 1 ] a n d r e c e n t l y a c h i e v i n g a l e a d e r s h i p s p o t a m o n g x 8 6 - v i r t u a l i z e d r e s u l t s
o n S A P ' s 2 - t i e r S D b e n c h m a r k [ 2 ] . O n e o f t h e k e y i n g r e d i e n t s t o t h i s s u c c e s s i s t h e K V M
h y p e r v i s o r ' s a b i l i t y t o h a n d l e t h e h i g h I / O r a t e s r e q u i r e d b y e n t e r p r i s e w o r k l o a d s , s u c h a s
d a t a b a s e s , E R P ( E n t e r p r i s e R e s o u r c e P l a n n i n g ) s y s t e m s , a n d l o w - l a t e n c y f i n a n c i a l t r a d i n g
a p p l i c a t i o n s , t h a t a r e r u n n i n g i n v i r t u a l m a c h i n e s .
T h i s p a p e r d e s c r i b e s t h e t e s t e n v i r o n m e n t w h i c h i s c o m p r i s e d o f a n I B M ® S y s t e m x 3 8 5 0 X 5
h o s t s e r v e r w i t h Q L o g i c ® Q L E 2 5 6 x H o s t B u s A d a p t e r s ( H B A s ) , R e d H a t ® E n t e r p r i s e L i n u x ®
6 . 3 h y p e r v i s o r , a n d R e d H a t E n t e r p r i s e L i n u x 6 . 3 g u e s t s . T h e t e s t r e s u l t s v a l i d a t e t h a t a
s i n g l e K V M g u e s t c a n h a n d l e m o r e t h a n 8 0 0 , 0 0 0 I / O s p e r s e c o n d ( I O P S ) a n d f o u r K V M
g u e s t s r u n n i n g o n t h e s a m e h o s t c a n s u p p o r t a n a g g r e g a t e I / O r a t e o f m o r e t h a n 1 . 4 m i l l i o n
I O P S h i t t i n g t h e b a r e - m e t a l l i m i t o f t h e t e s t s t o r a g e s e t u p . T h e s e r e s u l t s s h o w t h a t K V M
c a n a c h i e v e t h e h i g h e s t s t o r a g e I / O p e r f o r m a n c e i n a v i r t u a l i z e d e n v i r o n m e n t a n d i s r e a d y f o r
t h e m o s t d e m a n d i n g e n t e r p r i s e w o r k l o a d s .
r e f a r c h - f e e d b a c k @ r e d h a t . c o m 1 w w w . r e d h a t . c o m
4
2 I n t r o d u c t i o n
2 . 1 T h e K V M h y p e r v i s o r
A h y p e r v i s o r i s a s p e c i a l i z e d o p e r a t i n g s y s t e m t h a t r u n s v i r t u a l m a c h i n e s i n s t e a d o f p h y s i c a l
a p p l i c a t i o n s . T h e K e r n e l - b a s e d V i r t u a l M a c h i n e ( K V M ) p r o j e c t r e p r e s e n t s t h e n e x t g e n e r a t i o n
i n o p e n - s o u r c e v i r t u a l i z a t i o n . K V M i s f u l l y i n t e g r a t e d i n t o t h e L i n u x o p e r a t i n g s y s t e m b o t h a s
a h o s t a n d a g u e s t . U n l i k e o t h e r h y p e r v i s o r s , K V M d o e s n o t m a k e a n y d i s t i n c t i o n b e t w e e n
r u n n i n g i n e i t h e r h o s t o r h y p e r v i s o r m o d e . T h i s d u a l i t y i n d e s i g n h a s h e l p e d K V M t o r a p i d l y
m a t u r e i n t o a s t a b l e , h i g h - p e r f o r m i n g h y p e r v i s o r , p o s i t i o n e d t o o u t p e r f o r m a n y o t h e r
h y p e r v i s o r a v a i l a b l e o n t h e m a r k e t t o d a y .
T h e f i r s t d e s i g n p r i n c i p l e i n c l u d e s t h e f o l l o w i n g :
" L e v e r a g e a l l h a r d w a r e - a s s i s t e d v i r t u a l i z a t i o n c a p a b i l i t i e s p r o v i d e d b y I n t e l ®
V i r t u a l i z a t i o n T e c h n o l o g y ( V T ) a n d A M D ® S e c u r e V i r t u a l M a c h i n e ( S V M ) .
" F e a t u r e t h e l a t e s t h a r d w a r e v i r t u a l i z a t i o n e x t e n s i o n s , i n c l u d i n g :
" H a r d w a r e n e s t e d p a g i n g ( E P T / N P T )
" P a u s e l o o p f i l t e r i n g
" I / O o f f - l o a d f e a t u r e s , s u c h a s s e c u r e P C I p a s s - t h r o u g h u s i n g I n t e l V T - D o r A M D
I / O M e m o r y M a n a g e m e n t U n i t ( I O M M U )
" E x p l o i t h a r d w a r e c a p a b i l i t i e s w h i l e k e e p i n g t h e K V M v i r t u a l i z a t i o n o v e r h e a d t o t h e
a b s o l u t e m i n i m u m
T h e s e c o n d d e s i g n p r i n c i p l e i n c l u d e s t h e f o l l o w i n g :
" L e v e r a g e t h e L i n u x o p e r a t i n g s y s t e m
" F u l f i l l t h e m a n y c o m p o n e n t s r e q u i r e d b y a h y p e r v i s o r , s u c h a s m e m o r y m a n a g e m e n t ,
s c h e d u l e r , I / O s t a c k , a n d d e v i c e d r i v e r s b y r e u s i n g o p t i m i z e d , o f f - t h e - s h e l f L i n u x
i m p l e m e n t a t i o n s
T h e L i n u x k e r n e l , w i t h i t s 2 0 y e a r s o f d e v e l o p m e n t , i s t h e i n d u s t r y l e a d e r i n t e r m s o f
p e r f o r m a n c e a n d a v a i l a b i l i t y . T h e L i n u x p r o c e s s s c h e d u l e r , f o r e x a m p l e , p r o v i d e s c o m p l e t e l y
f a i r s c h e d u l i n g ( C F S ) t h a t i s o p t i m i z e d t o m a n a g e c o m p l e x w o r k l o a d s a n d N U M A s y s t e m s ,
w h i l e o f f e r i n g l o w l a t e n c y , h i g h p e r f o r m a n c e d e t e r m i n i s m , a n d f i n e - g r a i n e d S e r v i c e L e v e l
A g r e e m e n t ( S L A ) f o r a p p l i c a t i o n s . B y p l a c i n g t h e K V M h y p e r v i s o r d i r e c t l y i n t o t h e L i n u x
k e r n e l , a l l o f t h e s e s e r v i c e s a n d a d v a n t a g e s h a v e a d i r e c t i m p a c t o n t h e h y p e r v i s o r
p e r f o r m a n c e .
w w w . r e d h a t . c o m 2 r e f a r c h - f e e d b a c k @ r e d h a t . c o m
2 . 2 R e d H a t ® E n t e r p r i s e L i n u x ® 6 V i r t u a l i z a t i o n
R e d H a t s u n i q u e a p p r o a c h t o v i r t u a l i z a t i o n i s e a s y t o a d o p t a s i t i s d e l i v e r e d a s a n i n t e g r a l
p a r t o f t h e R e d H a t E n t e r p r i s e L i n u x p l a t f o r m . U s i n g K V M t e c h n o l o g y , R e d H a t s v i r t u a l i z a t i o n
c a p a b i l i t i e s a r e i n t e g r a t e d i n t o R e d H a t E n t e r p r i s e L i n u x a n d l e v e r a g e t h e l a t e s t i n h a r d w a r e
v i r t u a l i z a t i o n t h a t I n t e l a n d A M D p r o c e s s o r p l a t f o r m s c a n p r o v i d e . T h e m o d u l a r d e s i g n o f R e d
H a t E n t e r p r i s e L i n u x a l l o w s c u s t o m e r s t o c h o o s e w h e n a n d w h e r e t o u s e v i r t u a l i z a t i o n . F o r
a d d i t i o n a l f l e x i b i l i t y , c u s t o m e r s c a n d e p l o y b o t h R e d H a t E n t e r p r i s e L i n u x a n d M i c r o s o f t ®
W i n d o w s ® a s f u l l y s u p p o r t e d g u e s t s w i t h i n a R e d H a t E n t e r p r i s e L i n u x v i r t u a l i z e d
e n v i r o n m e n t . R e d H a t E n t e r p r i s e L i n u x a l s o s u p p o r t s m u l t i p l e v i r t u a l i z a t i o n u s e c a s e s , f r o m
h a r d w a r e a b s t r a c t i o n f o r e x i s t i n g s o f t w a r e s t a c k s a n d d a t a c e n t e r c o n s o l i d a t i o n t o v i r t u a l i z e d
c l u s t e r s a n d p r i v a t e c l o u d s .
B e y o n d c o r e v i r t u a l i z a t i o n , R e d H a t E n t e r p r i s e L i n u x o f f e r s l e a d i n g s u p p o r t f o r a d v a n c e d
v i r t u a l i z e d I / O c a p a b i l i t i e s t h r o u g h S i n g l e R o o t I / O V i r t u a l i z a t i o n ( S R - I O V ) a n d N - P o r t I D
V i r t u a l i z a t i o n ( N P I V ) s t a n d a r d s . T h e l i b v i r t t o o l k i t a s t a n d a r d v i r t u a l i z a t i o n m a n a g e m e n t
i n f r a s t r u c t u r e w a s d e v e l o p e d b y R e d H a t a n d a d o p t e d b y o t h e r o p e r a t i n g s y s t e m s . T h e
l i b v i r t t o o l k i t p r o v i d e s a f l e x i b l e i n t e r f a c e f o r d e f i n i n g , m a n a g i n g , a n d m o n i t o r i n g v i r t u a l
m a c h i n e s .
T h e R e d H a t E n t e r p r i s e L i n u x 6 . 3 r e l e a s e s u p p o r t s u p t o 1 6 0 v i r t u a l C P U s ( v C P U s ) p e r v i r t u a l
m a c h i n e , a l l o w i n g e v e n t h e l a r g e s t w o r k l o a d s t o b e v i r t u a l i z e d .
2 . 3 I B M ® S y s t e m x ® S e r v e r s
I B M S y s t e m x s e r v e r s s u p p o r t M i c r o s o f t W i n d o w s , L i n u x , a n d h y p e r v i s o r s . S y s t e m x s e r v e r s
a r e i n t e l l i g e n t s y s t e m s , d e s i g n e d t o r e d u c e c o s t s a n d c o m p l e x i t y f o r e n t e r p r i s e w o r k l o a d s .
W i t h t h e i n t r o d u c t i o n o f e X 5 I B M s 5 t h - g e n e r a t i o n i n d u s t r y - l e a d i n g e n t e r p r i s e X -
A r c h i t e c t u r e ® s e r v e r s I B M e n g i n e e r s h a v e r e d e f i n e d x 8 6 s e r v e r s b y e x p a n d i n g t h e i r
c a p a b i l i t i e s . A m e m b e r o f t h e e X 5 s e r v e r f a m i l y , t h e x 3 8 5 0 X 5 i s a s c a l a b l e , 4 - s o c k e t , 4 U ,
r a c k - o p t i m i z e d e n t e r p r i s e s e r v e r t h a t d e l i v e r s t h e f o l l o w i n g b e n e f i t s t o e n t e r p r i s e c u s t o m e r s :
" H i g h m e m o r y c a p a c i t y ( u p t o 3 T B , 3 t i m e s t h e m e m o r y c a p a c i t y o f o t h e r 4 - s o c k e t x 8 6
s e r v e r s , u s i n g t h e i n d u s t r y - u n i q u e I B M M A X 5 m e m o r y e x p a n s i o n u n i t )
" P r o c e s s o r s c a l a b i l i t y u p t o 8 s o c k e t s ( u p t o 8 0 p r o c e s s o r c o r e s ) b y c o n n e c t i n g t w o 4 -
s o c k e t x 3 8 5 0 X 5 s y s t e m s t o g e t h e r a n d d o u b l i n g a l l s y s t e m r e s o u r c e s ( i n c l u d i n g u p t o
6 T B o f m e m o r y , u s i n g t w o M A X 5 m e m o r y e x p a n s i o n u n i t s )
" T h e b r o a d e s t r a n g e o f n e t w o r k a n d s t o r a g e s u p p o r t i n t h e i n d u s t r y f o r u l t i m a t e f l e x i b i l i t y
a n d c h o i c e
" S u p p o r t f o r I B M e X F l a s h s o l i d - s t a t e s t o r a g e t e c h n o l o g y f o r e x t r e m e s t o r a g e I / O
p e r f o r m a n c e
" I n t e g r a t e d E m u l e x 1 0 - G b E V i r t u a l F a b r i c A d a p t e r w i t h c a p a b i l i t y f o r u p g r a d e s t o F i b e r
C h a n n e l o v e r E t h e r n e t ( F c o E )
r e f a r c h - f e e d b a c k @ r e d h a t . c o m 3 w w w . r e d h a t . c o m
4
" 5 c h i p s e t d e s i g n e n h a n c e m e n t s , b u i l t o n t h e l a t e s t X - A r c h i t e c t u r e b l u e p r i n t
" B a l a n c e d s y s t e m s f o r v i r t u a l i z a t i o n , d a t a b a s e , a n d e n t e r p r i s e w o r k l o a d s
" W o r k l o a d - o p t i m i z e d s y s t e m s w i t h c u s t o m i z a b l e c o n f i g u r a t i o n s f o r t a r g e t w o r k l o a d s
" G r e a t e r p e r f o r m a n c e a n d u t i l i z a t i o n a t a l o w e r t o t a l c o s t
" M a i n f r a m e - i n s p i r e d r e l i a b i l i t y
" S i m p l i f i e d p o w e r a n d s y s t e m s m a n a g e m e n t w i t h a n e n e r g y - s m a r t d e s i g n a n d r e m o t e
a c c e s s
F i g u r e 1 s h o w s t h e f r o n t e x t e r i o r o f t h e I B M S y s t e m x 3 8 5 0 X 5 s e r v e r .
F i g u r e 1 . I B M S y s t e m x 3 8 5 0 X 5 S e r v e r
2 . 4 M o t i v a t i o n
I B M a n d R e d H a t c u s t o m e r s d r i v e e n t e r p r i s e w o r k l o a d s , s u c h a s d a t a b a s e s , E R P s y s t e m s ,
a n d l o w - l a t e n c y f i n a n c i a l t r a d i n g a p p l i c a t i o n s . I n t h e p a s t , t h e s e w o r k l o a d s w e r e s e l d o m
v i r t u a l i z e d i n p r o d u c t i o n d u e t o s c a l i n g a n d t i m e - s e n s i t i v e b a r r i e r s , s o t h e y w e r e u n a b l e t o
e x p l o i t t h e m a n y b e n e f i t s o f v i r t u a l i z a t i o n , s u c h a s h a r d w a r e a b s t r a c t i o n , l i v e m i g r a t i o n ,
d y n a m i c r e s o u r c e a l l o c a t i o n , a n d m o r e . P r o v i n g t h a t K V M i s a b l e t o s u s t a i n h i g h I / O r a t e s i s
v e r y c r i t i c a l i n e n a b l i n g t h e m i g r a t i o n o f t h e s e w o r k l o a d s i n t o t h e v i r t u a l i z e d e n v i r o n m e n t .
w w w . r e d h a t . c o m 4 r e f a r c h - f e e d b a c k @ r e d h a t . c o m
3 T e s t S e t u p
3 . 1 T e s t H a r d w a r e
T o d e m o n s t r a t e h o w K V M c a n h a n d l e e x t r e m e l y h i g h I / O r a t e s , i t w a s n e c e s s a r y t o s e t u p a
s t o r a g e b a c k - e n d t h a t w a s c a p a b l e o f d e l i v e r i n g a t l e a s t o n e m i l l i o n I / O s p e r s e c o n d ( I O P S ) .
F o r a d i a g r a m o f t h e t e s t e n v i r o n m e n t , r e f e r t o F i g u r e 2 .
T h e K V M h o s t s e r v e r w a s a n I B M S y s t e m x 3 8 5 0 X 5 w i t h f o u r I n t e l X e o n ® E 7 - 4 8 7 0
p r o c e s s o r s ( s o c k e t s ) a n d 2 5 6 G B o f m e m o r y . E a c h E 7 - 4 8 7 0 p r o c e s s o r h a d 1 0 c o r e s r u n n i n g
a t 2 . 4 0 G H z . T h e x 3 8 5 0 X 5 s e r v e r h a d s e v e n a v a i l a b l e P C I s l o t s , e a c h o f w h i c h w a s f i t t e d
w i t h Q L o g i c ® Q L E 2 5 6 x H o s t B u s A d a p t e r s ( H B A s ) . E a c h o f t h e s e a d a p t e r s h a d t w o p o r t s ,
e a c h s u p p o r t i n g f u l l - d u p l e x , 8 - G i g a b i t - p e r - s e c o n d d a t a l i n k s .
E a c h Q L o g i c H B A i n t h e K V M h o s t w a s d i r e c t l y c o n n e c t e d t o a u n i q u e f i b e r - c h a n n e l S C S I
t a r g e t s e r v e r . F o r m o r e i n f o r m a t i o n a b o u t t h e f i b e r - c h a n n e l S C S I t a r g e t s e r v e r , p l e a s e s e e
h t t p : / / l i n u x - i s c s i . o r g . F o u r 1 5 - G B R A M d i s k s w e r e c o n f i g u r e d i n e v e r y S C S I t a r g e t s e r v e r , s o
t h a t t h e s e R A M d i s k s w o u l d a p p e a r a s L o g i c a l U n i t N u m b e r s ( L U N s ) a t t h e S C S I h o s t ( K V M
h o s t s e r v e r ) . A s a r e s u l t , f r o m t h e K V M h o s t s p e r s p e c t i v e , t h e s t o r a g e b a c k - e n d h a d a t o t a l o f
1 4 ( 7 P C I s l o t s x 2 p o r t s ) P C I d e v i c e s a n d 5 6 ( 1 4 P C I d e v i c e s x 4 R A M d i s k s ) s t o r a g e L U N s .
3 . 2 W o r k l o a d
T h e F l e x i b l e I / O ( F I O ) b e n c h m a r k ( h t t p : / / l i n u x . d i e . n e t / m a n / 1 / f i o ) i s u s e d t o g e n e r a t e d i s k I / O
w o r k l o a d s a n d m e a s u r e t h e r e s u l t i n g I / O r a t e s , t h r o u g h p u t , a n d l a t e n c y d a t a . T h i s w o r k l o a d
h a s t h e f o l l o w i n g F I O p a r a m e t e r s e t t i n g s :
" D i r e c t I / O s
" A s y n c h r o n o u s I / O s ( e n g i n e = l i b a i o )
" R a n d o m r e a d s a n d w r i t e s ( 5 0 % r e a d s , 5 0 % w r i t e s )
" I / O r e q u e s t s i z e s = 5 1 2 b y t e s , 1 K B , 2 K B , 4 K B , 8 K B
" O n e j o b p e r s t o r a g e L U N
" Q u e u e d e p t h = 3 2
B o t h r a n d o m r e a d s a n d w r i t e s w e r e i n c l u d e d i n t h e w o r k l o a d f o r t w o r e a s o n s . F i r s t , a
w o r k l o a d w i t h b o t h r a n d o m r e a d s a n d w r i t e s w o u l d b e m o r e r e a l i s t i c a n d s i m i l a r t o a c t u a l
e n t e r p r i s e w o r k l o a d s , s u c h a s d a t a b a s e a p p l i c a t i o n s . S e c o n d l y , h a v i n g b o t h r e a d s a n d w r i t e s
i n t h e w o r k l o a d a l l o w e d t h e a b i l i t y t o f u l l y e x p l o i t t h e f u l l - d u p l e x d a t a l i n k s s u p p o r t e d b y t h e
Q L o g i c H B A s . A r a n g e o f I / O r e q u e s t s i z e s , f r o m 5 1 2 b y t e s t o 8 K B , w a s a l s o c o n s i d e r e d a s
t h e s e a r e t h e t y p i c a l I / O s i z e s u s e d i n m a n y r e a l - w o r l d a p p l i c a t i o n s .
r e f a r c h - f e e d b a c k @ r e d h a t . c o m 5 w w w . r e d h a t . c o m
4
T h e F I O w o r k l o a d w a s f i r s t r u n d i r e c t l y o n t h e K V M h o s t s e r v e r t o d e t e r m i n e t h e m a x i m u m I / O
r a t e s t h a t t h i s t e s t s e t u p c o u l d s u p p o r t . T h e s e b a r e - m e t a l r e s u l t s i n d i c a t e d t h a t o u r s t o r a g e
s e t u p c o u l d d e l i v e r u p t o 2 0 0 , 0 0 0 I O P S p e r S C S I t a r g e t s e r v e r , o r a t o t a l o f 1 . 4 m i l l i o n I O P S
w i t h a l l 7 S C S I t a r g e t s e r v e r s , u s i n g 8 K B r e q u e s t s . T h i s w a s d e t e r m i n e d t o b e s u f f i c i e n t f o r
t h e K V M s t o r a g e p e r f o r m a n c e t e s t i n g .
K V M C o n f i g u r a t i o n
K V M C o n f i g u r a t i o n
H o s t S e r v e r
H o s t S e r v e r
( I B M x 3 8 5 0 X 5 )
( I B M x 3 8 5 0 X 5 )
K V M
K V M
F I O
F I O
G u e s t
G u e s t
8 K B R a n d o m
8 K B R a n d o m
B e n c h m a r k
B e n c h m a r k
R e a d s +
R e a d s +
( c a c h e = n o n e )
( c a c h e = n o n e )
W r i t e s ( 5 0 %
W r i t e s ( 5 0 %
S p l i t )
S p l i t )
8 - G b p s Q l o g i c A d a p t e r s ( D u a l - P o r t e d )
8 - G b p s Q l o g i c A d a p t e r s ( D u a l - P o r t e d )
S C S I
S C S I
T a r g e t
T a r g e t
S e r v e r s
S e r v e r s
( 7 )
( 7 )
F i g u r e 2 . T h e t e s t s e t u p
w w w . r e d h a t . c o m 6 r e f a r c h - f e e d b a c k @ r e d h a t . c o m
3 . 3 K V M C o n f i g u r a t i o n
I n o r d e r t o a c h i e v e t h e b e s t p o s s i b l e I / O r a t e s , t h e Q L o g i c P C I p h y s i c a l f u n c t i o n s w e r e
p a s s e d d i r e c t l y f r o m t h e h o s t t o t h e K V M g u e s t ( s ) u s i n g K V M ' s P C I p a s s - t h r o u g h c a p a b i l i t y .
M o r e s p e c i f i c a l l y , t h e f o l l o w i n g c o n f i g u r a t i o n c h a n g e s w e r e m a d e t o t h e K V M h o s t s e r v e r :
1 . A d d e d i n t e l _ i o m m u = o n i o m m u = p t t o t h e k e r n e l b o o t c o m m a n d l i n e i n
/ b o o t / g r u b / g r u b . c o n f
2 . R e b o o t e d h o s t s e r v e r
3 . F o r e a c h P C I d e v i c e ( p o r t ) t h a t w a s n e e d e d t o b e p a s s e d d i r e c t l y t o t h e K V M g u e s t ,
t h e f o l l o w i n g w a s s p e c i f i e d i n t h e X M L d e f i n i t i o n f i l e f o r t h a t g u e s t :
< h o s t d e v m o d e = ' s u b s y s t e m ' t y p e = ' p c i ' m a n a g e d = ' y e s ' >
< s o u r c e >
< a d d r e s s d o m a i n = ' 0 x 0 0 0 0 ' b u s = ' 0 x 8 6 ' s l o t = ' 0 x 0 0 ' f u n c t i o n = ' 0 x 0 ' / >
< / s o u r c e >
< a l i a s n a m e = ' h o s t d e v 0 ' / >
< / h o s t d e v >
I n t h i s e x a m p l e , b u s r e p r e s e n t s t h e P C I b u s a d d r e s s o f t h e Q L o g i c H B A a n d f u n c t i o n
r e p r e s e n t s t h e p o r t o n t h a t H B A t h r o u g h w h i c h t h e s t o r a g e L U N s w e r e p a s s e d d i r e c t l y
t o t h e g u e s t .
A f t e r t h e g u e s t w a s d e f i n e d f r o m t h e X M L l i b v i r t f i l e a n d f i n i s h e d b o o t i n g u p , t h e g u e s t c o u l d
s e e a l l t h e s t o r a g e L U N s t h a t w e r e p a s s e d t o i t f r o m t h e h o s t .
R e d H a t E n t e r p r i s e L i n u x v e r s i o n 6 . 3 w a s u s e d o n a l l g u e s t s a n d o n t h e h o s t . B y r u n n i n g t h e
s a m e F I O w o r k l o a d o n t h e K V M h o s t ( b a r e m e t a l ) a n d g u e s t s , i t w o u l d b e a b l e t o
d e m o n s t r a t e h o w w e l l K V M c a n h a n d l e I / O s c o m p a r e d t o b a r e m e t a l , w h i c h r e p r e s e n t e d t h e
m a x i m u m p e r f o r m a n c e t h a t o n e c o u l d g e t o u t o f t h e t e s t s e t u p a n d w a s t h e r e f o r e t h e c o n t r o l
f o r t h i s e x p e r i m e n t .
r e f a r c h - f e e d b a c k @ r e d h a t . c o m 7 w w w . r e d h a t . c o m
4
4 R e s u l t s
4 . 1 S i n g l e V M
I n t h e s i n g l e - g u e s t c o n f i g u r a t i o n , t h e g o a l w a s t o d e t e r m i n e t h e m a x i m u m I / O r a t e s t h a t c o u l d
b e a c h i e v e d w i t h a s i n g l e K V M g u e s t . A v e r y l a r g e g u e s t w a s c o n f i g u r e d w i t h 4 0 v i r t u a l C P U s
t o t e s t t h i s g o a l . B e c a u s e o u r F I O w o r k l o a d w a s n o t v e r y m e m o r y - i n t e n s i v e , 1 6 G B o f m e m o r y
w a s c o n f i g u r e d f o r t h e g u e s t .
T h e s i n g l e - g u e s t c o n f i g u r a t i o n d e t a i l s i n c l u d e d :
" H o s t S e r v e r : I B M S y s t e m x 3 8 5 0 X 5
æ% 4 I n t e l X e o n E 7 - 4 8 7 0 p r o c e s s o r s ( 4 0 c o r e s @ 2 . 4 0 G H z ) , 2 5 6 G B
m e m o r y ( t o t a l )
æ% R e d H a t E n t e r p r i s e L i n u x 6 . 3
" S t o r a g e :
æ% 4 Q L o g i c Q L E 2 5 6 x ( 8 G b p s , d u a l p o r t e d ) c o n n e c t e d t o 4 S C S I t a r g e t
s e r v e r s
æ% 8 P C I d e v i c e s a n d 3 2 L U N s ( e a c h S C S I t a r g e t s e r v e r w a s b a c k e d b y
R A M d i s k s a n d p r o v i d e d 2 P C I d e v i c e s a n d 8 L U N s )
" K V M G u e s t ( V i r t u a l M a c h i n e ) :
æ% 4 0 v C P U s , 1 6 G B m e m o r y
æ% 8 P C I d e v i c e s , 3 2 L U N s
æ% R e d H a t E n t e r p r i s e L i n u x 6 . 3
" F I O W o r k l o a d
æ% R a n d o m r e a d s a n d w r i t e s ( 5 0 % r e a d s , 5 0 % w r i t e s )
æ% 1 j o b p e r L U N
æ% D i r e c t I / O s
æ% E n g i n e = l i b a i o
æ% Q u e u e d e p t h = 3 2
A s i n g l e K V M g u e s t s u p p o r t s a m a x i m u m o f 8 P C I d e v i c e s , s o d u r i n g t h i s t e s t , f o u r Q L o g i c
H B A s w i t h 8 P C I d e v i c e s a n d 3 2 s t o r a g e L U N s w e r e p a s s e d t o t h e g u e s t . T h e g u e s t ' s l a r g e
f o o t p r i n t ( i t s v i r t u a l C P U s a n d m e m o r y ) a c t u a l l y s p a n n e d t w o o f t h e f o u r N U M A n o d e s o n t h e
h o s t s e r v e r , s o t h e g u e s t h a d i t s o w n N U M A c h a r a c t e r i s t i c s , w h i c h w e r e s p e c i f i e d i n i t s X M L
l i b v i r t d e f i n i t i o n f i l e .
I n a d d i t i o n , c a c h i n g e f f i c i e n c y w a s l e v e r a g e d i n t h e h o s t p r o c e s s o r s b y b i n d i n g F I O w o r k l o a d
j o b s t o s p e c i f i c v i r t u a l C P U s i n t h e g u e s t a n d t h e i n t e r r u p t - c o a l e s c i n g c a p a b i l i t y f o r t h e Q L o g i c
H B A s w a s u s e d f o r o p t i m a l p e r f o r m a n c e .
w w w . r e d h a t . c o m 8 r e f a r c h - f e e d b a c k @ r e d h a t . c o m
F i g u r e 3 s h o w s t h e n u m b e r o f I / O s p e r s e c o n d ( I O P S ) a n d t h e a v e r a g e l a t e n c i e s f o r r a n d o m
r e a d s a n d w r i t e s a c r o s s s e v e r a l I / O r e q u e s t s i z e s . U s i n g a s i n g l e g u e s t , K V M w a s a b l e t o
a c h i e v e a b o u t 8 0 0 , 0 0 0 I O P S f o r 8 K B r a n d o m I / O r e q u e s t s a n d m o r e t h a n 9 0 0 , 0 0 0 I O P S f o r
r a n d o m r e q u e s t s t h a t w e r e 4 K B o r l e s s . I t s h o u l d b e n o t e d t h a t V M w a r e ® r e c e n t l y i n d i c a t e d
t h a t i t c o u l d a c h i e v e 3 0 0 , 0 0 0 I O P S f o r a s i n g l e v i r t u a l m a c h i n e ( V M ) r u n n i n g o n a v S p h e r e T M
5 . 0 h o s t [ 3 ] , u s i n g a d i f f e r e n t o p e r a t i n g s y s t e m i n t h e V M a n d a d i f f e r e n t s t o r a g e b a c k e n d .
T h e K V M I / O r a t e s w e r e a c t u a l l y l i m i t e d b y t h e p h y s i c a l b a n d w i d t h o f t h e s t o r a g e s e t u p . T h e
a v e r a g e l a t e n c i e s f o r r a n d o m r e a d s a n d w r i t e s w e r e v e r y c o n s i s t e n t u p t o t h e 4 K B I / O s i z e
a t a b o u t 0 . 9 m i l l i s e c o n d s ( m s ) f o r r e a d s a n d 1 . 3 5 m s f o r w r i t e s . T h e a v e r a g e l a t e n c i e s f o r 8
K B r e q u e s t s w e r e a l i t t l e h i g h e r 1 . 1 m s f o r r e a d s a n d 1 . 5 m s f o r w r i t e s d u e t o l a r g e r d a t a
t r a n s f e r t i m e s . T h i s d a t a i n d i c a t e s t h a t K V M c a n p r o v i d e v e r y d e t e r m i n i s t i c p e r f o r m a n c e f o r
b l o c k I / O .
S i n g l e K V M G u e s t
F I O B e n c h m a r k , D i r e c t I / O ' s , R a n d o m R e a d s + W r i t e s ( 5 0 % S p l i t )
K V M H o s t = I B M x 3 8 5 0 X 5 ( I n t e l E 7 - 8 8 7 0 @ 2 . 4 G H z , 4 0 C o r e s )
S t o r a g e = 4 S C S I T a r g e t S e r v e r s ( 8 P C I D e v i c e s , 3 2 L U N s ) < - > 8 - G b p s Q l o g i c H B A s < - > K V M H o s t
I O P S A v e r a g e R e a d L a t e n c y ( m s ) A v e r a g e W r i t e L a t e n c y ( m s )
1 0 0 0 0 0 0 . 0 1 . 6 0
9 0 0 0 0 0 . 0
1 . 4 0
8 0 0 0 0 0 . 0
1 . 2 0
7 0 0 0 0 0 . 0
1 . 0 0
6 0 0 0 0 0 . 0
5 0 0 0 0 0 . 0 0 . 8 0
4 0 0 0 0 0 . 0
0 . 6 0
3 0 0 0 0 0 . 0
0 . 4 0
2 0 0 0 0 0 . 0
0 . 2 0
1 0 0 0 0 0 . 0
0 . 0 0 . 0 0
5 1 2 B 1 K B 2 K B 4 K B 8 K B
I / O S i z e
F i g u r e 3 . I / O r a t e s a n d a v e r a g e l a t e n c i e s f o r a s i n g l e K V M g u e s t
r e f a r c h - f e e d b a c k @ r e d h a t . c o m 9 w w w . r e d h a t . c o m
4
I O P S
A v e r a g e L a t e n c y ( m s )
F i g u r e 4 s h o w s t h e b l o c k I / O t h r o u g h p u t t h a t a s i n g l e K V M g u e s t c a n h a n d l e f o r d i f f e r e n t
r e q u e s t s i z e s . G i v e n t h e c o n s i s t e n t I / O r a t e s t h a t K V M w a s a b l e t o s u p p o r t a c r o s s d i f f e r e n t
I / O s i z e s , t h e b l o c k I / O t h r o u g h p u t s c a l e d v e r y w e l l w i t h t h e I / O s i z e , f r o m 4 6 3 M B / s f o r 5 1 2 -
b y t e r e q u e s t s t o m o r e t h a n 6 G B / s f o r 8 K B r e q u e s t s .
S i n g l e K V M G u e s t
F I O B e n c h m a r k , D i r e c t I / O ' s , R a n d o m R e a d s + W r i t e s ( 5 0 % S p l i t )
K V M H o s t = I B M x 3 8 5 0 X 5 ( I n t e l E 7 - 8 8 7 0 @ 2 . 4 G H z , 4 0 C o r e s )
S t o r a g e = 4 S C S I T a r g e t S e r v e r s ( 8 P C I D e v i c e s , 3 2 L U N s ) < - > 8 - G b p s Q l o g i c H B A s < - > K V M H o s t
I O P S T h r o u g h p u t ( M B / s )
1 0 0 0 0 0 0 . 0 7 0 0 0 . 0
9 0 0 0 0 0 . 0
6 0 0 0 . 0
8 0 0 0 0 0 . 0
5 0 0 0 . 0
7 0 0 0 0 0 . 0
6 0 0 0 0 0 . 0
4 0 0 0 . 0
5 0 0 0 0 0 . 0
3 0 0 0 . 0
4 0 0 0 0 0 . 0
3 0 0 0 0 0 . 0
2 0 0 0 . 0
2 0 0 0 0 0 . 0
1 0 0 0 . 0
1 0 0 0 0 0 . 0
0 . 0 0 . 0
5 1 2 B 1 K B 2 K B 4 K B 8 K B
I / O S i z e
F i g u r e 4 . I / O t h r o u g h p u t a c r o s s v a r i o u s I / O r e q u e s t s i z e s f o r a s i n g l e K V M g u e s t
w w w . r e d h a t . c o m 1 0 r e f a r c h - f e e d b a c k @ r e d h a t . c o m
I O P S
T h r o u g h p u t ( M B / s )
4 . 2 M u l t i p l e V M s
W i t h m u l t i p l e K V M g u e s t s , t h e g o a l w a s t o d e t e r m i n e t h e h i g h e s t I / O r a t e s t h a t K V M c o u l d
s u p p o r t w i t h a s f e w g u e s t s a s p o s s i b l e . B e c a u s e t h e I B M S y s t e m x 3 8 5 0 X 5 h o s t s e r v e r w a s
a N U M A s e r v e r w i t h 4 n o d e s , o n e K V M g u e s t w a s c o n f i g u r e d o n e a c h n o d e f o r a t o t a l o f 4
g u e s t s . T h i s a p p r o a c h l e v e r a g e s a l l h a r d w a r e r e s o u r c e s o n t h e h o s t s e r v e r . M o r e s p e c i f i c a l l y ,
t h e t e s t w a s s e t u p i n t h e m u l t i - g u e s t c o n f i g u r a t i o n a n d h a d t h e f o l l o w i n g c h a r a c t e r i s t i c s :
" H o s t S e r v e r : I B M S y s t e m x 3 8 5 0 X 5
æ% 4 I n t e l X e o n E 7 - 4 8 7 0 p r o c e s s o r s ( 4 0 c o r e s @ 2 . 4 0 G H z ) , 2 5 6 G B
m e m o r y ( t o t a l )
æ% R e d H a t E n t e r p r i s e L i n u x 6 . 3
" S t o r a g e :
æ% 7 Q L o g i c Q L E 2 5 6 x ( 8 G b p s , d u a l p o r t e d ) H B A s c o n n e c t e d t o 7 S C S I
t a r g e t s e r v e r s
æ% 1 4 P C I d e v i c e s ( p o r t s ) a n d 5 6 L U N s ( e a c h S C S I t a r g e t s e r v e r w a s
b a c k e d b y R A M d i s k s a n d p r o v i d e d 2 P C I d e v i c e s a n d 8 L U N s )
" K V M G u e s t s ( V i r t u a l M a c h i n e s ) U p t o 4 K V M g u e s t s w i t h e a c h g u e s t h a v i n g :
æ% 2 0 v C P U s ( 1 0 c o r e s w i t h 2 t h r e a d s ) , 1 6 G B m e m o r y
æ% 3 t o 4 P C I d e v i c e s , 1 2 t o 1 6 L U N s
æ% R e d H a t E n t e r p r i s e L i n u x 6 . 3
" F I O W o r k l o a d
æ% R a n d o m r e a d s a n d w r i t e s ( 5 0 % r e a d s , 5 0 % w r i t e s )
æ% 1 j o b p e r L U N
æ% D i r e c t I / O s
æ% E n g i n e = l i b a i o
æ% Q u e u e d e p t h = 3 2
T o l e v e r a g e t h e c a c h i n g e f f i c i e n c y a n d d a t a l o c a l i t y , e a c h K V M g u e s t w a s b o u n d t o a s i n g l e
N U M A n o d e o n t h e h o s t . B e c a u s e t h e r e w e r e 7 Q L o g i c H B A s c o n f i g u r e d o n t h e h o s t s e r v e r
( h o s t s e r v e r h a d 7 a v a i l a b l e P C I s l o t s ) , t h e p o r t s a n d s t o r a g e L U N s o n t h e s e H B A s w e r e
d i v i d e d a m o n g t h e 4 g u e s t s a s f o l l o w s :
" 2 Q L o g i c H B A s w i t h a t o t a l o f 4 p o r t s a n d 1 6 s t o r a g e L U N s w e r e p a s s e d t o G u e s t 1
" 2 Q L o g i c H B A s w i t h a t o t a l o f 4 p o r t s a n d 1 6 s t o r a g e L U N s w e r e p a s s e d t o G u e s t 2
" 1 . 5 Q L o g i c H B A s w i t h a t o t a l o f 3 p o r t s a n d 1 2 s t o r a g e L U N s w e r e p a s s e d t o G u e s t 3
" 1 . 5 Q L o g i c H B A s w i t h a t o t a l o f 3 p o r t s a n d 1 2 s t o r a g e L U N s w e r e p a s s e d t o G u e s t 4
r e f a r c h - f e e d b a c k @ r e d h a t . c o m 1 1 w w w . r e d h a t . c o m
4
M u l t i p l e K V M G u e s t s
F I O B e n c h m a r k , D i r e c t I / O ' s , 8 K B R a n d o m R e a d s + W r i t e s ( 5 0 % S p l i t )
K V M H o s t = I B M x 3 8 5 0 X 5 ( I n t e l E 7 - 8 8 7 0 @ 2 . 4 G H z , 4 0 C o r e s )
S t o r a g e = 7 S C S I T a r g e t S e r v e r s ( 1 4 P C I D e v i c e s , 5 6 L U N s )
I O P S A v e r a g e R e a d L a t e n c y ( m s ) A v e r a g e W r i t e L a t e n c y ( m s )
1 6 0 0 0 0 0 . 0 1 . 6 0
1 4 0 0 0 0 0 . 0 1 . 4 0
1 2 0 0 0 0 0 . 0 1 . 2 0
1 0 0 0 0 0 0 . 0 1 . 0 0
8 0 0 0 0 0 . 0 0 . 8 0
6 0 0 0 0 0 . 0 0 . 6 0
4 0 0 0 0 0 . 0 0 . 4 0
2 0 0 0 0 0 . 0 0 . 2 0
0 . 0 0 . 0 0
1 2 3 4
N u m b e r o f V M s
F i g u r e 5 . A g g r e g a t e I / O r a t e s a n d a v e r a g e l a t e n c i e s f o r 8 K B r e q u e s t s
F i g u r e 5 s h o w s t h e a g g r e g a t e I / O r a t e s f o r 8 K B r a n d o m r e a d a n d w r i t e r e q u e s t s t h a t K V M
w a s a b l e t o s u p p o r t f o r o n e t o f o u r g u e s t s . D u r i n g t h e t e s t , K V M w a s a b l e t o s u s t a i n
a p p r o x i m a t e l y 4 0 0 , 0 0 0 I O P S w i t h o n e g u e s t a n d 1 . 4 m i l l i o n I O P S w i t h f o u r g u e s t s . T h e s e
r e s u l t s a r e a b o u t t h e s a m e a s w h a t c o u l d b e o b t a i n e d b y r u n n i n g t h e s a m e w o r k l o a d d i r e c t l y
o n t h e h o s t s e r v e r ( b a r e m e t a l ) . I n o t h e r w o r d s , t h e s e K V M r e s u l t s w e r e a c t u a l l y l i m i t e d b y
t h e t e s t s t o r a g e s e t u p , n o t b y K V M . W i t h a f a s t e r s t o r a g e s e t u p , h i g h e r I / O r a t e s w i t h K V M
c a n p o t e n t i a l l y b e a c h i e v e d . I t s h o u l d b e n o t e d t h a t V M w a r e r e c e n t l y i n d i c a t e d t h a t i t c o u l d
a c h i e v e a n a g g r e g a t e 1 m i l l i o n I O P S w i t h 6 V M s r u n n i n g o n t h e s a m e v S p h e r e 5 . 0 h o s t [ 3 ] ,
u s i n g a d i f f e r e n t o p e r a t i n g s y s t e m i n t h e V M s a n d a d i f f e r e n t s t o r a g e b a c k e n d .
A s m o r e K V M g u e s t s w e r e c o n f i g u r e d o n t h e h o s t s e r v e r , t h e a g g r e g a t e n u m b e r o f I / O s p e r
s e c o n d s c a l e d v e r y w e l l w h i l e t h e a v e r a g e l a t e n c y f o r e a c h I / O r e q u e s t s t a y e d r e l a t i v e l y
c o n s t a n t . T h e a v e r a g e l a t e n c y w a s a b o u t 1 . 1 0 m s f o r 8 K B r a n d o m r e a d s a n d j u s t u n d e r 1 . 5 0
m s f o r 8 K B r a n d o m w r i t e s , r e g a r d l e s s o f t h e n u m b e r o f g u e s t s r u n n i n g o n t h e s a m e h o s t , a s
s h o w n i n F i g u r e 5 .
w w w . r e d h a t . c o m 1 2 r e f a r c h - f e e d b a c k @ r e d h a t . c o m
I O P S
A v e r a g e L a t e n c y ( m s )
F i g u r e 6 s h o w s t h a t t h e a v e r a g e l a t e n c i e s a l s o r e m a i n e d c o n s t a n t a c r o s s d i f f e r e n t I / O
r e q u e s t s i z e s f r o m 5 1 2 b y t e s t o 4 K B w i t h o n l y a s l i g h t u p t i c k a t 8 K B . T h e s e r e s u l t s
d e m o n s t r a t e v e r y d e t e r m i n i s t i c b l o c k I / O p e r f o r m a n c e f o r K V M .
F o u r K V M G u e s t s
F I O B e n c h m a r k , D i r e c t I / O ' s , R a n d o m R e a d s + W r i t e s ( 5 0 % S p l i t )
K V M H o s t = I B M x 3 8 5 0 X 5 ( I n t e l E 7 - 8 8 7 0 @ 2 . 4 G H z , 4 0 C o r e s )
S t o r a g e = 7 S C S I T a r g e t S e r v e r s ( 1 4 P C I D e v i c e s , 5 6 L U N s )
I O P S A v e r a g e R e a d L a t e n c y ( m s ) A v e r a g e W r i t e L a t e n c y ( m s )
1 8 0 0 0 0 0 . 0 1 . 6 0
1 6 0 0 0 0 0 . 0
1 . 4 0
1 4 0 0 0 0 0 . 0
1 . 2 0
1 2 0 0 0 0 0 . 0
1 . 0 0
1 0 0 0 0 0 0 . 0
0 . 8 0
8 0 0 0 0 0 . 0
0 . 6 0
6 0 0 0 0 0 . 0
0 . 4 0
4 0 0 0 0 0 . 0
0 . 2 0
2 0 0 0 0 0 . 0
0 . 0 0 . 0 0
5 1 2 B 1 K B 2 K B 4 K B 8 K B
I / O S i z e
F i g u r e 6 . A g g r e g a t e I / O r a t e s a n d a v e r a g e l a t e n c i e s f o r d i f f e r e n t I / O s i z e s
r e f a r c h - f e e d b a c k @ r e d h a t . c o m 1 3 w w w . r e d h a t . c o m
4
I O P S
A v e r a g e L a t e n c y ( m s )
T h a n k s t o t h e d e t e r m i n i s t i c l a t e n c i e s a n d I / O r a t e s a c r o s s d i f f e r e n t I / O r e q u e s t s i z e s a n d
n u m b e r s o f K V M g u e s t s , t h e a g g r e g a t e I / O t h r o u g h p u t s c a l e d v e r y w e l l w i t h b o t h I / O s i z e a n d
n u m b e r o f K V M g u e s t s , a s s h o w n i n F i g u r e 7 . I n f a c t , w i t h 8 K B r e q u e s t s i z e , t h e a g g r e g a t e
t h r o u g h p u t f o r 4 K V M g u e s t s r e a c h e d a l m o s t 1 1 G B / s e c .
M u l t i p l e K V M G u e s t s
F I O B e n c h m a r k , D i r e c t I / O ' s , R a n d o m R e a d s + W r i t e s ( 5 0 % S p l i t )
K V M H o s t = I B M x 3 8 5 0 X 5 ( I n t e l E 7 - 8 8 7 0 @ 2 . 4 G H z , 4 0 C o r e s )
S t o r a g e = 7 S C S I T a r g e t S e r v e r s ( 1 4 P C I D e v i c e s , 5 6 L U N s )
1 2 0 0 0 . 0
1 0 0 0 0 . 0
8 0 0 0 . 0
1 V M
2 V M s
6 0 0 0 . 0
3 V M s
4 V M s
4 0 0 0 . 0
2 0 0 0 . 0
0 . 0
5 1 2 B 1 K B 2 K B 4 K B 8 K B
I / O S i z e
F i g u r e 7 . A g g r e g a t e I / O r a t e s a n d a v e r a g e l a t e n c i e s w i t h 4 K V M g u e s t s
w w w . r e d h a t . c o m 1 4 r e f a r c h - f e e d b a c k @ r e d h a t . c o m
T h r o u g h p u t ( M B / s )
5 S u m m a r y
L e v e r a g i n g n e w s i l i c o n c a p a b i l i t i e s , t o g e t h e r w i t h t i g h t i n t e g r a t i o n i n t o t h e L i n u x k e r n e l , h a s
a l l o w e d t h e K e r n e l - b a s e d V i r t u a l M a c h i n e ( K V M ) t o o u t p e r f o r m a n y o t h e r h y p e r v i s o r s o l u t i o n .
W i t h K V M , t h e b l o c k I / O p e r f o r m a n c e c a n s c a l e v e r y w e l l w i t h t h e n u m b e r o f K V M g u e s t s a n d
I / O r e q u e s t s i z e s . T h i s p a p e r h a s s h o w n t h a t a s i n g l e K V M g u e s t c a n h a n d l e m o r e t h a n
8 0 0 , 0 0 0 I / O s p e r s e c o n d ( I O P S ) f o r 8 K B r a n d o m I / O r e q u e s t s a n d u p t o 9 5 0 , 0 0 0 I O P S f o r
s m a l l e r r e q u e s t s . F o u r K V M g u e s t s r u n n i n g o n t h e s a m e h o s t s e r v e r c a n s u p p o r t m o r e t h a n
1 . 4 m i l l i o n I O P S f o r 8 K B r a n d o m I / O r e q u e s t s a n d 1 . 6 m i l l i o n I O P S f o r s m a l l e r r e q u e s t s
h i t t i n g t h e b a r e - m e t a l l i m i t o f t h e t e s t s t o r a g e s e t u p .
A s a r e s u l t , i t h a s b e e n p r o v e n t h a t K V M i s r e a d y f o r e n t e r p r i s e w o r k l o a d s t h a t d e m a n d
e x t r e m e l y h i g h I / O r a t e s , v e r y l o w l a t e n c i e s , a n d d e t e r m i n i s t i c s t o r a g e I / O p e r f o r m a n c e . O n -
g o i n g i m p r o v e m e n t s t o t h e p a r a - v i r t u a l i z a t i o n b l o c k d r i v e r s w i l l e n a b l e s i m i l a r l e v e l s o f
p e r f o r m a n c e f o r v i r t i o - b l k a n d v i r t i o - s c s i .
r e f a r c h - f e e d b a c k @ r e d h a t . c o m 1 5 w w w . r e d h a t . c o m
4
A p p e n d i x A : R e f e r e n c e s
[ 1 ] S P E C v i r t _ s c 2 0 1 0 R e s u l t s P u b l i s h e d b y S P E C ,
h t t p : / / w w w . s p e c . o r g / v i r t _ s c 2 0 1 0 / r e s u l t s / s p e c v i r t _ s c 2 0 1 0 _ p e r f . h t m l
[ 2 ] S A P S D S t a n d a r d B e n c h m a r k A p p l i c a t i o n R e s u l t s , T w o - T i e r I n t e r n e t C o n f i g u r a t i o n ,
h t t p : / / w w w . s a p . c o m / s o l u t i o n s / b e n c h m a r k / s d 2 t i e r . e p x
[ 3 ] V M w a r e I n c . , A c h i e v i n g a M i l l i o n I / O O p e r a t i o n s p e r S e c o n d f r o m a S i n g l e V M w a r e
v S p h e r e 5 . 0 H o s t , h t t p : / / w w w . v m w a r e . c o m / r e s o u r c e s / t e c h r e s o u r c e s / 1 0 2 1 1 , A u g u s t 2 6 t h ,
2 0 1 1
w w w . r e d h a t . c o m 1 6 r e f a r c h - f e e d b a c k @ r e d h a t . c o m
Wyszukiwarka
Podobne podstrony:
Scaling DB2 9 7 in a Red Hat Enterprise Linux 5 4 KVM environmentScaling Oracle 10g in a Red Hat Enterprise Linux 5 4 KVM environmentRed Hat Enterprise Linux 6 Hypervisor?ployment Guide en USRed Hat Enterprise Linux 6 High Availability?d On Overview en USRed Hat Enterprise Linux 6 Beta High Availability?d On Overview en USRed Hat Enterprise Linux 4 Global Network Block?vice en USRed Hat Enterprise Linux 6 6 1 Release Notes en USRed Hat Enterprise Linux 5 5 6 Release Notes en USRed Hat Enterprise Linux 5 5 8 Release Notes en USRed Hat Enterprise Linux 6 High Availability?d On Overview en USRed Hat Enterprise Linux 6 Configuring the Red Hat High Availability?d On with Pacemaker en USRed Hat Enterprise Linux 5 5 9 Release Notes en USRed Hat Enterprise Linux 5 5 0 Technical Notes en USRed Hat Enterprise Linux 6 Resource Management Guide en USRed Hat Enterprise Linux OpenStack Platform?rtification Test Suite 5 User Guide en USRed Hat Enterprise Linux OpenStack Platform?rtification 1 0 Policy Guide en USRed Hat Enterprise Linux 6 Beta Virtualization Security Guide en USRed Hat Enterprise Linux 7 High Availability?d On?ministration en USwięcej podobnych podstron