Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Loading in …3
×
1 of 12

Google Cluster

0

Share

Download to read offline

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

Google Cluster

  1. 1. GOOGLE CLUSTER <ul><li>MULTIPROCESAMIENTO </li></ul><ul><li>Leonardo Sarango </li></ul><ul><li>Ruth Hidalgo </li></ul><ul><li>ING. María del Carmen </li></ul>
  2. 2. Introducción <ul><li>Enorme capacidad de procesamiento. </li></ul><ul><li>Uso de clusters ejecutando Linux con sus correpondiente balance de carga. </li></ul><ul><li>Presencia de centros de datos en diferentes puntos geográficos. </li></ul>
  3. 3. Estaciones <ul><li>Más de 450.000 servidores </li></ul><ul><li>En Mountain View (California), Virginia, Atlanta y Dublín. </li></ul><ul><li>Instalaciones en construcción en The Dalles y Saint-Ghislain. </li></ul>
  4. 4. Topología de red <ul><li>Cada cluster de Google tiene miles de servidores, </li></ul><ul><li>Los racks de Google están hechos a medida y pueden contener entre 40 y 80 servidores. </li></ul><ul><li>Cada rack tiene una conexión ethernet a un router local que a su vez se conecta al router central utilizando una conexión de 1 Gigabit. </li></ul>
  5. 5. Hardware original <ul><li>Sun Ultra II con procesador de 200MHz dual y 256 MB de RAM. Esta era la máquina principal del sistema original. </li></ul><ul><li>Dos servidores Pentium II duales a 300 MHz donados por Intel que incluían 512 MB de RAM y 9 discos de 9 GB entre los dos servidores. </li></ul><ul><li>F50 IBM RS/6000 donado por IBM que incluía cuatro procesadores, 512 MB de memoria y ocho discos duros de 9 GB. </li></ul><ul><li>Dos armarios adicionales incluían tres discos duros de 9 GB y seis de 4 GB respectivamente que estaban conectados al servidor Sun Ultra II. </li></ul><ul><li>Un armario de expansión de discos de IBM con otros ocho discos duros de 9 GB donados por IBM. </li></ul><ul><li>Armario de disco duros casero que contenía 10 discos duros de 9 GB SCSI. </li></ul>
  6. 6. Tipos de Servidores <ul><li>Servidores web </li></ul><ul><li>Servidores proxy Squid </li></ul><ul><li>Servidores de recolección de datos(googlebot) </li></ul><ul><li>Servidores de índices </li></ul><ul><li>Servidores de documentos </li></ul><ul><li>Servidores de anuncios. </li></ul>
  7. 7. Hardware Actual <ul><ul><li>Cada cluster 359 racks </li></ul></ul><ul><ul><li>31.654 servidores63.184 CPUs(126.368 GHz) </li></ul></ul><ul><ul><li>64.184 GB memoria </li></ul></ul><ul><ul><li>2.527 Tbytes(2 PB aprox) </li></ul></ul><ul><li>Cada cluster: 40 millones de peticiones diarias </li></ul><ul><li>Google tiene repartido más de 20 datacentes al rededor del mundo con al menos un clúster,  se calcula que google esta soportado por más de 600.000 servidores </li></ul>
  8. 8. ARQUITECTURA DEL CLUSTER GOOGLE <ul><li>Cluster heterogéneo y muy escalable. cada tres meses se actualiza alguno de los componentes de los nodos de cómputo (procesador, memoria o disco) y entre un 2 y un 3% de los nodos son sustituidos cada año. </li></ul><ul><li>El cluster utiliza Gigabit Ethernet (cobre, cables de categoría 5) para la conexión entre los nodos, y los enlaces a Internet tienen un ancho de banda mayor (2 Gb/s en media). </li></ul><ul><li>Todos los nodos tienen instalado un sistema operativo Linux y herramientas a medida para instalación y actualización de software, para la monitorización (en media se reinician al día 20 nodos en remoto) </li></ul>
  9. 9. Google File System <ul><li>El sistema está construido para que el fallo de un componente no le afecte. </li></ul><ul><li>El sistema almacena grandes archivos </li></ul><ul><li>La mayoría del trabajo consiste en dos tipos de lecturas: grandes lecturas de datos y pequeñas lecturas aleatorias </li></ul><ul><li>El sistema debe ser diseñado para ofrecer concurrencia a múltiples clientes que quieran el mismo archivo. </li></ul>
  10. 10. Google File System <ul><li>cluster GFS consiste en un máster y múltiples chukserver que dan servicio a múltiples clientes. </li></ul><ul><li>El máster es el encargado de mantener todos los metadatos del sistema de archivos. </li></ul><ul><li>MASTER </li></ul><ul><li>Tener un solo máster simplifica el diseño y permite tener sofisticados métodos de emplazamiento y replicación de trozos usando un conocimiento global. </li></ul><ul><li>Los clientes nunca escriben datos a través del máster sino que el cliente le pregunta al máster que con qué chunkserver puede contactar. </li></ul>
  11. 11. Tamaño de los Trozos <ul><li>GFS usa 64 MB </li></ul><ul><li>METADATOS </li></ul><ul><li>Espacio de nombres de fichero y de trozos </li></ul><ul><li>La correspondencia de archivos a trozos </li></ul><ul><li>La localización de las réplicas de los trozos </li></ul>
  12. 12. BIBLIOGRAFÍA <ul><li>http://es.wikipedia.org/wiki/Squid </li></ul><ul><li>http://es.wikipedia.org/wiki/Plataforma_de_Google </li></ul><ul><li>http://es.wikipedia.org/wiki/Cluster_%28inform%C3%A1tica%29 </li></ul><ul><li>http://es.wikipedia.org/wiki/PageRank </li></ul><ul><li>http://es.wikipedia.org/wiki/Rack </li></ul><ul><li>http://redindustria.blogspot.com/2009/10/la-arquitectura-hardware-de-google.html </li></ul>

×