Quando seus negócios crescem, seus sistemas chave não suportam mais o volume de informação inserido, não respondem mais requisições dos seus clientes, a quem chamar? Como resolver? Conheça o Apache Cassandra e como foi fundamental para evoluir nossos sistemas e alavancar o crescimento dos nossos negócios, aplicado no desenvolvimento de sistemas distribuídos de alto desempenho para aplicativos móveis

1. Apache Cassandra
Desenvolvimento de Sistemas de
Alto Desempenho
Eiti Kimura
SET 2017

2. • Coordenador de TI e Arquiteto de Software na Movile
• Apache Cassandra Developer 1.1 Certified (2013)
• Apache Cassandra MVP (2014 e 2015)
• Apache Cassandra Contributor (2015)
• Cassandra Summit Speaker (2014 e 2015)
• Strata Hadoop World Singapore Speaker (2016)
• Spark Summit Europe Speaker (2017)
Eiti Kimura
eitikimura

3. A Movile é a empresa por trás
das apps que fazem sua vida
mais fácil!

4. Sumário
● INTRODUÇÃO
○ Definição e Funcionamento Apache Cassandra
● CASO DE USO
○ Aplicação prática do Apache Cassandra em sistemas de alto
desempenho
● CONCLUSÃO
○ Problemas encontrados, lições aprendidas.

5. INTRODUÇÃO

6. Apache Cassandra é um banco de dados
não relacional (NoSQL) orientado a colunas, distribuído,
escalável, de alta disponibilidade, tolerante a falhas.
[The Definitive Guide, Eben Hewitt, 2010]

8. Descentralizado / Distribuído
Tolerante a falhas, sem ponto único central de controle, não
existe um nó “master”
Utiliza o Protocolo Peer-to-Peer

9. Escalabilidade Elástica
A taxa de transferência (throughput) de operações de leitura e
escrita aumenta linearmente a medida que novas máquinas
são adicionadas.
http://bit.ly/netflix-cassandra

10. Consistência Eventual Propagada
DEF:
eventually = after some time
eventualmente = talvez,
possivelmente

11. Arquitetura de Leitura / Escrita
Memtable
SSTablesCommit Log
Memory
Disk
Write/Update
1
2
Read
1
2

12. Linguagem de manipulação de dados
Oferece um modelo muito próximo ao SQL no tocante ao
armazenamento de dados em forma de tabelas que contém linhas
e colunas.
CQL
Cassandra Query Language

13. Inserção de dados com Thrift (< 0.8) - Part 1
TTransport tr = new TSocket(HOST, PORT);
TFramedTransport tf = new TFramedTransport(tr);
TProtocol proto = new TBinaryProtocol(tf);
Cassandra.Client client = new Cassandra.Client(proto);
tf.open();
client.set_keyspace("Keyspace1"); //dbname
String cfName = "Clients"; // table name
byte[] userIDKey = "1".getBytes(); // pk
//this is a row key
Clock clock = new Clock(System.currentTimeMillis());
java code snippet

14. Inserção de dados com Thrift (< 0.8) - Part 2
ColumnParent cp = new ColumnParent(cfName);
//insert the name column
client.insert(userIDKey, cp,
new Column("name".getBytes(UTF8), "Eiti
Kimura".getBytes(), clock), CL);
//insert the Age column
client.insert(userIDKey, cp,
new Column("age".getBytes(UTF8), "35".getBytes(),
clock), CL);
java code snippet

15. Inserção de dados com CQL
INSERT INTO "Keyspace1"."Standard1" (id, name, age)
VALUES ('1', 'Eiti Kimura', '35');
cql code snippet
Acessar o shell do Apache Cassandra:
# cd apache-cassandra/bin
# ./cqlsh

16. CASO DE USO DO APACHE
CASSANDRA EM UM SISTEMA DE
ALTO DESEMPENHO

18. Controle de Assinaturas e Tarifações
• Composto de uma API de serviço;
• Responsável pelo gerenciamento de assinaturas de usuários;
• Cobrança dos usuários nas operadoras;
O serviço não pode parar de forma alguma
e deve ser muito rápido.

19. ARQUITETURA V1
API
DB

20. A empresa registrou um
crescimento anual de 80%
(por 6 anos consecutivos)
80%

21. ARQUITETURA V1
API
DB
API APIAPI API
Engine
Engine Engine

22. Desvantagens da Arquitetura
• Ponto único de falha
• Tempos de resposta lentos
• Downtimes frequentes
• Caro e difícil para escalar
Escalar uma plataforma sem escalar
as dependências externas resulta em falha.

23. ARQUITETURA V2
API
API
Engine
Engine
DB
Regular SQL
Queries
API
API

24. Benefícios da nova solução
❏ Problemas de desempenho: OK;
❏ Problemas de disponibilidade: OK;
❏ Ponto único de falha: Parcialmente Resolvido;
❏ Aumento significante no throughput de leitura e escrita;

25. Lições Aprendidas
O que deu errado

26. COLLECTIONS

27. Introdução a collections
map<type1, type2>
set<type1>
list<type1>

28. Introdução a atualização de dados no Cassandra
sstables tombstones repair

29. Número de sstables antes do repair
# de arquivos
sstable
Horário

30. Durante o repair
Horário
# de arquivos
sstable

31. Alteração do tipo de dados
Usando Collections Usando blob
cqlsh:test> CREATE TABLE teste_com_mapa(
... id int,
... mapa map<text, text> ,
... PRIMARY KEY (id)
);
cqlsh:test> CREATE TABLE teste_sem_mapa(
... id int,
... mapa blob,
... PRIMARY KEY (id)
);
http://bit.ly/cassandra-tombstones

32. Repair usando blob ao invés de map
Horário
# de arquivos
sstable

33. HINTED HANDOFF

34. Hinted Handoff
http://bit.ly/cassandra-hinted-handoff

35. Hinted Handoff
ERROR [HintedHandoff:1] 2015-08-31 18:31:55,600 CassandraDaemon.java:182 -
Exception in thread Thread[HintedHandoff:1,1,main]
java.lang.IndexOutOfBoundsException: null
at java.nio.Buffer.checkIndex(Buffer.java:538) ~[na:1.7.0_79]
at java.nio.HeapByteBuffer.getLong(HeapByteBuffer.java:410) ~[na:1.7.0_79]
at org.apache.cassandra.utils.UUIDGen.getUUID(UUIDGen.java:106)
~[apache-cassandra-2.2.0.jar:2.2.0]
at
org.apache.cassandra.db.HintedHandOffManager.scheduleAllDeliveries(HintedHandOff
Manager.java:515) ~[apache-cassandra-2.2.0.jar:2.2.0]
CASSANDRA-10233 - IndexOutOfBoundsException in HintedHandOffManager
CASSANDRA-10485 - Missing host ID on hinted handoff write

36. Hinted Handoff
cqlsh:system> SELECT target_id,hint_id,message_version FROM hints LIMIT 5;
target_id | hint_id | msg_version
--------------------------------------+--------------------------------------+------------
| 2f5e0320-62d3-11e5-877e-77558ae77cc8 | 8
72888e32-dae5-41cd-a033-3c5871a3e045 | fad152f0-662a-11e5-89ed-77558ae77cc8 | 8
72888e32-dae5-41cd-a033-3c5871a3e045 | fad152f1-662a-11e5-89ed-77558ae77ac9 | 8
72888e32-dae5-41cd-a033-3c5871a3e045 | fb69e970-662a-11e5-89ed-77558ae77cd5 | 8
52868e32-dae5-41cd-b033-2b5871a3e032 | fb69e971-662a-11e5-89ed-77558ae77zc6 | 8
(5 rows)

37. Hinted Handoff
# enable assertions. disabling this in
production will give a modest performance
benefit (around 5%).
JVM_OPTS="$JVM_OPTS -ea"
Não faça isso

38. Hinted Handoff
Correção de Emergência
Executar operação de 'truncate' na tabela de hints
Atualizar para versão >= 2.1.11
A versão 3.x não foi afetada pelo problema, pois a nova StorageEngine
armazena os hints em arquivos e não mais na estrutura de
uma tabela do Cassandra.

39. ULTRA WIDE ROW
(ANTI-PATTERN)

40. Cassandra 1.2
ERROR [CompactionExecutor:6523] 2015-10-09 12:33:23,551
CassandraDaemon.java (line 191) Exception in thread
Thread[CompactionExecutor:6523,1,main]
java.lang.AssertionError: incorrect row data size3758096384 written to
/movile/cassandra-data/SBSPlatform/idx_config/SBSPlatform-idx_config-tmp-ic-715-Data.db
;
at org.apache.cassandra.io.sstable.SSTableWriter.append(SSTableWriter.java:162)
at
org.apache.cassandra.db.compaction.CompactionTask.runWith(CompactionTask.java:162)
at
org.apache.cassandra.io.util.DiskAwareRunnable.runMayThrow(DiskAwareRunnable.java:48)
at org.apache.cassandra.utils.WrappedRunnable.run(WrappedRunnable.java:28)
+3GB em 1 linha

41. Limites Físicos de Partição
Cassandra 2.0 ou Anterior
● ~ 100MB ou menos / partição;
● ~ 100k valores (colunas na linha).
Cassandra 2.1+
● Algumas centenas de MB por partição;
● Milhões de valores (colunas por partição).

42. COPIAR O MODELO DO BANCO
RELACIONAL
(ANTI-PATTERN)

43. CLIENT SIDE JOINS
(ANTI-PATTERN)

44. DS220 Data Modeling
http://bit.ly/cassandra-ds220

45. CONCLUSÃO
NÃO COMETA OS MESMOS ERROS

46. ❏ Usar intensamente Collections do Cassandra;
❏ Adição de nós em paralelo;
❏ Problemas no HintedHandOff;
❏ Client Side Joins (anti-pattern)
❏ Copiar modelo relacional (anti-pattern);
❏ Não verificar limites da ferramenta (lógicos e físicos).
O que NÃO fazer

47. MUITO OBRIGADO!
eitikimura eiti-kimura-movile eiti.kimura@movile.com