Migracja 110 mln wierszy z SQL Server do Elasticsearch

Cześć. Dziś postaram się opisać, jak zmigrowałem dosyć sporą ilość danych (110 mln wierszy) z SQL Servera do Elasticsearcha. Zacznijmy od konfiguracji ES. Użyłem do tego Kibany. Tworzymy index:

Dla zwiększenia wydajności dodawania nowych dokumentów warto ustawić dwie zmienne:

refresh_interval odpowiada za aktualizacje informacji o naszym indexie, natomiast number_of_replicas Więcej…