← retour aux snippets

sort: trier d'énormes fichiers (external sort)

Utiliser -T et -S pour contrôler l'utilisation disque/mémoire lors de gros tri.

bash text #sort#external#memory

objectif

Éviter l’OOM en triant des datasets plus grands que la RAM.

code minimal

sort -S 50% -T /tmp -o out.txt in.txt

utilisation

# tri numérique stable par colonne 2, séparateur tab
sort -S 4G -T /tmp -t $'\t' -k2,2n -s big.tsv > sorted.tsv

variante(s) utile(s)

# fusionner des fichiers déjà triés
sort -m a.sorted b.sorted c.sorted > all.sorted

notes

  • -S limite la mémoire; -T choisit la partition temporaire.
  • LC_ALL=C accélère sur ASCII pur si acceptable.