Most efficient way to replace thousands of strings in a giant file - string

Question

I have about a half million records that look somewhat like this:
=001 000016937
=005 20160611133900.0
=007 ta
=008 930824s1990\\\\cl\\\\\\\\\\\\000\0\spa\u
=041 1 $aspaspaeng
=084 \ $aTV/UdeC/G589s
=100 1 $aGonzález Ugas, Jorge$e, autor$e, autor
=245 10$aSincronización de estro y fertilidad en bovinos de carne sincronizados con un análogo de PGF-2 alfa vía intravulvosubmucosa
=260 \ $aChillán:$bUniversidad de Concepción,$c1990
=300 \ $a48 páginas$bcuadros
=336 \ $atext$btxt$2rdacontent
=337 \ $aunmediated$bn$2rdamedia
=338 \ $avolume$bnc$2rdacarrier
=502 \ $aMemoria de título (Méd. Veterinario)
=504 \ $aIncluye Bibliografía
=520 \ $aCon el fin de establecer la eficacia de la administración de 0,45 mgr de Tiaprost vía intravulvosubmucosa en la inducción de estro y determinar la fertilidad de los sistemas de inseminación artificial a tiempo fijo, con detección de estro y monta dirigida, se trataron 134 vacas y vaquillas de carne divididas en 3 grupos: grupo 1=56 vaquillas; grupo 2=39 [24 vaquillas y 15 vacas] y grupo 3=39 vaquillas. Cada grupo recibió un manejo nutricional diferente. El Tiaprost se administró luego de detectar la presencia de un cuerpo luteo. A las vaquillas del grupo 1 se les detectó calor 3 veces al día durante 45 minutos y se inseminaron con semen congelado a un tiempo prefijado de 80 hrs. Los animales que no entraron en calor en un tiempo de 5 días post-tratamiento volvieron a ser tratados con PGF-2 alfa 10-12 días después; se detectó calor y realizó monta dirigida. Las hembras del grupo 2 se inseminaron a las 80 hrs. después del tratamiento sin detectar calor; y a las vaquillas del grupo 3 se les realizó monta dirigida con toro 12 hrs. después de iniciado el calor. Todas las hembras tratadas se palparon 60-90 días post-tratamiento para diagnosticar preñez. En el grupo 1 se obtuvo un lapso tratamiento-estro promedio de 42,5 hrs.[8-96 hrs.], un 100 por ciento de respuesta al tratamiento dentro de las primeras 96 hrs. post-tratamiento y una duración del celo de 19,22 hrs.[8-36 hrs] con moda de 18 hrs. Se obtuvo un 69,9 por ciento de preñez para el grupo 1; 33,1 por ciento en el grupo 2 [29.1 por ciento en vaquillas y 40 por ciento en vacas] y un 79.9 por ciento en el grupo 3. Se concluyó que la administración de 0,45 mgr de Tiaprost vía intravulvosubmucosa es efectiva en inducir estro en hembras bovinas de carne y la fertilidad es comparable a la obtenida con monta natural. La fertilidad es superior al emplear la detección de estros e inseminar a tiempo prefijado [80 hrs.] o cubrir con monta natural [12 hrs. después de iniciado el calor]
=520 \ $aque al inseminar a las 80 hrs. sin previa detección de calor. Se obtuvieron resultados aceptables al comparar la inseminación artificial a tiempo prefijado [80 hrs.] detectando calor con monta natural en vaquillas sincronizadas con Tiaprost vía intravulvosubmucosa.
=650 \4$aVaquillas
=650 \4$aGanado Vacuno de Carne
However, the value in the 001 field is incorrect for many thousands of items. I have a mapping file of what needs to be there that looks like this:
000016937 000138905
000022242 000142318
000022736 000125671
000023118 000141783
000031516 000165088
000068203 000165324
000071245 000132319
000081724 000163695
000093665 000237196
Desired output would be something like:
=001 000138905
=005 20160611133900.0
=007 ta
=008 930824s1990\\\\cl\\\\\\\\\\\\000\0\spa\u
=041 1 $aspaspaeng
=084 \ $aTV/UdeC/G589s
=100 1 $aGonzález Ugas, Jorge$e, autor$e, autor
=245 10$aSincronización de estro y fertilidad en bovinos de carne sincronizados con un análogo de PGF-2 alfa vía intravulvosubmucosa
=260 \ $aChillán:$bUniversidad de Concepción,$c1990
=300 \ $a48 páginas$bcuadros
=336 \ $atext$btxt$2rdacontent
=337 \ $aunmediated$bn$2rdamedia
=338 \ $avolume$bnc$2rdacarrier
=502 \ $aMemoria de título (Méd. Veterinario)
=504 \ $aIncluye Bibliografía
=520 \ $aCon el fin de establecer la eficacia de la administración de 0,45 mgr de Tiaprost vía intravulvosubmucosa en la inducción de estro y determinar la fertilidad de los sistemas de inseminación artificial a tiempo fijo, con detección de estro y monta dirigida, se trataron 134 vacas y vaquillas de carne divididas en 3 grupos: grupo 1=56 vaquillas; grupo 2=39 [24 vaquillas y 15 vacas] y grupo 3=39 vaquillas. Cada grupo recibió un manejo nutricional diferente. El Tiaprost se administró luego de detectar la presencia de un cuerpo luteo. A las vaquillas del grupo 1 se les detectó calor 3 veces al día durante 45 minutos y se inseminaron con semen congelado a un tiempo prefijado de 80 hrs. Los animales que no entraron en calor en un tiempo de 5 días post-tratamiento volvieron a ser tratados con PGF-2 alfa 10-12 días después; se detectó calor y realizó monta dirigida. Las hembras del grupo 2 se inseminaron a las 80 hrs. después del tratamiento sin detectar calor; y a las vaquillas del grupo 3 se les realizó monta dirigida con toro 12 hrs. después de iniciado el calor. Todas las hembras tratadas se palparon 60-90 días post-tratamiento para diagnosticar preñez. En el grupo 1 se obtuvo un lapso tratamiento-estro promedio de 42,5 hrs.[8-96 hrs.], un 100 por ciento de respuesta al tratamiento dentro de las primeras 96 hrs. post-tratamiento y una duración del celo de 19,22 hrs.[8-36 hrs] con moda de 18 hrs. Se obtuvo un 69,9 por ciento de preñez para el grupo 1; 33,1 por ciento en el grupo 2 [29.1 por ciento en vaquillas y 40 por ciento en vacas] y un 79.9 por ciento en el grupo 3. Se concluyó que la administración de 0,45 mgr de Tiaprost vía intravulvosubmucosa es efectiva en inducir estro en hembras bovinas de carne y la fertilidad es comparable a la obtenida con monta natural. La fertilidad es superior al emplear la detección de estros e inseminar a tiempo prefijado [80 hrs.] o cubrir con monta natural [12 hrs. después de iniciado el calor]
=520 \ $aque al inseminar a las 80 hrs. sin previa detección de calor. Se obtuvieron resultados aceptables al comparar la inseminación artificial a tiempo prefijado [80 hrs.] detectando calor con monta natural en vaquillas sincronizadas con Tiaprost vía intravulvosubmucosa.
=650 \4$aVaquillas
=650 \4$aGanado Vacuno de Carne
There are many ways this problem could be solved, but I'm hoping for a quick and dirty way (ie a few lines of script as opposed to a program) as I expect to encounter similar situations again. My gut reaction was to just hand it to sed, but I got an "Argument list too long" which puzzled me because
sh-4.2$ getconf ARG_MAX
2097152
and I don't have that many values to map. That the correct numbers overlap with the incorrect ones is not a problem -- I'll just prefix the former so only the wrong ones can get fixed.
Total file size of the records is just over a half gig so there should be some options.

Answer 1

For me, this is a natural fit for awk:
tmp=$(mktemp)
awk '
NR == FNR {map[$1] = $2; next}
$1 == "=001" && $2 in map {$2 = map[$2]}
{print}
' mappingFile bigFile > "$tmp" && mv "$tmp" bigFile

Answer 2

Maybe ed if available/acceptable, with the bash shell using Process Substitution.
#!/usr/bin/env bash
ed -s giant_file.txt < <(
printf '%s\n' 'g|.|s|^\([^[:blank:]]*\)*[[:blank:]]*\(.*\)$|g/^=001 /s/\1/\2/|' '$a' w . ,p Q |
ed -s mapping_file.txt
)
Note: It will edit the file in-place
This version will just output to stdout.
#!/usr/bin/env bash
ed -s giant_file.txt < <(
printf '%s\n' 'g|.|s|^\([^[:blank:]]*\)*[[:blank:]]*\(.*\)$|g/^=001 /s/\1/\2/|' '$a' ,p Q . ,p Q |
ed -s mapping_file.txt
)