операция (сделка) - обычно распространена на рынке ценных бумаг. Это взаимное соглашение, связанное с возникновением, прекращением или изменением имущественных прав, заложенных в ценных бумагах.
транзакция - единичное действие, имеющее лишь два состояния - выполнена, не выполнена.
Грубо говоря, сделка начатой считается с момента её возникновения, а транзакция - должна быть обязательно завершённой. (как в конкурсах - результат засчитывается только по закрытию всех транзакций
)
А в принципе "операция" - если этот термин подразумевать как процесс, когда "внутри" нее возможна сложная алгоритмическая цепочка действий,
приемлем в обоих ситуациях.