FireDAC: Bulk-Insert le Array DML agus láimhseáil earráide glan in aghaidh gach ró

Is minic gurb é an BDE-Ablosung mit nativer Anbindung Bulk-Insert mit Array DML an bealach is tapúla chun mórán taifead a chur i mbunachar sonraí: in ionad míle Inserts aonair, ceanglaítear paraiméadar-mar-array agus seoltar iad go léir in aon turas chuig an fhreastalaí. Sa chleachtas, áfach, éiríonn an tír-choim faoi ghearr ama: sáraíonn taifead innéacs uathúil, tá réimse NOT NULL folamh, ní oireann eochair eachtrach — agus go tobann níl sé soiléir cén líne a mharaigh an batch, an bhfuil cuid scríofa cheana féin agus conas tú leanúint ar aghaidh go slán gan easnamh comhsheasmhachta sonraí a chur faoi deara.

Sin díreach an méid atá anseo: conas Array DML a úsáid ionas go bhfaighidh tú do gach líne faisnéis earráide iontaofa, go gcoinneofar an t-idirbheart faoi smacht agus go mbeidh sé indéanta sa stáplach oibriúcháin a rianú cad a tharla. Ní hé léamh acadúil API an fócas, ach an cás imeallach a thagann suas go rialta i giontuithe fíor: Batch mór, cúpla líne briste, ach tú ag iarraidh luas.

FireDAC Bulk-Insert mit Array DML: Warum Array DML beim Bulk-Insert überhaupt lohnt

I gciall FireDAC léiríonn Array DML (Data Manipulation Language) gur ceanglaítear paraiméadair ní mar aonluachanna, ach mar array. Seolann FireDAC ansin (ag brath ar an tiománaí/DB) níos lú roundtrips, is féidir leis oibriú níos éifeachtaí ar an bhfreastalaí agus laghdaítear an overhead ar an gcliant go tubaisteach. Tá sé seo níos tábhachtaí i dtrí chás go háirithe:

• Sreafaí ETL agus allmhairiú: CSV/XML/JSON isteach, normalú/mapping, ansin chuig tábla staging nó tábla spriocdatha.
• Búfer comhéadan: REST- nó MQ-payloads a bhailítear agus a choimeádtar go tréimhsiúil.
• Táblaí logála/imeachtaí: go leor Inserts beaga ina bhfuil luílatáiste (latency) i bhfódóireacht.

Ní thagann an tairbhe saor in aisce áfach. Le Array DML aistríonn tú an castacht ó “go leor ráitis aonair” go “ráiteas amháin le go leor línte”. Maith do fheidhmíocht é, ach níos dúshlánaí do diagnóis earráid, loighic idirbheart agus athfhilleadh.

An cás imeallach tipiciúil: Batch amháin, líne amháin briste

An chás clasaiceach san oibriúchán: tá tú ag allmhairiú 50,000 líne. Roghnaíonn tú ArraySize 1,000 mar nach bhfuil tú ag iarraidh roundtrip do gach líne. Theipeann ar Batch 17. Ní thugann DB ach “duplicate key” nó “violates foreign key constraint”. Sa UI nó sa seirbhís-log is minic a bhíonn ach: „ExecSQL failed“.

Mura bhfuil láimhseáil earráidí glan ann, tarlaíonn de ghnáth dhá rud dona:

• Caithfidh tú an batch ar fad amach, cé go mbeadh 999 as 1,000 línte ceart.
• Aithníonn tú ar ais chuig Inserts aonair agus cailltear an buntáiste feidhmíochta go buan.

Is é an sprioc bealach tríú: feidhmíocht an batch a choinneáil, ach logáil go beacht faoi locht (innéacs sraithe, luachanna eochair, téacs earráide DB) agus, más roghnach, sraitheanna maithe a commitáil – ag brath ar cé chomh criticiúil agus atá comhsheasmhacht agus idempotence (rith arís gan éifeacht dhúbailte) i do phróiseas.

FireDAC Array DML: na paraiméadair chriticiúla (gan miotais)

Maidir le Bulk-Insert le Array DML, sa chleachtas is iad na paraiméadair seo a leanas an rud cinniúnach:

1) ArraySize und Batch-Größe

ArraySize (i TFDQuery/TFDCommand) socraíonn cé mhéad “sraith” FireDAC a phróiseálfar i nglao amháin. Níl níos mó i gcónaí níos fearr. Má tá sé ró-mhór: níos mó cuimhne ar an chliant, níos mó payload ar an nasc, blocálacha/log-ualach níos mó ar an bhfreastalaí agus i gcás earráide níos mó “blast radius”. Maidir le allmhairithe láidre, is minic gurb é méid an batch idir 200 und 2.000 pointe tosaigh maith, ag brath ar líon na gcolún, BLOBs agus moill.

2) Transaktionsgrenze

Teastaíonn cinneadh soiléir uait: Commit in aghaidh gach Batch nó Commit don allmhairiú iomlán. Ní ceist blas é seo, ach cinneadh oibríochta:

• Commit in aghaidh gach Batch: cuireann sé teorainn ar na blocálacha agus ar an log idirbheart, éascaíonn sé aththosaíocht, ach bíonn státanna idirmheánacha le feiceáil (de réir an Isolation Level). Má tá earráid i Batch 17 fágann sin Batch 1–16 sa chóras.
• Commit ag an deireadh: „uile nó rud ar bith“, níos comhsheasmhaí ó thaobh gnó, ach le méideanna móra bíonn tú i mbaol blocálacha fada, rollback mór agus i gcás earráide imíonn gach rud.

Maidir le go leor próiseas comhéadan agus allmhairithe is í “Commit in aghaidh gach Batch” an straitéis oibriúcháin is réadúla – ach amháin más bhfuil idempotence agus straitéis dhúbliú go soiléir socraithe agat (m.sh. trí eochracha nádúrtha, Upserts nó ID allmhairithe).

3) UpdateOptions und Prepared Statements

Maidir le batches arís agus arís eile tá sé fiúntach an statement a choinneáil ullmhaithe. Ciallaíonn “Prepare”: ligann FireDAC don DB an statement a pharsáil/chrith agus é a athúsáid. Ag brath ar an DB, d’fhéadfadh sé seo éifeacht shuntasach a bheith aige, go háirithe faoi mhóiminteacht ard. Níos tábhachtaí ná ‘cleas 17’ anseo ná: Athúsáid chomhsheasmhach den Query-Object céanna (nó den TFDCommand céanna) agus cineálacha paraiméadar seasmha.

Láimhseáil earráide glan in aghaidh sraithe: cad atá de dhíth ort i ndáiríre

Má theastaíonn uait earráidí “in aghaidh na sraithe” a láimhseáil, teastaíonn trí rud uait:

1. Sainaithint: Cén innéacs Array (0..N-1) a theip?
2. Comhthéacs: Cén luachanna eochair ghairmiúla atá ag an tsraith seo (m.sh. ID seachtrach, uimhir chustaiméara, amstampar)?
3. Rialú: Cad a dhéanann tú ansin? Cealú, sraitheanna dona a scipeáil amháin, nó an batch a roinnt?

FireDAC can je nach Treiber Fehler je Array-Element zurückliefern. Praktisch ist das aber nicht „einfach immer da“. Du musst damit rechnen, dass manche Datenbanken/Provider nur den ersten Fehler melden oder dass im Batch ein Fehler den REST gar nicht mehr ausführt. Genau deswegen ist ein robustes Muster meist zweistufig:

• Céim A: Déan triail as an batch mar Array DML.
• Céim B: Má theipeann ar an batch, roinn é (go leath) nó tit faoi smacht ar ais chuig sraitheanna aonair — ach don batch sin amháin — agus logáil go soiléir.

Is cosúil gur obair bhreise é sin, ach i bpróisis allmhairithe is í an difríocht idir “ag 02:00 san oíche stopann gach rud” agus “ritheann an allmhairiú tríd, téann 7 shraith chuig an liosta earráidí”.

Patrún praiticiúil: Batch ar dtús, ansin leithlisiú dírithe

Tá an patrún seo tar éis cruthú a dhéanamh do réitigh bhogearraí a oibríonn go dlúth le próisis, áit a bhfuil cáilíocht na sonraí ilchineálach:

Céim 1: Sonraí i struchtúr batch a phacáistiú (lena gcomhthéacs earráide)

Sábháil na sonraí le hallmhairiú ní mar luachanna amh amháin, ach le comhthéacs íosta: ID seachtrach, uimhir líne ón bhfoinse, agus, más infheidhme, hash/checksum. Ní rud deas le bheith agat é seo: i gcás earráide ní mian leat an CSV a pharsáil arís chun a fháil amach cad atá mícheart.

Céim 2: Array-DML a fhorghníomhú

Socraíonn tú ArraySize ar fhad an batch, ceanglaíonn tú paraiméadair mar eagar agus ritheann tú ExecSQL. Tábhachtach: coinnigh na cineálacha paraiméadar seasmhach (m.sh. ná ceangail réimsí uimhriúla uaireanta mar String agus uaireanta mar Integer), ar shlí eile tá an DB ag déanamh castálacha implícite nó beidh ar FireDAC tiontú a dhéanamh in aghaidh gach eilimint.

Céim 3: Cás earráide – an batch a theorannú in ionad é a athdhéanamh go folamh

Má theipeann ar ExecSQL, tá dhá rogha chobhsaí agat:

• Binary Split (le dhá/halbheáil): Roinn an batch i dhá leath agus déan iarracht arís gach leath mar Array-DML. Déanfaidh tú é seo a athdhéanamh go dtí go mbeidh tú i lár mhéid bheag is féidir leat a sheiceáil aonair. Buntáiste: Coinníonn tú formhór na feidhmíochta má tá ach cúpla línte lochtach. Míbhuntáiste: Níos mó loighic, agus níl mórán tairbhe aige i gcás earráidí córasacha (m.sh. cineál sonraí mícheart).
• Fallback ar shnáidheanna aonair don batch seo: Socraíonn tú ArraySize=1 (nó ceanglaíonn tú luachanna aonair) agus ritheann tú gach líne ina n-aonar, logáilfidh tú earráidí agus leanfaidh tú ar aghaidh. Buntáiste: Simplí agus ráthaithe in aghaidh na líne. Míbhuntáiste: Caillfidh tú luas sa batch seo.

Sna cleachtais, comhcheanglaím an dá bhealach: tosaím le 1–2 split (chun „blocanna maithe“ a réiteach go tapa), ansin aistrím go línte aonair nuair a bhíonn iarmhairtí beaga le haghaidh logála faisnéise earráide shoiléir.

Réada earráide agus teachtaireachtaí: Cad ba cheart duit a bhaint as FireDAC

Cuimsíonn FireDAC earráidí DB i Exceptions (go hiondúil EFDDBEngineException) le faisnéis shonrach. Don oibríocht tá trí leibhéal tábhachtach:

• Cód earráide DB (sonrach don DB): m.sh. SQLSTATE i PostgreSQL, Error Number i SQL Server.
• Ainm srianta/objacht: minic le fáil i dtéacs na hearráide (Unique-Index, FK-Constraint).
• Comhthéacs an ráitis: tábla, oibríocht, agus, más infheidhme, luachanna paraiméadar (bain úsáid go cúramach le sonraí pearsanta).

Más mian leat logáil in aghaidh na líne, caithfidh tú sa chás earráide an líne a aithint freisin. Is féidir le FireDAC faoi choinníollacha áirithe an t-innéacs eagar a sholáthar. Ná brath air amháin. Cruthaigh i gcónaí innéacs féin breise (suíomh sa batch) agus logáil, don suíomh sin ar a laghad, eochair ghnó amháin.

Péacáin a chosnaíonn am i allmhairí i bhfíor-thimpeallachtaí

1) „Ní raibh ann ach líne amháin“ – ach tá an idirbheart cheana féin „truaillithe“

Ag brath ar an DB agus an tiománaí, is féidir le hearráid a bheith mar chúis le go nglactar leis go bhfuil an t-eagrán iomlán den ráiteas teipthe agus go mbeidh an idirbheart i stát ina gcaithfidh tú é a rollú go soiléir nó ina mbeidh ráitis eile ag teip. Go háirithe le roinnt tiománaithe ní gá go bhfuil sé sábháilte a cheapadh go bhfeidhmeoidh „leanúint ar aghaidh“ tar éis earráid.

Comhfhreagras: Má oibríonn tú i idirbheart agus má theipeann ar batch, is é an cúrsa gnáth: rollback ar chomhthéacs an batch reatha (nó ar an idirbheart iomlán) agus ansin tosú arís. Oireann sé sin go maith le „commit in aghaidh an batch“.

2) Autocommit vs. idirbheart sainmhínithe

Mura dtosaíonn tú idirbheart sainmhínithe, is minic a dhéanann an tiománaí/soláthraí cinneadh conas a dhéanann sé commit ar na ráitis. Do allmhairí móra is annamh a bhíonn sin mar atá uait. Tugann idirbhearta shainmhínithe smacht duit ar:

• fad na glasála
• Iompraíocht tarraingthe siar
• Pointeanna ath-thosaigh

Agus: Ní chiallaíonn „sonrach“ „idirbheart ollmhór“. Ciallaíonn sé „go cúramach“.

3) Spreagairí, srianta agus éifeachtaí taobh

Téann Array DML i bhfeidhm ar an aistriú, ach ní chuirfidh sé go huathoibríoch feabhas ar an obair ar thaobh an fhreastalaí. Má tá spreagairí ar an tábla sprioc (m.sh. logáil iniúchta, ríomh uathoibríoch stádais), b’fhéidir nach é an ionchur an bottleneck ach an cód spreagairí. Sa chás sin d’fhéadfadh baisc a bheith le níos lú turasanna timpeall, ach fanfaidh an CPU ar an bhfreastalaí bunachar sonraí mar an fachtóir teorannach.

Do riaracháin agus do cheannairí teicniúla: Má tá fadhbanna feidhmíochta ann, is fiú súil a chaitheamh ar imeachtaí fanaithe agus blocálacha agus ar an log idirbhearta. Is é an ionchur mór ansin ach an spreagadh, ní an chúis.

4) Cineálacha sonraí agus tiontuithe intuigthe

Ceann de na cúiseanna is coitianta don cheist „Cén fáth go bhfuil sé mall?“ ná: ceanglaítear paraiméadair mar shreang, agus déanann an bunachar sonraí castáil in aghaidh gach líne go Integer/Date/Decimal. Tá sé seo dofheicthe, ach costasach. Chun feidhmíocht chobhsaí:

• Socraigh cineálacha sonraí paraiméadar go cuí (dáta mar dháta, uimhir mar uimhir).
• I gcás deiciméideacha, bí cúramach le saincheisteanna réigiúnacha (camóg vs pointe). FireDAC is minic an rogha ceart anseo, ach ní bhíonn foinseanna meascaithe mar sin.
• Cinnteoidh straitéis maidir le críosanna ama/UTC roimh ré (bíonn stampaí ama coitianta i gcomhthéacs ionchuir).

5) Teachtaireachtaí earráide do dhaoine, ach ní do uathoibriú

Tá sé tarraingteach téacs earráide a pharsáil („duplicate key value violates unique constraint …“). Déan é sin ach mar rogha dheireanach. Is fearr cóid struchtúrtha (SQLSTATE, Uimhir Earráide). Ar an drochuair, ní thugann gach tiománaí gach rud go cothrom. Pleánáil mar sin an dá rud: cód agus téacs, agus go roghnach „ainm an srian ón téacs“, ach gan spleáchas dian.

Leideanna dífhabhtaithe: Mar a aimseoidh tú go tapa an líne atá lochtach

Baisc in-athghiniúnach a dhéanamh

Má theipeann ar ionchur ó am go chéile, beidh in-athghiniúnacht uait. Sábháil do gach baisc comhad diagnóise beag nó iontráil log a chuimsíonn:

• Uimhir na baisce agus an t-am
• Méid an eagar (ArraySize) agus mód idirbhearta
• An liosta d’eochracha gnó (m.sh. IDanna seachtracha) sa baisc

Is minic go leor é sin chun ina dhiaidh sin ionchur bheag dírithe a reáchtáil ach do na IDanna sin.

SQL deiridh a nochtadh (ach gan sceitheadh sonraí)

Sa dífhabhtú ba mhaith leat a fháil amach: An bhfuil an SQL ceart? An bhfuil na paraiméadair i gceart? FireDAC soláthraíonn faireachán/rianú trí chomhpháirteanna FDMoni agus logáil tiománaithe. I dtimpeallachtaí gar don táirgeadh tá sé tábhachtach:

• Cuir rianú ar siúl go beacht agus sealadach amháin (feidhmíocht agus cosaint sonraí).
• Logáil luachanna paraiméadar ach i dtimpeallacht shábháilte nó iad a mhaisc.
• Maidir le sonraí pearsanta: sa log ach eochracha teicniúla (IDanna) agus gan aon ábhar i bhfoirm téacs soiléir.

Má tá tú ag tástáil scoilte: sonraigh critéir chun scor

Le scoilt dé-bhunaithe níor mhaith leat scoilteadh gan teorainn. Socraigh ísliúid, m.sh. „más lú ná 20 líne, aistrigh go mód aonair“. Agus socraigh teorainn ar an líon earráidí a ghlacfaidh tú leis roimh do ionchur a scor (m.sh. i gcás fadhbanna mapála córasach). Mura mbeadh sin ann, rachaidh tú i liostaí earráide gan deireadh agus bacfaidh tú próiseáil breise.

Cathain is fiú an iarracht i ndáiríre (agus cathain nach bhfuil)

Tá Array DML le láimhseáil earráide in aghaidh gach líne thar a bheith tairbheach go háirithe má tá:

• Go leor línte á bpróiseáil (na mílte go dtí na milliúin).
• Beagán línte lochtacha a bheith ann, ach gur mhaith leat an próiseas a rith ar aon nós.
• Caithfidh an ionchur rith go cobhsaí san oibriú (m.sh. próiseáil oíche, seirbhís gan comhéadan úsáideora).
• Más gá duit liosta earráidí a thabhairt ar ais don earnáil nó don fhoinse (le tagairt do líneanna).

Níl sé chomh héifeachtach má:

• más scríobhann tú ach cúpla deichnacha línte (tá inserts aonair ceart go leor),
• má tá cáilíocht na sonraí chomh dona go n-éiríonn 30–50% de na línte as (sa chás sin bheadh straitéis tábla réamhstórála níos oiriúnaí),
• más úsáideann tú cheana modh lódála dúchasach don DB (m.sh. COPY i PostgreSQL, BCP/BULK INSERT i SQL Server) – ansin níl Array DML an uirlis cheart.

Ailtireacht mhalartach: Tábla réamhstórála in ionad „go díreach chuig an sprioc“

Má bhíonn tú ag streachailt go rialta le caighdeán sonraí measctha, is minic nach é an cinneadh ceart ná insert go díreach isteach sa tábla sprioc. Is é tábla réamhstórála (réamhchéim) an tábla ina stórálann tú sonraí ar dtús go teicneolaíoch i gceart (má úsáidtear cineálacha “bog” más gá), agus ina dhiaidh sin déanann tú an bhailíochtú agus an t-aistriú go dtí an tábla sprioc.

Buntáistí san oibriú:

• Fanann taifid lochtacha stóráilte agus is féidir iad a rianú (lena n-áirítear sonraí amh).
• Is féidir bailíochtú a reáchtáil go neamhspleách agus in-atghlaoite.
• Scaoilfeartaíonn tú glacadh comhéadan ó phróiseáil ghnó.

Is minic gurb é Array DML an bealach tapa chuig an tábla réamhstórála, agus tarlaíonn an t-aistriú chuig an tábla sprioc mar SQL bunaithe ar shraith (set-based SQL) nó mar Stored Procedure. Cuireann sé sin an láimhseáil earráidí níos mó ar thaobh an DB, rud a d’fhéadfadh a bheith oiriúnach nó míchomhlíontach ag brath ar struchtúr na heagraíochta (rólanna DBA, deployment).

Oibriú agus Riarthóireacht: Cad ba chóir do cheannairí IT agus do riarthóirí a bheith ar eolas fúthu

Monatóireacht: Ráta earráidí agus Throughput mar na príomh-mhéadracha

Chun allmhairiú mór a chothabháil go cobhsaí, tá dhá mhéadar níos léirithe ná an am rith amháin:

• Throughput: línte in aghaidh na nóiméad (nó in aghaidh an Batch) lena n-áirítear buaic/meán.
• Ráta earráidí: línte lochtacha in aghaidh an rith, go h-idéal grúpáilte de réir ranganna earráide (Unique, FK, NOT NULL, coinbhleacht cineál).

Mura bhfuil tú ag féachaint ar na luachanna seo go rialta, beidh sé deacair a aithint go luath an bhfuil athrú sa fhoinse (m.sh. formáid nua) nó an bhfuil an córas sprioc (m.sh. constraints nua) tar éis éirí níos déine.

Blocálacha agus fuinneoga ualaigh

D’fhéadfadh bulk-inserts locking agus ualaí IO a ghiniúint. Má oibríonn úsáideoirí in éineacht ar na táblaí céanna, caithfidh tú machnamh a dhéanamh ar leibhéil insliú (Isolation Level), innéacsanna agus, más gá, páirteachú (partitioning). Ar chleachtas: cuir imports i bhfuinneoga ualaigh, nó dearadh an sreabhadh sonraí ionas go mbeidh sé in ann cónaí le hoibriú reatha (m.sh. trí staging + glacadh asínchrónach).

Seicliosta shonrach le haghaidh bulk-insert iontaofa le Array DML

• Méid Batch a shocrú (luach tosaigh 500–1.000) agus é a thunáil go tomhaiste.
• Idirbheart shoiléir: Commit in aghaidh an Batch mar réamhshoc; „Commit ag deireadh“ amháin i gcásanna atá iomlán comhsheasmhach.
• Cineálacha paraiméadar seasta a shocrú, gan castálacha intuigthe a éileamh.
• Comhthéacs earráide in aghaidh gach taifid a iompar (ID seachtrach, líne fhoinse).
• Straitéis earráide: Batch ar dtús, ansin Split/Fallback, agus logáil in aghaidh gach líne.
• Logging: cóid + téacs, ach comhlíontach ó thaobh cosanta sonraí; gabh Batch-ID agus Lauf-ID.
• Atosaigh: cinntigh idempotence (eochair/Upsert/Import-ID).

Conclúid: Tá Array DML tapa — éiríonn sé iontaofa trí phróisis agus straitéis earráide

Is uirlis láidir é FireDAC Bulk-Insert le Array DML, ach amháin má dhéanann tú cosúil nach bhfuil aon earráidí ann. I sruthanna sonraí fíorúla bíonn i gcónaí eisceachtaí: taifid dúblacha, tagairtí ar iarraidh, agus luachanna dáta briste. Is é an cur chuige glan, dá réir, ná: Array DML don fheidhmíocht, comhcheangailte le straitéis aonraithe rialaithe (Split nó Fallback) agus le liosta earráidí inbhreathnaithe in aghaidh gach sraithe. Mar seo gheobhaidh tú luas agus iontaofacht oibriúcháin le chéile – agus sin go díreach an t‑ábhar tábhachtach nuair nach rithtear imports ach sa saotharlann, ach caithfidh siad dul trí go muiníneach gach oíche.

Má tá sibh ag iarraidh próiseas import nó próiseas comhéadan atá ann cheana i Delphi/FireDAC a chobhsaíú (feidhmíocht, idirbhearta, aththosú, logáil), déanfaimid é sin a phlé go struchtúrtha i gcomhrá teicniúil:

Chomh maith leis an ábhar seo, tá Delphi Bulk Insert agus Bulk Insert Delphi FireDAC tábhachtach. Cuireann an t-alt na gnéithe seo in ord go soiléir agus taispeánann sé cad atá tábhachtach sa chleachtas laethúil.

Pléigh tionscadal nó tionscnamh nuachóirithe le Net-Base.