A magazintémától a projektgyakorlatig
A bejegyzéshez tartozó szolgáltatási és technikai oldalak
Video-Botschaft
FireDAC: Paramétertömbök IN-kifejezésekhez – biztonságos kibontási logika, adatbázisonkénti korlátok és a végleges SQL hibakeresése
Warum IN (:ids) mit FireDAC im Betrieb an DB-Limits scheitert, wie Expand/Chunking robust hilft und wie man die finale SQL sauber traced.
Video mit KI erstellt
Transkript anzeigen
Hallo zusammen. IN (:ids) wirkt wie Komfort.
In der Praxis ist es oft ein Stolperdraht. Der Beitrag heißt: FireDAC: Parameter-Arrays für IN-Clauses – sichere Expand-Logik, Limits pro DB und Debugging der finalen SQL.
Der Fehler kommt selten im ersten Test. Er kommt nachts im Batch oder wenn jemand im Backoffice 1.400 Datensätze markiert.
Dann melden Datenbanken Grenzen wie ORA‑01795, „too many SQL variables“ oder ein Parameter-Limit. Wichtig ist die klare Trennung: Parameter sind gebundene Werte, keine Textliste.
Eine robuste Lösung expandiert sauber auf mehrere Platzhalter, arbeitet bei großen Listen mit Chunking in Blöcken und behandelt „Liste leer“ bewusst. Und fürs Debugging: nicht raten, sondern die finale SQL per Trace nachvollziehen, zum Beispiel mit FDMonitor.
Wenn Sie dazu Rückfragen haben, sprechen wir gern kurz über Ihren konkreten Fall.
A hiba ritkán jelentkezik az első tesztnél. Éjszaka a batch-ben jön elő, vagy amikor egy admin a backoffice-ban „csak úgy” nagyobb kijelölést végez. A logban ilyesmi áll majd: „too many SQL variables”, ORA‑01795 vagy egy SQL‑Server-hiba, amelynek az eredeti use case-hez kevés köze van. Aki ezen a ponton még a kényelmes mintára WHERE id IN (:ids) támaszkodik, gyorsan rájön: ez nem kényelmi funkció, hanem egy buktató.
Pont erről szól a BDE-Ablosung mit nativer Anbindung: Parameter-Arrays für IN-Clauses: nem trükkök gyűjteménye arra, hogyan tuszkoljunk tetszőleges hosszú listákat „egy paraméterbe”, hanem egy robusztus expand- és chunking-logika, amely tiszteletben tartja az adatbázis-korlátokat és jól debuggolható.
A mögöttes célkonfliktus valós és szinte minden rendszerben ismétlődik:
- Maximális biztonság és karbantarthatóság: az értékek kötve vannak (nincs SQL-injekció), a tervek újrahasznosíthatók, a naplózás kontrollálható marad.
- Maximális robosztusság nagy listáknál: ne törjenek át kemény DB-korlátok, ne legyenek „csak az X ügyfélnél” jelentkező hibák, reprodukálható hibakeresés.
Mindkettő elérhető – de csak akkor, ha a mechanikát világosan elkülönítjük: a paraméterek értékek, a makrók/helyettesítés SQL-szöveg. És: a nagy listák guardrail-eket igényelnek.
FireDAC: Parameter-Arrays für IN-Clauses in der Praxis
BDE-Ablosung mit nativer Anbindung tudatosan megkülönbözteti a paramétereket (kötött értékek) és a makrókat/helyettesítést (szövegrészletek, amelyeket a prepare előtt illesztenek be az SQL-szövegbe). A preprocessing képes a Command-Text átalakítására, a makrók expanziójára és a végleges statement-struktúra előállítására – de az értékek kötése ettől elkülönül.[Forrás]
Formálisnak hangzik, de valójában biztonsági és üzemeltetési kérdés: egy paraméter tipikusan egy értéket reprezentál az SQL-ben. Ha egy listát szövegként csempészel a zárójelek közé, gyorsan a string-konkaténáció vagy a makróhelytelen használat csapdájába esel. Mindkettőből egy biztonságos lekérdezés lesz, amelyet folyamatosan védened kell SQL-injekció, speciális karakterek és típuskonverziók ellen – ráadásul gyengíti az adatbázis végrehajtási terv gyorsítótárazását.
A megbízható szabály ezért ez: vagy több helyőrzőből álló IN-listát hozol létre és minden értéket külön paraméterként kötsz, vagy megváltoztatod a technikát és az adatbázisnak értékkészletet adsz „táblaként” (ideiglenes tábla, Collection/Array-típus, Table-Valued Parameter). FireDAC maga nem dönt helyetted ebben az architektúrafeladatban.
Mérlegkép: Három megoldás az IN-listához – Előnyök, Munkaigény, Kockázatok
Mielőtt az implementációs részletekről vitatkoznánk, érdemes tisztán látni az opciókat. Nem arról van szó, mi „helyes vs. helytelen“, hanem arról, hogy hol vállalod a kockázatot: a Delphi-kódban vagy az adatbázis-üzemeltetésben.
Weg 1: Expand auf viele Parameter (IN (:p0,:p1,…))
Előny: megmarad a paraméter-kötésen belül, működik FireDAC-vel backendek között, nem igényel további DB-objektumokat.
Ráfordítás: mérsékelt (string-összeállítás + paraméternevek + paraméterkötések).
Kockázatok/Korlátok: kemény korlátok (paraméterszám, IN-kifejezések), a statement-változatok robbanásszerűen megszaporodhatnak erősen változó listaméret esetén.
Alkalmas: szűrőlisták „néhány száz“ elemig, utólagos integráció meglévő üzleti szoftverbe, több adatbázis-backendet érintő megoldások.
Weg 2: Chunking (mehrere IN-Blöcke per OR, sauber geklammert)
Előny: tiszteletben tartja a limiteket, több adatbázison át kompatibilis, nagyon nagy listákat képes kezelni DB-specifikus funkciók nélkül.
Ráfordítás: nagyobb (zárójel-logika, blokkok kialakítása, paraméterkezelés, tesztek).
Kockázatok/Korlátok: hosszú WHERE-klauszulák; OR-láncok befolyásolhatják az optimalizálót/lekérdezési terveket; a hibakeresésnek kontextust kell adnia (blokkméret/darabszám).
Alkalmas: Oracle/SQL Server/SQLite egy kódalapon, ha nagy listák csak időnként fordulnak elő.
Weg 3: Werte als „Tabelle“ übergeben (Temp-Tabelle / TVP / Collection)
Előny: az SQL rövid marad, a tervstabilitás gyakran jobb, nagyon nagy mennyiségek kezelhetők.
Ráfordítás: adatbázis-specifikus; üzemeltetés/deploy (séma, jogosultságok, cleanup/transakciók) a megoldás részévé válik.
Kockázatok/Korlátok: több mozgó elem (migrációk, monitoring, jogosultságok).
Alkalmas: rendszeresen nagy mennyiségek (ezreket meghaladó), batch-feldolgozás, ha a backend rögzített és az üzemeltetés vállalja a terhet.
Harte Limits pro Datenbank: die eigentlichen Treiber für Expand-Logik
A korlátok azok az okok, amelyek miatt a „läuft doch lokal“ az üzemeltetésben nem elegendő. Nem a Delphi-kódod a döntő, hanem az, hogy a backend milyen statement-formát és paraméterszámot fogad el.
| Adatbázis | Releváns limit | Tipikus hibajelenség | Gyakorlati következmény |
|---|---|---|---|
| Oracle | Max. 1000 kifejezés egy IN-listában | ORA-01795 | Chunking vagy alternatív technika (JOIN/Collection) szükséges, amint a listák „valóban“ nagyokká válnak |
| SQL Server | Max. 2100 paraméter per Statement/Batch | Hiba túl sok paraméter esetén | Tartalékot tervezni kiegészítő paraméterekre; küszöb felett chunking vagy TVP mérlegelése |
| SQLite | Max. host-paraméter (alapértelmezésként hagyományosan gyakran 999, verziótól/buildtől függően) | „too many SQL variables“ | Chunkinget korán aktiválni; a limitet dokumentálni az üzemeltetésben, mert disztribúciótól függően változhat |
| PostgreSQL | A paraméterek száma korlátozott (protokoll-/implementációs okokból) | Hiba extrém paramétermennyiségek esetén | Felső határt definiálni; nagyon nagy mennyiségnél értéktábla-stratégiát mérlegelni |
Az Oracle esetében a 1000-es határ jól dokumentált: az IN-feltételben legfeljebb 1000 kifejezés engedélyezett.[Forrás] A fontos következtetés: a limit a SQL-feltétel szerkezeti korlátjaként értendő, nem „literálprobléma”. Az AskTOM az ORA‑01795-et ennek megfelelően kemény IN-lista határként kezeli, és a felosztást/összekapcsolást nevezi tipikus megoldásnak – alternatívaként pedig egy értékkészlet elleni JOIN-t említ.[Forrás]
A SQLite csalfa, mert nem az „IN-kifejezésekkel” ütközik az ember, hanem a kötött változók (bind variables) számával. A korlát SQLITE_MAX_VARIABLE_NUMBER néven dokumentált, és verziótól/buildtől függően jelentősen változhat. Következmény: aki a SQLite-ot csak „szélen” használja (tesztek, eszközök, offline kliensek), annak is kell egy Expand-logika, ami nem akad meg hirtelen 999 paraméternél.[Forrás]
Sichere Expand-Logik: was sie leisten muss (und was nicht)
Ha Expand/Chunking megoldást építesz, ne „string-barkács” legyen, hanem kis infrastruktúra-komponens. Megbízhatóan négy dolgot kell megoldania:
- Csak helyőrzőket generáljon: az értékeket kizárólag FireDAC-paramétereken keresztül kell kötni.
- Az üres listát explicit kezelje: meghatározott útvonal, nincs SQL-szintaxis-hiba, nincs hallgatólagos szemantikai módosulás.
- Figyelembe venni a korlátokat és a tartalékot: adatbázisonként egy küszöb, plusz puffer a lekérdezés további paraméterei számára.
- Hibakeresési kontextust adjon: értékek száma, blokkméret, blokkok száma, opcionálisan fingerprint – ahelyett, hogy mindent tiszta szövegben írna.
Leere Listen: der Null-Fall ist der häufigste Produktions-Fall
„Nincsenek ID-k” folyamatosan előfordul: jogosultságfilterek, keresési szűrők, törölt rekordok, üres szelekció. És pont itt lesz sok implementáció kétes, mert megpróbálják valahogy „megmenteni az IN ()-t”.
Pragmatikus, jól tesztelhető opciók:
- Nincs DB-hívás: ha az eseted eredményhalmazt kell visszaadjon, térj vissza rögtön üres eredménnyel (különösen szolgáltatásokban és API-kban ésszerű).
- Mindig hamis feltétel: ha architekturális okokból végre kell hajtani a lekérdezést, helyettesítsd az IN-részt egy biztosan hamis feltétellel (pl. 1=0), ahelyett, hogy egy „IN (NULL)” konstrukciót kreálnál.
Chunking: warum „Reserve“ mehr zählt als das dokumentierte Limit
A chunking nem csak Oracle-hoz jó. Ez a biztosításod két tipikus realitás ellen: további paraméterek (bérlő, státusz, időszak, jogosultságok) és kiszámíthatatlan listaméretek.
Néhány vezérelv, amire a review-ok során fel kell hívni a figyelmet:
- Blokkméret soha ne legyen a maximumon: ha például a SQL Server 2100 paramétert engedélyez, akkor a 2090-es blokkméret nem jó ötlet, mert a lekérdezés ritkán áll csak az IN-listából.
- Az OR-blokkokat zárójelezni kell: amint egy további AND bekerül, zárójelek nélkül megváltozik a logika.
- Paraméternevek determinisztikusan: Prefix + Index (pl. :ids_0001) megkönnyíti a nyomonkövetést, a reprodukciókat és a diff-elemzéseket.
Példa (konstruált): Ha egy batch-feladat hirtelen „ügyfélspecifikus” hibát ad
Debugging der finalen SQL: Warum der Wunsch verständlich ist – aber selten das Richtige trifft
Sok csapat keresi a „végső SQL”-t, azaz egy olyan stringet, amelyben az összes paraméterérték „be van helyettesítve”. Kötött paraméterek esetén ez gyakran ál-igény: az adatbázis külön kapja meg a statementet és az értékeket. Ez a normál eset a biztonságos végrehajtáshoz és a plan-reuse-hoz. Egyetlen, kanonikus „végrehajtási SQL” ezért gyakran nem létezik abban az értelemben, ahogy a kézzel összerakott SQL-t ismerjük.
In FireDAC vezet a tiszta hibakeresési út a FDMonitor használatához. Ott látod a Prepare/Execute eseményeket, a statement szövegét, a paraméterértékeket (típusokkal) és a műveletszekvenciát. Ez közelebb áll ahhoz, ami a backendben valójában történik, mint bármely saját készítésű string-rekonstrukció.[Quelle]
Mit kell a Trace-ből célzottan kiértékelni
- A WHERE-klauszula szerkezete: Az OR-blokkok zárójelezve vannak-e, mielőtt további AND-szűrők következnek?
- Paraméterek száma: Valójában hány paraméter van – beleértve a bérlőt/státuszt/időszakot? Ez dönti el az SQL-Server és SQLite korlátait.
- Típuskötés: A numerikus ID-k ténylegesen numerikusan vannak-e kötve? Stringek vs. számok kérdése nem kozmetika; befolyásolhatja az indexhasználatot és a lekérdezési terv választását.
- Statement-variánsok: Minden eltérő számú helyettesítő egy másik statement-szöveg. Változó hosszúságú listáknál ez több Prepare-variánst eredményez; fix blokkméretű chunking csökkentheti a varianciát.
Naplózás: SQL + kontextus ahelyett, hogy SQL + 2.400 érték
Éles logokban ritkán akarod minden egyes értéket látni. Diagnózist akarsz elfogadható logméret mellett és felesleges adatexpozíció nélkül. Tipikus, hasznos mezők:
- Értékek száma (Count)
- Blokkméret és blokkok száma
- Ujjlenyomat a normalizált listáról (pl. Hash), az ismétlődések felismeréséhez anélkül, hogy a tartalmat kiírnánk
- Rövidített előnézet (pl. első/utolsó 5 érték), ha az adatvédelmi és szakmai szempontból elfogadható
Parameter-Arrays in FireDAC: a kifejezés, amely gyakran félrevezető
FireDAC dokumentálja a „paraméter‑tömböket” elsősorban az Array-DML (Batched Execution) kontextusában: sok rekord hajtódik végre egy statementben azáltal, hogy a paraméterértékeket tömbökként állítják be. Ez egy teljesítmény‑funkció INSERT/UPDATE/DELETE műveletekhez – de nem oldja meg automatikusan az „IN‑lista mint egy paraméter” problémáját. Ez két különböző használati eset, amelyek nyelvileg hasonlónak tűnnek, de operatívan másként működnek.[Forrás]
Gyakorlati következmény a csapatkommunikációban: ha valaki „Parameter‑Arrays für IN”‑ről beszél, érdemes rákérdezni: Array‑DML‑re gondolsz, vagy Expand/Chunking‑re a WHERE IN esetén? Ez a tisztázás megakadályozza, hogy végül ismét értékek kerüljenek be szöveges helyettesítéssel az SQL‑be.
Review-Checkliste: typische Fallstricke, die später teuer werden
1) „Alles als String“ ist bequem, aber kann Indizes aushebeln
Ha az oszlop numerikus, a kötött paramétereknek numerikusnak kell lenniük. Ellenkező esetben implicit konverziók történhetnek. Ezek nehezen észlelhetők, de költségesek: előfordulhat, hogy az indexek nem az elvárt módon kerülnek használatra, vagy hogy a végrehajtási tervek terhelés alatt váratlanul megváltoznak.
2) Duplikate und ungültige Werte treiben dich unnötig Richtung Limit
A duplikátumok eltávolítása csökkenti a paraméterszámot szakmai hátrány nélkül. Ugyancsak célszerű korán kiszűrni az üres stringeket vagy egyértelműen érvénytelen azonosítókat. Ez nem egy „találgatásra” alapuló optimalizáció, hanem közvetlenül csökkenti annak esélyét, hogy átlépjünk limiteket.
3) Klammerung ist Semantik, kein Stil
Egy rosszul zárójelezett OR‑blokk helytelen adathalmazt ad vissza – gyakran hibaüzenet nélkül. Ez a legkevésbé kedvező hibakép: csendes, nehezen reprodukálható és szakmailag kockázatos. Ha Chunkingot alkalmaznak, a zárójelezést a tesztekben kifejezetten ellenőrizni kell (nem csak azt, hogy „fut”).
4) Freies Expandieren erzeugt viele Statement-Varianten
Ha a lista mérete erősen ingadozik, ingadozik a helyőrzők száma és ezzel maga a statement‑szöveg is. Ez növeli a prepare‑variánsok számát, és a monitoringban „sok Parse/Prepare”‑ként jelentkezhet. Fix blokkméretű Chunking (kivéve az utolsó blokk) csökkenti a varianciát, de nem szünteti meg teljesen. Ha ez ténylegesen problémát okoz, a következő szint általában a „értékek mint tábla” megközelítés.
Umsetzungsfahrplan: so wird aus einem Randfall ein Standardbaustein
- Bemenet normalizálása: trimelés, duplikátumok eltávolítása, érvénytelen értékek elvetése, opcionálisan rendezés (stabil Fingerprint).
- Backend‑profil definiálása: adatbázisonként limit meghatározása (IN‑expressziók vagy paraméterlimit) és egy tartalék tervezése a további paraméterekre.
- Stratégia választása: kis listák → Expand; bizonytalan vagy nagyobb listák → Chunking; nagyon nagy és gyakori listák → értéktábla‑megjegyzés/megközelítés kiértékelése.
- SQL generálása: csak helyőrzők; OR‑blokkok zárójelezése; további AND‑szűrőket egyértelműen az OR‑csoporton kívül tartani.
- Paraméterek kötése: típusokat megfelelően beállítani; NULL‑értékeket tudatosan kezelni (NULL az IN‑ben általában hatástalan és megzavarhatja a hibakeresést).
- Diagnosztika beépítése: Count/Chunk/Fingerprint a logba; FDMonitor-Trace dokumentálása a Runbookban „mélyebb hibakeresési módként”.
- Határtesztek: 0, 1, Limit-1, Limit, Limit+1 (mindegyik plusz kiegészítő paraméterek), hogy a viselkedés változások esetén is stabil maradjon.
Mikor éri meg ténylegesen a többletráfordítás (és mikor nem)
Nem minden alkalmazásnak van szüksége a teljes eszköztárra. A többletmunkát különösen akkor érdemes vállalni, ha legalább az alábbiak közül egy teljesül:
- A listák felhasználói kiválasztásból vagy jogosultsági hatókörökből származnak (a méret nehezen előrejelezhető).
- A batch-folyamatok felügyelet nélkül futnak (a hibákat gyorsan diagnosztizálni kell).
- Több adatbázis támogatása (pl. Oracle/SQL Server/SQLite-keverék, például eszközök/tesztek esetén).
- Az érintett tábla nagy és teljesítménykritikus (a típuskötés és a tervstabilitás számít).
Ha ezzel szemben egy jól körülhatárolt backended van, és az Use Case garantáltan kis listákat használ (pl. UI-szűrők legfeljebb 50 azonosítóval), akkor egy egyszerű Expand-megoldás is elegendő lehet – feltéve, hogy nem felejted el a nullesetet és egy határérték-tesztet. Ez nem „Überarchitektur”, hanem védelem az első valódi üzemhatár-eset ellen.
Schlusspunkt: Stabilität entsteht nicht durch Tricks, sondern durch Grenzen und Beobachtbarkeit
FireDAC megkönnyíti a helyes megoldást: paraméterkötés, a Macros külön kezelése, a statementek tiszta előkészítése. A probléma ott jelentkezik, ahol az IN-listák ellenőrizetlenül nőnek. Az, aki Expand/Chunking-et szabványos építőelemként valósít meg, adatbázisonkénti limiteket tiszteletben tart, az üres listákat normál végrehajtási útvonalnak kezeli és az FDMonitor-t a hibakeresés igazságaként fogadja el, elveszi a téma ijesztő jellegét. A kód akkor éri meg, ha nem akarsz többé találgatni, miért omlik össze egy funkció „csak nagy adatmennyiségnél” – és ha az üzem során percek alatt, nem órák alatt akarsz az okhoz eljutni.
Források és további információk
A szakmai alapállításokat a következő külső források alapján szerkesztői szempontból értékeltük.
- Preprocessing Command Text (FireDAC) – RAD Studio (docwiki.embarcadero.com)
FireDAC elkülöníti a paraméterkötést a makróktól/helyettesítéstől, és előfeldolgozza a parancsszöveget a Prepare előtt; az értékeknek a paraméterekbe kell kerülniük, az SQL-részleteknek a makrókba. - IN Condition (docs.oracle.com)
Az Oracle legfeljebb 1000 kifejezést enged meg egy IN-listában, ezért nagy listák esetén Chunking vagy alternatív technika szükséges. - Limit and conversion very long IN list : WHERE x IN ( ,,, …) – Ask TOM (asktom.oracle.com)
Az ORA-01795-öt az IN-lista korlátjaként (max. 1000) értelmezik; tipikus megoldások a felosztás és összekapcsolás, vagy alternatívák, például értékkészletre történő JOIN. - Implementation Limits For SQLite (www.sqlite.org)
A SQLite korlátozza a host-paraméterek számát (SQLITE_MAX_VARIABLE_NUMBER), ami közvetlenül korlátozza a kibővített IN-listákat. - FDMonitor – RAD Studio (docwiki.embarcadero.com)
FDMonitor a központi FireDAC-eszköz a Statements, paraméterértékek, típusok és végrehajtási lépések nyomon követésére. - Array DML (FireDAC) – RAD Studio (docwiki.embarcadero.com)
FireDAC-paramétertömböket elsősorban az Array-DML/Batched Execution céljára dokumentálták, és nem jelentenek automatikusan megoldást az IN-listákhoz való kötésre.
Ehhez a témához a FireDAC In Clause és a Delphi Parameter Expandieren is fontosak. A bejegyzés ezeket az aspektusokat érthetően tárgyalja, és bemutatja, mire kell figyelni a gyakorlatban.
Projekt vagy modernizációs terv megbeszélése Net-Base részvételével.
Következő lépés
Ha a téma valós projektté válik, az architektúrát, a meglévő rendszert és az üzemeltetést már korán együtt kell értékelni.
Nemcsak egyedi kérdésekben támogatunk, hanem akkor is, amikor forráskódrészletekből, örökölt rendszerekkel kapcsolatos témákból vagy portálötletekből robusztus vállalati projektet kell kialakítani.
- A jelenlegi állapotot, a célállapotot és a műszaki kockázatokat együttesen értékeljük.
- REST, az adathozzáférés, a portálok és a Rollout nem kerülnek utólagos teendőkként elhalasztásra.
- Már korán láthatja, melyik út gazdaságilag és üzemeltetési szempontból életképes.