more robust versions of kmig import and export
[migration-tools.git] / kmig.d / bin / mig-export
1 #!/usr/bin/perl
2
3 use strict;
4 use warnings;
5
6 use DBI;
7 use Data::Dumper;
8 use Env qw(
9     HOME MYSQL_HOST MYSQL_TCP_PORT MYSQL_USER MYSQL_DATABASE MYSQL_PW
10         MIGSCHEMA MIGBASEWORKDIR MIGBASEGITDIR MIGGITDIR MIGWORKDIR
11 );
12 use open ':encoding(utf8)';
13 use Cwd 'abs_path';
14 use Cwd qw(getcwd);
15 use FindBin;
16 my $mig_bin = "$FindBin::Bin/";
17 use lib "$FindBin::Bin/";
18 use XML::Writer;
19 use open ':std', ':encoding(UTF-8)';
20 use Encode qw( decode_utf8 );
21 use KMig;
22
23 my $dbh = KMig::db_connect();
24 $dbh->{mysql_enable_utf8mb4} = 1;
25
26 #to do check for array passed and if not present then use tags 
27
28 my @taglist = @ARGV;
29 my $arg_list_length = scalar @taglist;
30 if($arg_list_length < 1) { @taglist = ("authorisedvalues","calendar","circrules","itemtypes","libraries","patrontypes","preferences","smsproviders"); } #borrowerattributes
31 $MIGGITDIR =~ s/\/\//\//;
32
33 my $timestamp = create_timestamp();
34
35 foreach my $backup (@taglist) {
36     my $backupfile;
37     if ($backup eq 'authorisedvalues') {
38         $backupfile = $MIGGITDIR . 'authorisedvalues' . '.' . $timestamp . '.xml';
39         print "Backing up $backupfile ... \n";
40         backup_authorisedvalues($dbh,$backupfile);
41     }
42     if ($backup eq 'borrowerattributes') {
43         $backupfile = $MIGGITDIR . 'borrower_attributes' . '.' . $timestamp . '.xml';
44         print "Restoring from $restorefile ... \n";
45         backup_borrower_attributes($dbh,$backupfile);
46     }
47     if ($backup eq 'calendar') {
48         $backupfile = $MIGGITDIR . 'calendar' . '.' . $timestamp . '.xml';
49         print "Restoring from $restorefile ... \n";
50         backup_calendar($dbh,$backupfile);
51     }
52     if ($backup eq 'circrules') {
53         $backupfile = $MIGGITDIR . 'circrules' . '.' . $timestamp . '.xml';
54         print "Restoring from $restorefile ... \n";
55         backup_circrules($dbh,$backupfile);
56     }
57     if ($backup eq 'itemtypes') {
58         $backupfile = $MIGGITDIR . 'itemtypes' . '.' . $timestamp . '.xml'; 
59         print "Restoring from $restorefile ... \n";
60         backup_itemtypes($dbh,$backupfile);
61     }
62     if ($backup eq 'libraries') {
63         $backupfile = $MIGGITDIR . 'libraries' . '.' . $timestamp . '.xml';
64         print "Restoring from $restorefile ... \n";
65         backup_libraries($dbh,$backupfile);
66     }
67     if ($backup eq 'patrontypes') {
68         $backupfile = $MIGGITDIR . 'patrontypes' . '.' . $timestamp . '.xml';
69         print "Restoring from $restorefile ... \n";
70         backup_patrontypes($dbh,$backupfile);
71     }
72     if ($backup eq 'preferences') {
73         $backupfile = $MIGGITDIR . 'systempreferences' . '.' . $timestamp . '.xml';
74         print "Restoring from $restorefile ... \n";
75         backup_preferences($dbh,$backupfile);
76     }
77     if ($backup eq 'smsproviders') {
78         $backupfile = $MIGGITDIR . 'smsproviders' . '.' . $timestamp . '.xml';
79         print "Restoring from $restorefile ... \n";
80         backup_smsproviders($dbh,$backupfile);
81     }
82 }
83
84 sub backup_authorisedvalues {
85     my $dbh = shift;
86     my $backupfile = shift;
87
88     open(my $fh, '>', $backupfile) or die "Could not open $backupfile!";
89     my $xml = XML::Writer->new(OUTPUT => $fh, DATA_MODE => 1, DATA_INDENT => 2, );
90     $xml->xmlDecl('UTF-8');
91     $xml->startTag('authorisedvalues');
92     my $query = "SELECT category,authorised_value,lib,lib_opac,imageurl FROM authorised_values WHERE category != 'ITEMTYPECAT'";
93     my $sth = $dbh->prepare($query);
94     $sth->execute();
95     while (my @row = $sth->fetchrow_array) {
96         $xml->startTag('value');
97         $xml->dataElement('category', $row[0]); 
98         $xml->dataElement('authorised_value', $row[1]); 
99         $xml->dataElement('lib', $row[2]); 
100         $xml->dataElement('lib_opac', $row[3]); 
101         $xml->dataElement('imageurl', $row[4]); 
102         $xml->endTag('value');        
103     }
104     $xml->endTag('authorisedvalues');
105     $xml->end();
106     close $fh;
107     return;
108 }
109
110 sub backup_borrower_attributes {
111     my $dbh = shift;
112     my $backupfile = shift;
113
114     open(my $fh, '>', $backupfile) or die "Could not open $backupfile!";
115     my $xml = XML::Writer->new(OUTPUT => $fh, DATA_MODE => 1, DATA_INDENT => 2, );
116     $xml->xmlDecl('UTF-8');
117     $xml->startTag('document');
118
119     $xml->startTag('borrower_attribute_types');
120     my $query = "SELECT code,description,repeatable,opac_display,opac_editable,staff_searchable,authorised_value_category,display_checkout,category_code,class FROM borrower_attribute_types";
121     my $sth = $dbh->prepare($query);
122     $sth->execute();
123     while (my @row = $sth->fetchrow_array) {
124         $xml->startTag('value');
125         $xml->dataElement('code', $row[0]);
126         $xml->dataElement('description', $row[1]);
127         $xml->dataElement('repeat', $row[2]);
128         $xml->dataElement('opac_display', $row[3]);
129         $xml->dataElement('staff_searchable', $row[4]);
130         $xml->dataElement('auth_value_cat', $row[5]);
131         $xml->dataElement('display_checkout', $row[6]);
132         $xml->dataElement('category_code', $row[7]);
133         $xml->dataElement('class', $row[8]);
134         $xml->endTag('value');
135     }
136     $xml->endTag('borrower_attribute_types');
137
138     $xml->startTag('authorised_value_categories');
139     $query = "SELECT category_name FROM authorised_value_categories WHERE category_name IN (select category_name from borrower_attribute_types)";
140     $sth = $dbh->prepare($query);
141     $sth->execute();
142     while (my @row = $sth->fetchrow_array) {
143         $xml->dataElement('value', $row[0]);
144     }
145     $xml->endTag('authorised_value_categories');
146
147     $xml->startTag('authorised_values');
148     $query = "SELECT category,authorised_value,lib,lib_opac,imageurl FROM authorised_values where category in (select category_code from borrower_attribute_types);";
149     $sth = $dbh->prepare($query);
150     $sth->execute();
151     while (my @row = $sth->fetchrow_array) {
152         $xml->startTag('value');
153         $xml->dataElement('category', $row[0]);
154         $xml->dataElement('authvalue', $row[1]);
155         $xml->dataElement('lib', $row[2]);
156         $xml->dataElement('lib_opac', $row[3]);
157         $xml->dataElement('image_url', $row[4]);
158         $xml->endTag('value');
159     }
160     $xml->endTag('authorised_values');
161
162     $xml->endTag('document');
163     $xml->end();
164     close $fh;
165     return;
166 }
167
168 sub backup_calendar {
169     my $dbh = shift;
170     my $backupfile = shift;
171
172     open(my $fh, '>', $backupfile) or die "Could not open $backupfile!";
173     my $xml = XML::Writer->new(OUTPUT => $fh, DATA_MODE => 1, DATA_INDENT => 2, );
174     $xml->xmlDecl('UTF-8');
175     $xml->startTag('holidays');
176
177     my $query = "SELECT branchcode,weekday,day,month,title,description FROM repeatable_holidays";
178     my $sth = $dbh->prepare($query);
179     $sth->execute();
180     while (my @row = $sth->fetchrow_array) {
181         $xml->startTag('repeatable');
182         $xml->dataElement('branchcode',$row[0]);
183         $xml->dataElement('weekday',$row[1]);
184         $xml->dataElement('day',$row[2]);
185         $xml->dataElement('month',$row[3]);
186         $xml->dataElement('title',$row[4]);
187         $xml->dataElement('description',$row[5]);
188         $xml->endTag('repeatable');
189     }
190
191     $query = "SELECT branchcode,day,month,year,isexception,title,description FROM special_holidays";
192     $sth = $dbh->prepare($query);
193     $sth->execute();
194     while (my @row = $sth->fetchrow_array) {
195         $xml->startTag('special');
196         $xml->dataElement('branchcode',$row[0]);
197         $xml->dataElement('day',$row[1]);
198         $xml->dataElement('month',$row[2]);
199         $xml->dataElement('year',$row[3]);
200         $xml->dataElement('isexception',$row[4]);
201         $xml->dataElement('title',$row[5]);
202         $xml->dataElement('description',$row[6]);
203         $xml->endTag('special');
204     }
205
206     $xml->endTag('holidays');
207     $xml->end();
208     close $fh;
209     return;
210 }
211
212 sub backup_circrules {
213     my $dbh = shift;
214     my $backupfile = shift;
215
216     open(my $fh, '>', $backupfile) or die "Could not open $backupfile!";
217     my $xml = XML::Writer->new(OUTPUT => $fh, DATA_MODE => 1, DATA_INDENT => 2, );
218     $xml->xmlDecl('UTF-8');
219     $xml->startTag('document');
220
221     $xml->startTag('circ');
222     my $query = "SELECT branchcode, categorycode, itemtype, rule_name, rule_value FROM circulation_rules";
223     my $sth = $dbh->prepare($query);
224     $sth->execute();
225     while (my @row = $sth->fetchrow_array) {
226         $xml->startTag('rule');
227         $xml->dataElement('branchcode', $row[0]);
228         $xml->dataElement('categorycode', $row[1]);
229         $xml->dataElement('itemtype', $row[2]);
230         $xml->dataElement('rule_name', $row[3]);
231         $xml->dataElement('rule_value', $row[4]);
232         $xml->endTag('rule');
233     }
234     $xml->endTag('circ');
235
236     $xml->startTag('issuing');
237     $query = "SELECT categorycode,itemtype,restrictedtype,rentaldiscount,reservecharge,fine,finedays,maxsuspensiondays,suspension_chargeperiod,firstremind,chargeperiod,chargeperiod_charge_at,accountsent,issuelength,lengthunit,hardduedate,hardduedatecompare,renewalsallowed,renewalperiod,norenewalbefore,auto_renew,no_auto_renewal_after,no_auto_renewal_after_hard_limit,reservesallowed,holds_per_record,holds_per_day,branchcode,overduefinescap,cap_fine_to_replacement_price,onshelfholds,opacitemholds,article_requests,note FROM issuingrules";
238     $sth = $dbh->prepare($query);
239     $sth->execute();
240     while (my @row = $sth->fetchrow_array) {
241         $xml->startTag('rule');
242         $xml->dataElement('categorycode', $row[0]);
243         $xml->dataElement('itemtype', $row[1]);
244         $xml->dataElement('restrictedtype', $row[2]);
245         $xml->dataElement('rentaldiscount', $row[3]);
246         $xml->dataElement('reservecharge', $row[4]);
247         $xml->dataElement('fine', $row[5]);
248         $xml->dataElement('finedays', $row[6]);
249         $xml->dataElement('maxsuspensiondays', $row[7]);
250         $xml->dataElement('suspension_chargeperiod', $row[8]);
251         $xml->dataElement('firstremind', $row[9]);
252         $xml->dataElement('chargeperiod', $row[10]);
253         $xml->dataElement('chargeperiod_charge_at', $row[11]);
254         $xml->dataElement('accountsent', $row[12]);
255         $xml->dataElement('issuelength', $row[13]);
256         $xml->dataElement('lengthunit', $row[14]);
257         $xml->dataElement('hardduedate', $row[15]);
258         $xml->dataElement('hardduedatecompare', $row[16]);
259         $xml->dataElement('renewalsallowed', $row[17]);
260         $xml->dataElement('renewalperiod', $row[18]);
261         $xml->dataElement('norenewalbefore', $row[19]);
262         $xml->dataElement('auto_renew', $row[20]);
263         $xml->dataElement('no_auto_renewal_after', $row[21]);
264         $xml->dataElement('no_auto_renewal_after_hard_limit', $row[22]);
265         $xml->dataElement('reservesallowed', $row[23]);
266         $xml->dataElement('holds_per_record', $row[24]);
267         $xml->dataElement('holds_per_day', $row[25]);
268         $xml->dataElement('branchcode', $row[26]);
269         $xml->dataElement('overduefinescap', $row[27]);
270         $xml->dataElement('cap_fine_to_replacement_price', $row[28]);
271         $xml->dataElement('onshelfholds', $row[29]);
272         $xml->dataElement('opacitemholds', $row[30]);
273         $xml->dataElement('article_requests', $row[31]);
274         $xml->dataElement('note', $row[32]);
275         $xml->endTag('rule');
276     }
277     $xml->endTag('issuing');
278
279     $xml->endTag('document');
280     $xml->end();
281     close $fh;
282     return;
283 }
284
285
286 sub backup_itemtypes {
287     my $dbh = shift;
288     my $backupfile = shift;
289
290     open(my $fh, '>', $backupfile) or die "Could not open $backupfile!";
291     my $xml = XML::Writer->new(OUTPUT => $fh, DATA_MODE => 1, DATA_INDENT => 2, );
292     $xml->xmlDecl('UTF-8');
293     $xml->startTag('document');
294
295     $xml->startTag('itemtypes');
296     my $query = "SELECT itemtype, description, rentalcharge, rentalcharge_daily, rentalcharge_hourly, defaultreplacecost, processfee, notforloan, imageurl, summary, checkinmsg, checkinmsgtype, sip_media_type, hideinopac, searchcategory FROM itemtypes";
297     my $sth = $dbh->prepare($query);
298     $sth->execute();
299     while (my @row = $sth->fetchrow_array) {
300         $xml->startTag('value');
301         $xml->dataElement('itemtype', $row[0]);
302         $xml->dataElement('description', $row[1]);
303         $xml->dataElement('rentalcharge', $row[2]);
304         $xml->dataElement('rentalcharge_daily', $row[3]);
305         $xml->dataElement('rentalcharge_hourly', $row[4]);
306         $xml->dataElement('defaultreplacecost', $row[5]);
307         $xml->dataElement('processfee', $row[6]);
308         $xml->dataElement('notforloan', $row[7]);
309         $xml->dataElement('imageurl', $row[8]);
310         $xml->dataElement('summary', $row[9]);
311         $xml->dataElement('checkinmsg', $row[10]);
312         $xml->dataElement('checkinmsgtype', $row[11]);
313         $xml->dataElement('sip_media_type', $row[12]);
314         $xml->dataElement('hideinopac', $row[13]);
315         $xml->dataElement('searchcategory', $row[14]);
316         $xml->endTag('value');
317     }
318     $xml->endTag('itemtypes');
319
320     $xml->startTag('authorised_values');
321     $query = "SELECT category,authorised_value,lib,lib_opac,imageurl FROM authorised_values where category = 'ITEMTYPECAT';";
322     $sth = $dbh->prepare($query);
323     $sth->execute();
324     while (my @row = $sth->fetchrow_array) {
325         $xml->startTag('value');
326         $xml->dataElement('category', $row[0]);
327         $xml->dataElement('authvalue', $row[1]);
328         $xml->dataElement('lib', $row[2]);
329         $xml->dataElement('lib_opac', $row[3]);
330         $xml->dataElement('image_url', $row[4]);
331         $xml->endTag('value');
332     }
333     $xml->endTag('authorised_values');
334
335     $xml->startTag('localizations');
336     $query = "SELECT entity, code, lang, translation FROM localization WHERE entity = 'itemtypes';";
337     $sth = $dbh->prepare($query);
338     $sth->execute();
339     while (my @row = $sth->fetchrow_array) {
340         $xml->startTag('value');
341         $xml->dataElement('entity', $row[0]);
342         $xml->dataElement('code', $row[1]);
343         $xml->dataElement('lang', $row[2]);
344         $xml->dataElement('translation', $row[3]);
345         $xml->endTag('value');
346     }
347     $xml->endTag('localizations');
348
349     $xml->endTag('document');
350     $xml->end();
351     close $fh;
352     return;
353 }
354
355 sub backup_libraries {
356     my $dbh = shift;
357     my $backupfile = shift;
358
359     open(my $fh, '>', $backupfile) or die "Could not open $backupfile!";
360     my $xml = XML::Writer->new(OUTPUT => $fh, DATA_MODE => 1, DATA_INDENT => 2, );
361     $xml->xmlDecl('UTF-8');
362     $xml->startTag('libraries');
363
364     my $query = "SELECT id,parent_id,branchcode,title,description,ft_hide_patron_info,ft_search_groups_opac,ft_search_groups_staff FROM library_groups";
365     my $sth = $dbh->prepare($query);
366     $sth->execute();
367     while (my @row = $sth->fetchrow_array) {
368         $xml->startTag('library_group');
369         $xml->dataElement('id',$row[0]);
370         $xml->dataElement('parent_id',$row[1]);
371         $xml->dataElement('branchcode',$row[2]);
372         $xml->dataElement('title',$row[3]);
373         $xml->dataElement('description',$row[4]);
374         $xml->dataElement('ft_hide_patron_info',$row[5]);
375         $xml->dataElement('ft_search_groups_opac',$row[6]);
376         $xml->dataElement('ft_search_groups_staff',$row[7]);
377         $xml->endTag('library_group');
378     }
379
380     $query = "SELECT branchcode,branchname,branchaddress1,branchaddress2,branchaddress3,branchzip,branchcity,branchstate,branchcountry,branchphone,branchfax,branchemail,branchreplyto,branchreturnpath,branchurl,issuing,branchip,branchprinter,branchnotes,opac_info,geolocation,marcorgcode,pickup_location FROM branches";
381     $sth = $dbh->prepare($query);
382     $sth->execute();
383     while (my @row = $sth->fetchrow_array) {
384         $xml->startTag('library');
385         $xml->dataElement('branchcode',$row[0]);
386         $xml->dataElement('branchname',$row[1]);
387         $xml->dataElement('branchaddress1',$row[2]);
388         $xml->dataElement('branchaddress2',$row[3]);
389         $xml->dataElement('branchaddress3',$row[4]);
390         $xml->dataElement('branchzip',$row[5]);
391         $xml->dataElement('branchcity',$row[6]);
392         $xml->dataElement('branchstate',$row[7]);
393         $xml->dataElement('branchcountry',$row[8]);
394         $xml->dataElement('branchphone',$row[9]);
395         $xml->dataElement('branchfax',$row[10]);
396         $xml->dataElement('branchemail',$row[11]);
397         $xml->dataElement('branchreplyto',$row[12]);
398         $xml->dataElement('branchreturnpath',$row[13]);
399         $xml->dataElement('branchurl',$row[14]);
400         $xml->dataElement('issuing',$row[15]);
401         $xml->dataElement('branchip',$row[16]);
402         $xml->dataElement('branchprinter',$row[17]);
403         $xml->dataElement('branchnotes',$row[18]);
404         $xml->dataElement('opac_info',$row[19]);
405         $xml->dataElement('geolocation',$row[20]);
406         $xml->dataElement('marcorgcode',$row[21]);
407         $xml->dataElement('pickup_location',$row[22]);
408         $xml->endTag('library');
409     }
410
411     $xml->endTag('libraries');
412     $xml->end();
413     close $fh;
414     return;
415 }
416
417 sub backup_patrontypes {
418     my $dbh = shift;
419     my $backupfile = shift;
420
421     open(my $fh, '>', $backupfile) or die "Could not open $backupfile!";
422     my $xml = XML::Writer->new(OUTPUT => $fh, DATA_MODE => 1, DATA_INDENT => 2, );
423     $xml->xmlDecl('UTF-8');
424     $xml->startTag('patron');
425     my $query = "SELECT categorycode,description,enrolmentperiod,enrolmentperioddate,upperagelimit,dateofbirthrequired,finetype,bulk,enrolmentfee,overduenoticerequired,issuelimit,reservefee,hidelostitems,category_type,BlockExpiredPatronOpacActions,default_privacy,checkprevcheckout,reset_password,change_password FROM categories";
426     my $sth = $dbh->prepare($query);
427     $sth->execute();
428     while (my @row = $sth->fetchrow_array) {
429         $xml->startTag('category');
430         $xml->dataElement('categorycode',$row[0]);
431         $xml->dataElement('description',$row[1]);
432         $xml->dataElement('enrolmentperiod',$row[2]);
433         $xml->dataElement('enrolmentperioddate',$row[3]);
434         $xml->dataElement('upperagelimit',$row[4]);
435         $xml->dataElement('dateofbirthrequired',$row[5]);
436         $xml->dataElement('finetype',$row[6]);
437         $xml->dataElement('bulk',$row[7]);
438         $xml->dataElement('enrolmentfee',$row[8]);
439         $xml->dataElement('overduenoticerequired',$row[9]);
440         $xml->dataElement('issuelimit',$row[10]);
441         $xml->dataElement('reservefee',$row[11]);
442         $xml->dataElement('hidelostitems',$row[12]);
443         $xml->dataElement('category_type',$row[13]);
444         $xml->dataElement('BlockExpiredPatronOpacActions',$row[14]);
445         $xml->dataElement('default_privacy',$row[15]);
446         $xml->dataElement('checkprevcheckout',$row[16]);
447         $xml->dataElement('reset_password',$row[17]);
448         $xml->dataElement('change_password',$row[18]);
449         $xml->endTag('category');
450     }
451     $xml->endTag('patron');
452     $xml->end();
453     close $fh;
454     return;
455 }
456
457 sub backup_preferences {
458     my $dbh = shift;
459     my $backupfile = shift;
460
461     open(my $fh, '>', $backupfile) or die "Could not open $backupfile!";
462     my $xml = XML::Writer->new(OUTPUT => $fh, DATA_MODE => 1, DATA_INDENT => 2, );
463     $xml->xmlDecl('UTF-8');
464     $xml->startTag('preferences');
465     my $query = "SELECT variable,value FROM systempreferences WHERE value != '' AND value IS NOT NULL";
466     my $sth = $dbh->prepare($query);
467     $sth->execute();
468     while (my @row = $sth->fetchrow_array) {
469         $xml->startTag('pref');
470         $xml->dataElement('variable',$row[0]);
471         $xml->dataElement('value',$row[1]);
472         $xml->endTag('pref');
473     }
474     $xml->endTag('preferences');
475     $xml->end();
476     close $fh;
477     return;
478 }
479
480 sub backup_smsproviders {
481     my $dbh = shift;
482     my $backupfile = shift;
483
484     open(my $fh, '>', $backupfile) or die "Could not open $backupfile!";
485     my $xml = XML::Writer->new(OUTPUT => $fh, DATA_MODE => 1, DATA_INDENT => 2, );
486     $xml->xmlDecl('UTF-8');
487     $xml->startTag('sms');
488     my $query = "SELECT name,domain FROM sms_providers";
489     my $sth = $dbh->prepare($query);
490     $sth->execute();
491     while (my @row = $sth->fetchrow_array) {
492         $xml->startTag('provider');
493         $xml->dataElement('name',$row[0]);
494         $xml->dataElement('domain',$row[1]);
495         $xml->endTag('provider');
496     }
497     $xml->endTag('sms');
498     $xml->end();
499     close $fh;
500     return;
501 }
502
503
504 sub create_timestamp {
505     my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
506     $year += 1900;
507     $mon = sprintf("%02s",$mon);
508     $mday = sprintf("%02s",$mday);
509     $hour = sprintf("%02s",$hour);
510     $min = sprintf("%02s",$min);
511     $sec = sprintf("%02s",$sec);
512     my $str = "$year$mon$mday$hour$min$sec";
513     return $str;
514 }
515
516 sub abort {
517     my $msg = shift;
518     print STDERR "$0: $msg", "\n";
519     print_usage();
520     exit 1;
521 }
522
523 sub print_usage {
524     print <<_USAGE_;
525
526     mig export foo_a foo_b foo_c
527
528 _USAGE_
529 }
530