5d33bd3d164e25388b8fb3c8a31c90ee4e887a33
[koha-equinox.git] / t / db_dependent / Koha / Patrons / Import.t
1 #!/usr/bin/perl
2
3 # Copyright 2015 Koha Development team
4 #
5 # This file is part of Koha
6 #
7 # Koha is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by
9 # the Free Software Foundation; either version 3 of the License, or
10 # (at your option) any later version.
11 #
12 # Koha is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
15 # GNU General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License
18 # along with Koha; if not, see <http://www.gnu.org/licenses>.
19
20 use Modern::Perl;
21 use Test::More tests => 155;
22 use Test::Warn;
23
24 # To be replaced by t::lib::Mock
25 use Test::MockModule;
26 use Koha::Database;
27
28 use File::Temp qw(tempfile tempdir);
29 my $temp_dir = tempdir('Koha_patrons_import_test_XXXX', CLEANUP => 1, TMPDIR => 1);
30
31 use t::lib::Mocks;
32 use t::lib::TestBuilder;
33 my $builder = t::lib::TestBuilder->new;
34
35 my $schema = Koha::Database->new->schema;
36 $schema->storage->txn_begin;
37
38 # ########## Tests start here #############################
39 # Given ... we can use the module
40 BEGIN { use_ok('Koha::Patrons::Import'); }
41
42 my $patrons_import = new_ok('Koha::Patrons::Import');
43
44 subtest 'test_methods' => sub {
45     plan tests => 1;
46
47     # Given ... we can reach the method(s)
48     my @methods = ('import_patrons',
49                    'set_attribute_types',
50                    'prepare_columns',
51                    'set_column_keys',
52                    'set_patron_attributes',
53                    'check_branch_code',
54                    'format_dates',
55                   );
56     can_ok('Koha::Patrons::Import', @methods);
57 };
58
59 subtest 'test_attributes' => sub {
60     plan tests => 1;
61
62     my @attributes = ('today_iso', 'text_csv');
63     can_ok('Koha::Patrons::Import', @attributes);
64 };
65
66 # Tests for Koha::Patrons::Import::import_patrons()
67 # Given ... nothing much. When ... Then ...
68 my $result;
69 warning_is { $result = $patrons_import->import_patrons(undef) }
70            { carped => 'No file handle passed in!' },
71            " Koha::Patrons::Import->import_patrons carps if no file handle is passed";
72 is($result, undef, 'Got the expected undef from import_patrons with nothing much');
73
74 # Given ... some params but no file handle.
75 my $params_0 = { some_stuff => 'random stuff', };
76
77 # When ... Then ...
78 my $result_0;
79 warning_is { $result_0 = $patrons_import->import_patrons($params_0) }
80            { carped => 'No file handle passed in!' },
81            " Koha::Patrons::Import->import_patrons carps if no file handle is passed";
82 is($result_0, undef, 'Got the expected undef from import_patrons with no file handle');
83
84 # Given ... a file handle to file with headers only.
85 t::lib::Mocks::mock_preference('ExtendedPatronAttributes', 0);
86 t::lib::Mocks::mock_preference('dateformat', 'us');
87
88
89 my $csv_headers  = 'cardnumber,surname,firstname,title,othernames,initials,streetnumber,streettype,address,address2,city,state,zipcode,country,email,phone,mobile,fax,dateofbirth,branchcode,categorycode,dateenrolled,dateexpiry,userid,password';
90 my $res_header   = 'cardnumber, surname, firstname, title, othernames, initials, streetnumber, streettype, address, address2, city, state, zipcode, country, email, phone, mobile, fax, dateofbirth, branchcode, categorycode, dateenrolled, dateexpiry, userid, password';
91 my $csv_one_line = '1000,Nancy,Jenkins,Dr,,NJ,78,Circle,Bunting,El Paso,Henderson,Texas,79984,United States,ajenkins0@sourceforge.net,7-(388)559-6763,3-(373)151-4471,8-(509)286-4001,10/16/1965,CPL,PT,12/28/2014,07/01/2015,jjenkins0,DPQILy';
92 my $csv_one_line_a = '1001,Nancy,Jenkins,Dr,,NJ,78,Circle,Bunting,El Paso,Henderson,Texas,79984,United States,ajenkins0@sourceforge.net,7-(388)559-6763,3-(373)151-4471,8-(509)286-4001,10/16/1965,CPL,PT,12/28/2014,07/01/2015,jjenkins0,DPQILy';
93
94 my $filename_1 = make_csv($temp_dir, $csv_headers, $csv_one_line);
95 open(my $handle_1, "<", $filename_1) or die "cannot open < $filename_1: $!";
96 my $params_1 = { file => $handle_1, };
97
98 # When ...
99 my $result_1 = $patrons_import->import_patrons($params_1);
100
101 # Then ...
102 is($result_1->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons with no matchpoint defined');
103 is(scalar @{$result_1->{errors}}, 0, 'Got the expected 0 size error array from import_patrons with no matchpoint defined');
104
105 is($result_1->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with no matchpoint defined');
106 is($result_1->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with no matchpoint defined');
107 is($result_1->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with no matchpoint defined');
108
109 is($result_1->{feedback}->[1]->{feedback}, 1, 'Got the expected second feedback from import_patrons with no matchpoint defined');
110 is($result_1->{feedback}->[1]->{name}, 'lastimported', 'Got the expected last imported name from import_patrons with no matchpoint defined');
111 like($result_1->{feedback}->[1]->{value}, qr/^Nancy \/ \d+/, 'Got the expected second header row value from import_patrons with no matchpoint defined');
112
113 is($result_1->{imported}, 1, 'Got the expected 1 imported result from import_patrons with no matchpoint defined');
114 is($result_1->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons with no matchpoint defined');
115 is($result_1->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with no matchpoint defined');
116
117 # Given ... a valid file handle, a bad matchpoint resulting in invalid card number
118 my $filename_2 = make_csv($temp_dir, $csv_headers, $csv_one_line);
119 open(my $handle_2, "<", $filename_2) or die "cannot open < $filename_2: $!";
120 my $params_2 = { file => $handle_2, matchpoint => 'SHOW_BCODE', };
121
122 # When ...
123 my $result_2 = $patrons_import->import_patrons($params_2);
124
125 # Then ...
126 is($result_2->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons with invalid card number');
127 is($result_2->{errors}->[0]->{borrowernumber}, undef, 'Got the expected undef borrower number from import patrons with invalid card number');
128 is($result_2->{errors}->[0]->{cardnumber}, 1000, 'Got the expected 1000 card number from import patrons with invalid card number');
129 is($result_2->{errors}->[0]->{invalid_cardnumber}, 1, 'Got the expected invalid card number from import patrons with invalid card number');
130
131 is($result_2->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with invalid card number');
132 is($result_2->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with invalid card number');
133 is($result_2->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with invalid card number');
134
135 is($result_2->{imported}, 0, 'Got the expected 0 imported result from import_patrons with invalid card number');
136 is($result_2->{invalid}, 1, 'Got the expected 1 invalid result from import_patrons with invalid card number');
137 is($result_2->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with invalid card number');
138
139 # Given ... valid file handle, good matchpoint that matches should not overwrite when not set.
140 my $filename_3 = make_csv($temp_dir, $csv_headers, $csv_one_line);
141 open(my $handle_3, "<", $filename_3) or die "cannot open < $filename_3: $!";
142 my $params_3 = { file => $handle_3, matchpoint => 'cardnumber', };
143
144 # When ...
145 my $result_3 = $patrons_import->import_patrons($params_3);
146
147 # Then ...
148 is($result_3->{already_in_db}, 1, 'Got the expected 1 already_in_db from import_patrons with duplicate userid');
149 is($result_3->{errors}->[0]->{duplicate_userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
150 is($result_3->{errors}->[0]->{userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
151
152 is($result_3->{feedback}->[0]->{feedback}, 1, 'Got 1 expected feedback from import_patrons that matched but not overwritten');
153 is($result_3->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with duplicate userid');
154 is($result_3->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with duplicate userid');
155
156 is($result_3->{imported}, 0, 'Got the expected 0 imported result from import_patrons');
157 is($result_3->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons');
158 is($result_3->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons that matched');
159
160 # Given ... valid file handle, good matchpoint that matches should overwrite when set.
161 my $filename_3a = make_csv($temp_dir, $csv_headers, $csv_one_line);
162 open(my $handle_3a, "<", $filename_3a) or die "cannot open < $filename_3: $!";
163 my $params_3a = { file => $handle_3a, matchpoint => 'cardnumber', overwrite_cardnumber => 1};
164
165 # When ...
166 my $result_3a = $patrons_import->import_patrons($params_3a);
167
168 # Then ...
169 is($result_3a->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons when matched and overwrite set');
170 is($result_3a->{errors}->[0]->{duplicate_userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
171 is($result_3a->{errors}->[0]->{userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
172
173 is($result_3a->{feedback}->[0]->{feedback}, 1, 'Got 1 expected feedback from import_patrons that matched and overwritten');
174 is($result_3a->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with duplicate userid');
175 is($result_3a->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with duplicate userid');
176
177 is($result_3a->{imported}, 0, 'Got the expected 0 imported result from import_patrons');
178 is($result_3a->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons');
179 is($result_3a->{overwritten}, 1, 'Got the expected 1 overwritten result from import_patrons that matched');
180
181 # Given ... valid file handle, good matchpoint that does not match and conflicting userid.
182 my $filename_3b = make_csv($temp_dir, $csv_headers, $csv_one_line_a);
183 open(my $handle_3b, "<", $filename_3b) or die "cannot open < $filename_3: $!";
184 my $params_3b = { file => $handle_3b, matchpoint => 'cardnumber', };
185
186 # When ...
187 my $result_3b = $patrons_import->import_patrons($params_3b);
188
189 # Then ...
190 is($result_3b->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons with duplicate userid');
191 is($result_3b->{errors}->[0]->{duplicate_userid}, 1, 'Got the expected duplicate userid error from import patrons with duplicate userid');
192 is($result_3b->{errors}->[0]->{userid}, 'jjenkins0', 'Got the expected userid error from import patrons with duplicate userid');
193
194 is($result_3b->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with duplicate userid');
195 is($result_3b->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with duplicate userid');
196 is($result_3b->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with duplicate userid');
197
198 is($result_3b->{imported}, 0, 'Got the expected 0 imported result from import_patrons with duplicate userid');
199 is($result_3b->{invalid}, 1, 'Got the expected 1 invalid result from import_patrons with duplicate userid');
200 is($result_3b->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with duplicate userid');
201
202 # Given ... a new input and mocked C4::Context
203 t::lib::Mocks::mock_preference('ExtendedPatronAttributes', 1);
204 my $attribute = $builder->build({ source => "BorrowerAttributeType"});
205
206 my $csv_headers_a  = 'cardnumber,surname,firstname,title,othernames,initials,streetnumber,streettype,address,address2,city,state,zipcode,country,email,phone,mobile,fax,dateofbirth,branchcode,categorycode,dateenrolled,dateexpiry,userid,password,patron_attributes';
207 my $res_header_a   = 'cardnumber, surname, firstname, title, othernames, initials, streetnumber, streettype, address, address2, city, state, zipcode, country, email, phone, mobile, fax, dateofbirth, branchcode, categorycode, dateenrolled, dateexpiry, userid, password, patron_attributes';
208 my $new_input_line = '1001,Donna,Sullivan,Mrs,Henry,DS,59,Court,Burrows,Reading,Salt Lake City,Pennsylvania,19605,United States,hsullivan1@purevolume.com,3-(864)009-3006,7-(291)885-8423,1-(879)095-5038,09/19/1970,LPL,PT,03/04/2015,07/01/2015,hsullivan1,8j6P6Dmap,'.$attribute->{code}.':1';
209 my $filename_4 = make_csv($temp_dir, $csv_headers_a, $new_input_line);
210 open(my $handle_4, "<", $filename_4) or die "cannot open < $filename_4: $!";
211 my $params_4 = { file => $handle_4, matchpoint => $attribute->{code}, };
212
213 # When ...
214 my $result_4 = $patrons_import->import_patrons($params_4);
215
216 # Then ...
217 is($result_4->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons with extended user');
218 is(scalar @{$result_4->{errors}}, 0, 'Got the expected 0 size error array from import_patrons with extended user');
219
220 is($result_4->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with extended user');
221 is($result_4->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with extended user');
222 is($result_4->{feedback}->[0]->{value}, $res_header_a, 'Got the expected header row value from import_patrons with extended user');
223
224 is($result_4->{feedback}->[1]->{feedback}, 1, 'Got the expected second feedback from import_patrons with extended user');
225 is($result_4->{feedback}->[1]->{name}, 'attribute string', 'Got the expected attribute string from import_patrons with extended user');
226 is($result_4->{feedback}->[1]->{value}, $attribute->{code}.':1', 'Got the expected second feedback value from import_patrons with extended user');
227
228 is($result_4->{feedback}->[2]->{feedback}, 1, 'Got the expected third feedback from import_patrons with extended user');
229 is($result_4->{feedback}->[2]->{name}, 'lastimported', 'Got the expected last imported name from import_patrons with extended user');
230 like($result_4->{feedback}->[2]->{value}, qr/^Donna \/ \d+/, 'Got the expected third feedback value from import_patrons with extended user');
231
232 is($result_4->{imported}, 1, 'Got the expected 1 imported result from import_patrons with extended user');
233 is($result_4->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons with extended user');
234 is($result_4->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with extended user');
235
236 seek $handle_4,0,0; #Reset to verify finding a matched patron works
237 my $result_4a = $patrons_import->import_patrons($params_4);
238 is($result_4a->{already_in_db}, 1, 'Got the expected 1 already_in_db from import_patrons with extended user matched');
239 is(scalar @{$result_4->{errors}}, 0, 'Got the expected 0 size error array from import_patrons with extended user matched');
240
241 is($result_4a->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with extended user matched');
242 is($result_4a->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with extended user matched');
243 is($result_4a->{feedback}->[0]->{value}, $res_header_a, 'Got the expected header row value from import_patrons with extended user matched');
244
245 is($result_4a->{feedback}->[1]->{feedback}, 1, 'Got the expected second feedback from import_patrons with extended user matched');
246 is($result_4a->{feedback}->[1]->{name}, 'attribute string', 'Got the expected attribute string from import_patrons with extended user matched');
247 is($result_4a->{feedback}->[1]->{value}, $attribute->{code}.':1', 'Got the expected second feedback value from import_patrons with extended user matched');
248
249 is($result_4a->{feedback}->[2]->{already_in_db}, '1', 'Got the expected already_in_db from import_patrons with extended user matched');
250 like($result_4a->{feedback}->[2]->{value}, qr/^Donna \/ \d+/, 'Got the expected third feedback value from import_patrons with extended user matched');
251
252 is($result_4a->{imported}, 0, 'Got the expected 0 imported result from import_patrons with extended user matched');
253 is($result_4a->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons with extended user matched');
254 is($result_4a->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with extended user matched');
255
256 t::lib::Mocks::mock_preference('ExtendedPatronAttributes', 0);
257
258 # Given ... 3 new inputs. One with no branch code, one with unexpected branch code.
259 my $input_no_branch   = '1002,Johnny,Reynolds,Mr,Patricia,JR,12,Hill,Kennedy,Saint Louis,Colorado Springs,Missouri,63131,United States,preynolds2@washington.edu,7-(925)314-9514,0-(315)973-8956,4-(510)556-2323,09/18/1967,,PT,05/07/2015,07/01/2015,preynolds2,K3HiDzl';
260 my $input_good_branch = '1003,Linda,Richardson,Mr,Kimberly,LR,90,Place,Bayside,Atlanta,Erie,Georgia,31190,United States,krichardson3@pcworld.com,8-(035)185-0387,4-(796)518-3676,3-(644)960-3789,04/13/1954,RPL,PT,06/06/2015,07/01/2015,krichardson3,P3EO0MVRPXbM';
261 my $input_na_branch   = '1005,Ruth,Greene,Mr,Michael,RG,3,Avenue,Grim,Peoria,Jacksonville,Illinois,61614,United States,mgreene5@seesaa.net,3-(941)565-5752,1-(483)885-8138,4-(979)577-6908,02/09/1957,ZZZ,ST,04/02/2015,07/01/2015,mgreene5,or4ORT6JH';
262
263 my $filename_5 = make_csv($temp_dir, $csv_headers, $input_no_branch, $input_good_branch, $input_na_branch);
264 open(my $handle_5, "<", $filename_5) or die "cannot open < $filename_5: $!";
265 my $params_5 = { file => $handle_5, matchpoint => 'cardnumber', };
266
267 # When ...
268 my $result_5 = $patrons_import->import_patrons($params_5);
269
270 # Then ...
271 is($result_5->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons for branch tests');
272
273 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for branch tests');
274 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{key}, 'branchcode', 'Got the expected branch code key from import patrons for branch tests');
275 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{line}, 2, 'Got the expected 2 line number error from import patrons for branch tests');
276 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{lineraw}, $input_no_branch."\r\n", 'Got the expected lineraw error from import patrons for branch tests');
277 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{surname}, 'Johnny', 'Got the expected surname error from import patrons for branch tests');
278
279 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for branch tests');
280 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{branch_map}, 1, 'Got the expected 1 branchmap error from import patrons for branch tests');
281 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{key}, 'branchcode', 'Got the expected branch code key from import patrons for branch tests');
282 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{line}, 4, 'Got the expected 4 line number error from import patrons for branch tests');
283 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{lineraw}, $input_na_branch."\r\n", 'Got the expected lineraw error from import patrons for branch tests');
284 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{surname}, 'Ruth', 'Got the expected surname error from import patrons for branch tests');
285 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{value}, 'ZZZ', 'Got the expected ZZZ value error from import patrons for branch tests');
286
287 is($result_5->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for branch tests');
288 is($result_5->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons for branch tests');
289 is($result_5->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons for branch tests');
290
291 is($result_5->{feedback}->[1]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for branch tests');
292 is($result_5->{feedback}->[1]->{name}, 'lastimported', 'Got the expected lastimported name from import_patrons for branch tests');
293 like($result_5->{feedback}->[1]->{value},  qr/^Linda \/ \d+/, 'Got the expected last imported value from import_patrons with for branch tests');
294
295 is($result_5->{imported}, 1, 'Got the expected 1 imported result from import patrons for branch tests');
296 is($result_5->{invalid}, 2, 'Got the expected 2 invalid result from import patrons for branch tests');
297 is($result_5->{overwritten}, 0, 'Got the expected 0 overwritten result from import patrons for branch tests');
298
299 # Given ... 3 new inputs. One with no category code, one with unexpected category code.
300 my $input_no_category   = '1006,Christina,Olson,Rev,Kimberly,CO,8,Avenue,Northridge,Lexington,Wilmington,Kentucky,40510,United States,kolson6@dropbox.com,7-(810)636-6048,1-(052)012-8984,8-(567)232-7818,03/26/1952,FFL,,09/07/2014,01/07/2015,kolson6,x5D3qGbLlptx';
301 my $input_good_category = '1007,Peter,Peters,Mrs,Lawrence,PP,6,Trail,South,Oklahoma City,Topeka,Oklahoma,73135,United States,lpeters7@bandcamp.com,5-(992)205-9318,0-(732)586-9365,3-(448)146-7936,08/16/1983,PVL,T,03/24/2015,07/01/2015,lpeters7,Z19BrQ4';
302 my $input_na_category   = '1008,Emily,Richards,Ms,Judy,ER,73,Way,Kedzie,Fort Wayne,Phoenix,Indiana,46825,United States,jrichards8@arstechnica.com,5-(266)658-8957,3-(550)500-9107,7-(816)675-9822,08/09/1984,FFL,ZZ,11/09/2014,07/01/2015,jrichards8,D5PvU6H2R';
303
304 my $filename_6 = make_csv($temp_dir, $csv_headers, $input_no_category, $input_good_category, $input_na_category);
305 open(my $handle_6, "<", $filename_6) or die "cannot open < $filename_6: $!";
306 my $params_6 = { file => $handle_6, matchpoint => 'cardnumber', };
307
308 # When ...
309 my $result_6 = $patrons_import->import_patrons($params_6);
310
311 # Then ...
312 is($result_6->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons for category tests');
313
314 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for category tests');
315 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{key}, 'categorycode', 'Got the expected category code key from import patrons for category tests');
316 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{line}, 2, 'Got the expected 2 line number error from import patrons for category tests');
317 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{lineraw}, $input_no_category."\r\n", 'Got the expected lineraw error from import patrons for category tests');
318 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{surname}, 'Christina', 'Got the expected surname error from import patrons for category tests');
319
320 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for category tests');
321 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{category_map}, 1, 'Got the expected 1 category_map error from import patrons for category tests');
322 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{key}, 'categorycode', 'Got the expected category code key from import patrons for category tests');
323 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{line}, 4, 'Got the expected 4 line number error from import patrons for category tests');
324 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{lineraw}, $input_na_category."\r\n", 'Got the expected lineraw error from import patrons for category tests');
325 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{surname}, 'Emily', 'Got the expected surname error from import patrons for category tests');
326 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{value}, 'ZZ', 'Got the expected ZZ value error from import patrons for category tests');
327
328 is($result_6->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for category tests');
329 is($result_6->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons for category tests');
330 is($result_6->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons for category tests');
331
332 is($result_6->{feedback}->[1]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for category tests');
333 is($result_6->{feedback}->[1]->{name}, 'lastimported', 'Got the expected lastimported name from import_patrons for category tests');
334 like($result_6->{feedback}->[1]->{value},  qr/^Peter \/ \d+/, 'Got the expected last imported value from import_patrons with for category tests');
335
336 is($result_6->{imported}, 1, 'Got the expected 1 imported result from import patrons for category tests');
337 is($result_6->{invalid}, 2, 'Got the expected 2 invalid result from import patrons for category tests');
338 is($result_6->{overwritten}, 0, 'Got the expected 0 overwritten result from import patrons for category tests');
339
340 # Given ... 2 new inputs. One without dateofbirth, dateenrolled and dateexpiry values.
341 my $input_complete = '1009,Christina,Harris,Dr,Philip,CH,99,Street,Grayhawk,Baton Rouge,Dallas,Louisiana,70810,United States,pharris9@hp.com,9-(317)603-5513,7-(005)062-7593,8-(349)134-1627,06/19/1969,IPT,PT,04/09/2015,07/01/2015,pharris9,NcAhcvvnB';
342 my $input_no_date  = '1010,Ralph,Warren,Ms,Linda,RW,6,Way,Barby,Orlando,Albany,Florida,32803,United States,lwarrena@multiply.com,7-(579)753-7752,6-(847)086-7566,9-(122)729-8226,26/01/2001,LPL,T,25/01/2001,24/01/2001,lwarrena,tJ56RD4uV';
343
344 my $filename_7 = make_csv($temp_dir, $csv_headers, $input_complete, $input_no_date);
345 open(my $handle_7, "<", $filename_7) or die "cannot open < $filename_7: $!";
346 my $params_7 = { file => $handle_7, matchpoint => 'cardnumber', };
347
348 # When ...
349 my $result_7 = $patrons_import->import_patrons($params_7);
350
351 # Then ...
352 is($result_7->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons for dates tests');
353 is(scalar @{$result_7->{errors}}, 1, 'Got the expected 1 error array size from import_patrons for dates tests');
354 is(scalar @{$result_7->{errors}->[0]->{missing_criticals}}, 3, 'Got the expected 3 missing critical errors from import_patrons for dates tests');
355
356 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{bad_date}, 1, 'Got the expected 1 bad_date error from import patrons for dates tests');
357 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for dates tests');
358 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{key}, 'dateofbirth', 'Got the expected dateofbirth key from import patrons for dates tests');
359 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{line}, 3, 'Got the expected 2 line number error from import patrons for dates tests');
360 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{lineraw}, $input_no_date."\r\n", 'Got the expected lineraw error from import patrons for dates tests');
361 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{surname}, 'Ralph', 'Got the expected surname error from import patrons for dates tests');
362
363 is($result_7->{errors}->[0]->{missing_criticals}->[1]->{key}, 'dateenrolled', 'Got the expected dateenrolled key from import patrons for dates tests');
364 is($result_7->{errors}->[0]->{missing_criticals}->[2]->{key}, 'dateexpiry', 'Got the expected dateexpiry key from import patrons for dates tests');
365
366 is(scalar @{$result_7->{feedback}}, 2, 'Got the expected 2 feedback from import patrons for dates tests');
367 is($result_7->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for dates tests');
368 is($result_7->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons for dates tests');
369 is($result_7->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons for dates tests');
370
371 is($result_7->{feedback}->[1]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for dates tests');
372 is($result_7->{feedback}->[1]->{name}, 'lastimported', 'Got the expected lastimported from import_patrons for dates tests');
373 like($result_7->{feedback}->[1]->{value}, qr/^Christina \/ \d+/, 'Got the expected lastimported value from import_patrons for dates tests');
374
375 is($result_7->{imported}, 1, 'Got the expected 1 imported result from import patrons for dates tests');
376 is($result_7->{invalid}, 1, 'Got the expected 1 invalid result from import patrons for dates tests');
377 is($result_7->{overwritten}, 0, 'Got the expected 0 overwritten result from import patrons for dates tests');
378
379 subtest 'test_prepare_columns' => sub {
380     plan tests => 16;
381
382     # Given ... no header row
383     my %csvkeycol_0;
384     my @errors_0;
385
386     # When ...
387     my @csvcolumns_0 = $patrons_import->prepare_columns({headerrow => undef, keycol => \%csvkeycol_0, errors => \@errors_0, });
388
389     # Then ...
390     is(scalar @csvcolumns_0, 0, 'Got the expected empty column array from prepare columns with no header row');
391
392     is(scalar @errors_0, 1, 'Got the expected 1 entry in error array from prepare columns with no header row');
393     is($errors_0[0]->{badheader}, 1, 'Got the expected 1 badheader from prepare columns with no header row');
394     is($errors_0[0]->{line}, 1, 'Got the expected 1 line from prepare columns with no header row');
395     is($errors_0[0]->{lineraw}, undef, 'Got the expected undef lineraw from prepare columns with no header row');
396
397     # Given ... a good header row with plenty of whitespaces
398     my $headerrow_1 = 'a,    b ,        c,  ,   d';
399     my %csvkeycol_1;
400     my @errors_1;
401
402     # When ...
403     my @csvcolumns_1 = $patrons_import->prepare_columns({headerrow => $headerrow_1, keycol => \%csvkeycol_1, errors => \@errors_1, });
404
405     # Then ...
406     is(scalar @csvcolumns_1, 5, 'Got the expected 5 column array from prepare columns');
407     is($csvcolumns_1[0], 'a', 'Got the expected a header from prepare columns');
408     is($csvcolumns_1[1], 'b', 'Got the expected b header from prepare columns');
409     is($csvcolumns_1[2], 'c', 'Got the expected c header from prepare columns');
410     is($csvcolumns_1[3], '', 'Got the expected empty header from prepare columns');
411     is($csvcolumns_1[4], 'd', 'Got the expected d header from prepare columns');
412
413     is($csvkeycol_1{a}, 0, 'Got the expected 0 value for key a from prepare columns hash');
414     is($csvkeycol_1{b}, 1, 'Got the expected 1 value for key b from prepare columns hash');
415     is($csvkeycol_1{c}, 2, 'Got the expected 2 value for key c from prepare columns hash');
416     is($csvkeycol_1{''}, 3, 'Got the expected 3 value for empty string key from prepare columns hash');
417     is($csvkeycol_1{d}, 4, 'Got the expected 4 value for key d from prepare columns hash');
418 };
419
420 subtest 'test_set_column_keys' => sub {
421     plan tests => 5;
422
423     # Given ... nothing at all
424     # When ... Then ...
425     my $attr_type_0 = $patrons_import->set_attribute_types(undef);
426     is($attr_type_0, undef, 'Got the expected undef attribute type from set attribute types with nothing');
427
428     # Given ... extended but not matchpoint
429     my $params_1 = { extended => 1, matchpoint => undef, };
430
431     # When ... Then ...
432     my $attr_type_1 = $patrons_import->set_attribute_types($params_1);
433     is($attr_type_1, undef, 'Got the expected undef attribute type from set attribute types with no matchpoint');
434
435     # Given ... extended and unexpected matchpoint
436     my $params_2 = { extended => 1, matchpoint => 'unexpected', };
437
438     # When ... Then ...
439     my $attr_type_2 = $patrons_import->set_attribute_types($params_2);
440     is($attr_type_2, undef, 'Got the expected undef attribute type from set attribute types with unexpected matchpoint');
441
442     # Given ...
443     my $code_3   = 'SHOW_BCODE';
444     my $params_3 = { extended => 1, matchpoint => $code_3, };
445
446     # When ...
447     my $attr_type_3 = $patrons_import->set_attribute_types($params_3);
448
449     # Then ...
450     isa_ok($attr_type_3, 'C4::Members::AttributeTypes');
451     is($attr_type_3->{code}, $code_3, 'Got the expected code attribute type from set attribute types');
452 };
453
454 subtest 'test_set_column_keys' => sub {
455     plan tests => 2;
456
457     my @columns = Koha::Patrons->columns;
458     # Given ... nothing at all
459     # When ... Then ...
460     my @columnkeys_0 = $patrons_import->set_column_keys(undef);
461     # -1 because we do not want the borrowernumber column
462     is(scalar @columnkeys_0, @columns - 1, 'Got the expected array size from set column keys with undef extended');
463
464     # Given ... extended.
465     my $extended = 1;
466
467     # When ... Then ...
468     my @columnkeys_1 = $patrons_import->set_column_keys($extended);
469     is(scalar @columnkeys_1, @columns - 1 + $extended, 'Got the expected array size from set column keys with extended');
470 };
471
472 subtest 'test_set_patron_attributes' => sub {
473     plan tests => 13;
474
475     # Given ... nothing at all
476     # When ... Then ...
477     my $result_0 = $patrons_import->set_patron_attributes(undef, undef, undef);
478     is($result_0, undef, 'Got the expected undef from set patron attributes with nothing');
479
480     # Given ... not extended.
481     my $extended_1 = 0;
482
483     # When ... Then ...
484     my $result_1 = $patrons_import->set_patron_attributes($extended_1, undef, undef);
485     is($result_1, undef, 'Got the expected undef from set patron attributes with not extended');
486
487     # Given ... NO patrons attributes
488     my $extended_2          = 1;
489     my $patron_attributes_2 = undef;
490     my @feedback_2;
491
492     # When ...
493     my $result_2 = $patrons_import->set_patron_attributes($extended_2, $patron_attributes_2, \@feedback_2);
494
495     # Then ...
496     is($result_2, undef, 'Got the expected undef from set patron attributes with no patrons attributes');
497     is(scalar @feedback_2, 0, 'Got the expected 0 size feedback array from set patron attributes with no patrons attributes');
498
499     # Given ... some patrons attributes
500     my $patron_attributes_3 = "homeroom:1150605,grade:01";
501     my @feedback_3;
502
503     # When ...
504     my $result_3 = $patrons_import->set_patron_attributes($extended_2, $patron_attributes_3, \@feedback_3);
505
506     # Then ...
507     ok($result_3, 'Got some data back from set patron attributes');
508     is($result_3->[0]->{code}, 'grade', 'Got the expected first code from set patron attributes');
509     is($result_3->[0]->{value}, '01', 'Got the expected first value from set patron attributes');
510
511     is($result_3->[1]->{code}, 'homeroom', 'Got the expected second code from set patron attributes');
512     is($result_3->[1]->{value}, 1150605, 'Got the expected second value from set patron attributes');
513
514     is(scalar @feedback_3, 1, 'Got the expected 1 array size from set patron attributes with extended user');
515     is($feedback_3[0]->{feedback}, 1, 'Got the expected second feedback from set patron attributes with extended user');
516     is($feedback_3[0]->{name}, 'attribute string', 'Got the expected attribute string from set patron attributes with extended user');
517     is($feedback_3[0]->{value}, 'homeroom:1150605,grade:01', 'Got the expected feedback value from set patron attributes with extended user');
518 };
519
520 subtest 'test_check_branch_code' => sub {
521     plan tests => 11;
522
523     # Given ... no branch code.
524     my $borrowerline      = 'some, line';
525     my $line_number       = 78;
526     my @missing_criticals = ();
527
528     # When ...
529     $patrons_import->check_branch_code(undef, $borrowerline, $line_number, \@missing_criticals);
530
531     # Then ...
532     is(scalar @missing_criticals, 1, 'Got the expected missing critical array size of 1 from check_branch_code with no branch code');
533
534     is($missing_criticals[0]->{key}, 'branchcode', 'Got the expected branchcode key from check_branch_code with no branch code');
535     is($missing_criticals[0]->{line}, $line_number, 'Got the expected line number from check_branch_code with no branch code');
536     is($missing_criticals[0]->{lineraw}, $borrowerline, 'Got the expected lineraw value from check_branch_code with no branch code');
537
538     # Given ... unknown branch code
539     my $branchcode_1        = 'unexpected';
540     my $borrowerline_1      = 'some, line,'.$branchcode_1;
541     my $line_number_1       = 79;
542     my @missing_criticals_1 = ();
543
544     # When ...
545     $patrons_import->check_branch_code($branchcode_1, $borrowerline_1, $line_number_1, \@missing_criticals_1);
546
547     # Then ...
548     is(scalar @missing_criticals_1, 1, 'Got the expected missing critical array size of 1 from check_branch_code with unexpected branch code');
549
550     is($missing_criticals_1[0]->{branch_map}, 1, 'Got the expected 1 branch_map from check_branch_code with unexpected branch code');
551     is($missing_criticals_1[0]->{key}, 'branchcode', 'Got the expected branchcode key from check_branch_code with unexpected branch code');
552     is($missing_criticals_1[0]->{line}, $line_number_1, 'Got the expected line number from check_branch_code with unexpected branch code');
553     is($missing_criticals_1[0]->{lineraw}, $borrowerline_1, 'Got the expected lineraw value from check_branch_code with unexpected branch code');
554     is($missing_criticals_1[0]->{value}, $branchcode_1, 'Got the expected value from check_branch_code with unexpected branch code');
555
556     # Given ... a known branch code. Relies on database sample data
557     my $branchcode_2        = 'FFL';
558     my $borrowerline_2      = 'some, line,'.$branchcode_2;
559     my $line_number_2       = 80;
560     my @missing_criticals_2 = ();
561
562     # When ...
563     $patrons_import->check_branch_code($branchcode_2, $borrowerline_2, $line_number_2, \@missing_criticals_2);
564
565     # Then ...
566     is(scalar @missing_criticals_2, 0, 'Got the expected missing critical array size of 0 from check_branch_code');
567 };
568
569 subtest 'test_check_borrower_category' => sub {
570     plan tests => 11;
571
572     # Given ... no category code.
573     my $borrowerline      = 'some, line';
574     my $line_number       = 781;
575     my @missing_criticals = ();
576
577     # When ...
578     $patrons_import->check_borrower_category(undef, $borrowerline, $line_number, \@missing_criticals);
579
580     # Then ...
581     is(scalar @missing_criticals, 1, 'Got the expected missing critical array size of 1 from check_branch_code with no category code');
582
583     is($missing_criticals[0]->{key}, 'categorycode', 'Got the expected categorycode key from check_branch_code with no category code');
584     is($missing_criticals[0]->{line}, $line_number, 'Got the expected line number from check_branch_code with no category code');
585     is($missing_criticals[0]->{lineraw}, $borrowerline, 'Got the expected lineraw value from check_branch_code with no category code');
586
587     # Given ... unknown category code
588     my $categorycode_1      = 'unexpected';
589     my $borrowerline_1      = 'some, line, line, '.$categorycode_1;
590     my $line_number_1       = 791;
591     my @missing_criticals_1 = ();
592
593     # When ...
594     $patrons_import->check_borrower_category($categorycode_1, $borrowerline_1, $line_number_1, \@missing_criticals_1);
595
596     # Then ...
597     is(scalar @missing_criticals_1, 1, 'Got the expected missing critical array size of 1 from check_branch_code with unexpected category code');
598
599     is($missing_criticals_1[0]->{category_map}, 1, 'Got the expected 1 category_map from check_branch_code with unexpected category code');
600     is($missing_criticals_1[0]->{key}, 'categorycode', 'Got the expected branchcode key from check_branch_code with unexpected category code');
601     is($missing_criticals_1[0]->{line}, $line_number_1, 'Got the expected line number from check_branch_code with unexpected category code');
602     is($missing_criticals_1[0]->{lineraw}, $borrowerline_1, 'Got the expected lineraw value from check_branch_code with unexpected category code');
603     is($missing_criticals_1[0]->{value}, $categorycode_1, 'Got the expected value from check_branch_code with unexpected category code');
604
605     # Given ... a known category code. Relies on database sample data.
606     my $categorycode_2      = 'T';
607     my $borrowerline_2      = 'some, line,'.$categorycode_2;
608     my $line_number_2       = 801;
609     my @missing_criticals_2 = ();
610
611     # When ...
612     $patrons_import->check_borrower_category($categorycode_2, $borrowerline_2, $line_number_2, \@missing_criticals_2);
613
614     # Then ...
615     is(scalar @missing_criticals_2, 0, 'Got the expected missing critical array size of 0 from check_branch_code');
616 };
617
618 subtest 'test_format_dates' => sub {
619     plan tests => 22;
620
621     # Given ... no borrower data.
622     my $borrowerline      = 'another line';
623     my $line_number       = 987;
624     my @missing_criticals = ();
625     my %borrower;
626     my $params = {borrower => \%borrower, lineraw => $borrowerline, line => $line_number, missing_criticals => \@missing_criticals, };
627
628     # When ...
629     $patrons_import->format_dates($params);
630
631     # Then ...
632     ok( not(%borrower), 'Got the expected no borrower from format_dates with no dates');
633     is(scalar @missing_criticals, 0, 'Got the expected missing critical array size of 0 from format_dates with no dates');
634
635     # Given ... some good dates
636     my @missing_criticals_1 = ();
637     my $dateofbirth_1  = '2016-05-03';
638     my $dateenrolled_1 = '2016-05-04';
639     my $dateexpiry_1   = '2016-05-06';
640     my $borrower_1     = { dateofbirth => $dateofbirth_1, dateenrolled => $dateenrolled_1, dateexpiry => $dateexpiry_1, };
641     my $params_1       = {borrower => $borrower_1, lineraw => $borrowerline, line => $line_number, missing_criticals => \@missing_criticals_1, };
642
643     # When ...
644     $patrons_import->format_dates($params_1);
645
646     # Then ...
647     is($borrower_1->{dateofbirth}, $dateofbirth_1, 'Got the expected date of birth from format_dates with good dates');
648     is($borrower_1->{dateenrolled}, $dateenrolled_1, 'Got the expected date of birth from format_dates with good dates');
649     is($borrower_1->{dateexpiry}, $dateexpiry_1, 'Got the expected date of birth from format_dates with good dates');
650     is(scalar @missing_criticals_1, 0, 'Got the expected missing critical array size of 0 from check_branch_code with good dates');
651
652     # Given ... some very bad dates
653     my @missing_criticals_2 = ();
654     my $dateofbirth_2  = '03-2016-05';
655     my $dateenrolled_2 = '04-2016-05';
656     my $dateexpiry_2   = '06-2016-05';
657     my $borrower_2     = { dateofbirth => $dateofbirth_2, dateenrolled => $dateenrolled_2, dateexpiry => $dateexpiry_2, };
658     my $params_2       = {borrower => $borrower_2, lineraw => $borrowerline, line => $line_number, missing_criticals => \@missing_criticals_2, };
659
660     # When ...
661     $patrons_import->format_dates($params_2);
662
663     # Then ...
664     is($borrower_2->{dateofbirth}, '', 'Got the expected empty date of birth from format_dates with bad dates');
665     is($borrower_2->{dateenrolled}, '', 'Got the expected emptydate of birth from format_dates with bad dates');
666     is($borrower_2->{dateexpiry}, '', 'Got the expected empty date of birth from format_dates with bad dates');
667
668     is(scalar @missing_criticals_2, 3, 'Got the expected missing critical array size of 3 from check_branch_code with bad dates');
669     is($missing_criticals_2[0]->{bad_date}, 1, 'Got the expected first bad date flag from check_branch_code with bad dates');
670     is($missing_criticals_2[0]->{key}, 'dateofbirth', 'Got the expected dateofbirth key from check_branch_code with bad dates');
671     is($missing_criticals_2[0]->{line}, $line_number, 'Got the expected first line from check_branch_code with bad dates');
672     is($missing_criticals_2[0]->{lineraw}, $borrowerline, 'Got the expected first lineraw from check_branch_code with bad dates');
673
674     is($missing_criticals_2[1]->{bad_date}, 1, 'Got the expected second bad date flag from check_branch_code with bad dates');
675     is($missing_criticals_2[1]->{key}, 'dateenrolled', 'Got the expected dateenrolled key from check_branch_code with bad dates');
676     is($missing_criticals_2[1]->{line}, $line_number, 'Got the expected second line from check_branch_code with bad dates');
677     is($missing_criticals_2[1]->{lineraw}, $borrowerline, 'Got the expected second lineraw from check_branch_code with bad dates');
678
679     is($missing_criticals_2[2]->{bad_date}, 1, 'Got the expected third bad date flag from check_branch_code with bad dates');
680     is($missing_criticals_2[2]->{key}, 'dateexpiry', 'Got the expected dateexpiry key from check_branch_code with bad dates');
681     is($missing_criticals_2[2]->{line}, $line_number, 'Got the expected third line from check_branch_code with bad dates');
682     is($missing_criticals_2[2]->{lineraw}, $borrowerline, 'Got the expected third lineraw from check_branch_code with bad dates');
683 };
684
685 # ###### Test utility ###########
686 sub make_csv {
687     my ($temp_dir, @lines) = @_;
688
689     my ($fh, $filename) = tempfile( DIR => $temp_dir) or die $!;
690     print $fh $_."\r\n" foreach @lines;
691     close $fh or die $!;
692
693     return $filename;
694 }
695
696 1;