Bug 16149: Generate and send custom notices based on report output
[koha-equinox.git] / C4 / Reports / Guided.pm
index f682fe8..eff3a7c 100644 (file)
@@ -4,105 +4,56 @@ package C4::Reports::Guided;
 #
 # This file is part of Koha.
 #
-# Koha is free software; you can redistribute it and/or modify it under the
-# terms of the GNU General Public License as published by the Free Software
-# Foundation; either version 2 of the License, or (at your option) any later
-# version.
+# Koha is free software; you can redistribute it and/or modify it
+# under the terms of the GNU General Public License as published by
+# the Free Software Foundation; either version 3 of the License, or
+# (at your option) any later version.
 #
-# Koha is distributed in the hope that it will be useful, but WITHOUT ANY
-# WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
-# A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
+# Koha is distributed in the hope that it will be useful, but
+# WITHOUT ANY WARRANTY; without even the implied warranty of
+# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
+# GNU General Public License for more details.
 #
-# You should have received a copy of the GNU General Public License along
-# with Koha; if not, write to the Free Software Foundation, Inc.,
-# 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
+# You should have received a copy of the GNU General Public License
+# along with Koha; if not, see <http://www.gnu.org/licenses>.
 
-use strict;
-#use warnings; FIXME - Bug 2505 this module needs a lot of repair to run clean under warnings
-use CGI;
+use Modern::Perl;
+use CGI qw ( -utf8 );
 use Carp;
+use JSON qw( from_json );
 
-use vars qw($VERSION @ISA @EXPORT @EXPORT_OK %EXPORT_TAGS);
+use vars qw(@ISA @EXPORT @EXPORT_OK %EXPORT_TAGS);
 use C4::Context;
-use C4::Dates qw/format_date format_date_in_iso/;
 use C4::Templates qw/themelanguage/;
-use C4::Dates;
-use XML::Simple;
-use XML::Dumper;
+use C4::Koha;
+use Koha::DateUtils;
+use Koha::Patrons;
+use Koha::Reports;
+use C4::Output;
 use C4::Debug;
-# use Smart::Comments;
-# use Data::Dumper;
+use C4::Log;
+use Koha::Notice::Templates;
+use C4::Letters;
+
+use Koha::AuthorisedValues;
+use Koha::Patron::Categories;
+use Koha::SharedContent;
 
 BEGIN {
-       # set the version for version checking
-    $VERSION = 3.07.00.049;
-       require Exporter;
-       @ISA = qw(Exporter);
-       @EXPORT = qw(
-               get_report_types get_report_areas get_columns build_query get_criteria
-           save_report get_saved_reports execute_query get_saved_report create_compound run_compound
-               get_column_type get_distinct_values save_dictionary get_from_dictionary
-               delete_definition delete_report format_results get_sql
-        nb_rows update_sql
-       );
-}
-
-our %table_areas;
-$table_areas{'1'} =
-  [ 'borrowers', 'statistics','items', 'biblioitems' ];    # circulation
-$table_areas{'2'} = [ 'items', 'biblioitems', 'biblio' ];   # catalogue
-$table_areas{'3'} = [ 'borrowers' ];        # patrons
-$table_areas{'4'} = ['aqorders', 'biblio', 'items'];        # acquisitions
-$table_areas{'5'} = [ 'borrowers', 'accountlines' ];        # accounts
-our %keys;
-$keys{'1'} = [
-    'statistics.borrowernumber=borrowers.borrowernumber',
-    'items.itemnumber = statistics.itemnumber',
-    'biblioitems.biblioitemnumber = items.biblioitemnumber'
-];
-$keys{'2'} = [
-    'items.biblioitemnumber=biblioitems.biblioitemnumber',
-    'biblioitems.biblionumber=biblio.biblionumber'
-];
-$keys{'3'} = [ ];
-$keys{'4'} = [
-       'aqorders.biblionumber=biblio.biblionumber',
-       'biblio.biblionumber=items.biblionumber'
-];
-$keys{'5'} = ['borrowers.borrowernumber=accountlines.borrowernumber'];
-
-# have to do someting here to know if its dropdown, free text, date etc
-
-our %criteria;
-# reports on circulation
-$criteria{'1'} = [
-    'statistics.type',   'borrowers.categorycode',
-    'statistics.branch',
-    'biblioitems.publicationyear|date',
-    'items.dateaccessioned|date'
-];
-# reports on catalogue
-$criteria{'2'} =
-  [ 'items.itemnumber|textrange',   'items.biblionumber|textrange',   'items.barcode|textrange', 
-    'biblio.frameworkcode',         'items.holdingbranch',            'items.homebranch', 
-  'biblio.datecreated|daterange',   'biblio.timestamp|daterange',     'items.onloan|daterange', 
-  'items.ccode',                    'items.itemcallnumber|textrange', 'items.itype', 
-  'items.itemlost',                 'items.location' ];
-# reports on borrowers
-$criteria{'3'} = ['borrowers.branchcode', 'borrowers.categorycode'];
-# reports on acquisition
-$criteria{'4'} = ['aqorders.datereceived|date'];
-
-# reports on accounting
-$criteria{'5'} = ['borrowers.branchcode', 'borrowers.categorycode'];
-
-# Adds itemtypes to criteria, according to the syspref
-if (C4::Context->preference('item-level_itypes')) {
-    unshift @{ $criteria{'1'} }, 'items.itype';
-    unshift @{ $criteria{'2'} }, 'items.itype';
-} else {
-    unshift @{ $criteria{'1'} }, 'biblioitems.itemtype';
-    unshift @{ $criteria{'2'} }, 'biblioitems.itemtype';
+    require Exporter;
+    @ISA    = qw(Exporter);
+    @EXPORT = qw(
+      get_report_types get_report_areas get_report_groups get_columns build_query get_criteria
+      save_report get_saved_reports execute_query
+      get_column_type get_distinct_values save_dictionary get_from_dictionary
+      delete_definition delete_report format_results get_sql
+      nb_rows update_sql
+      GetReservedAuthorisedValues
+      GetParametersFromSQL
+      IsAuthorisedValueValid
+      ValidateSQLParameters
+      nb_rows update_sql
+    );
 }
 
 =head1 NAME
@@ -119,11 +70,46 @@ C4::Reports::Guided - Module for generating guided reports
 
 =head1 METHODS
 
-=over 2
+=head2 get_report_areas
+
+This will return a list of all the available report areas
 
 =cut
 
-=item get_report_types()
+sub get_area_name_sql_snippet {
+    my @REPORT_AREA = (
+        [CIRC => "Circulation"],
+        [CAT  => "Catalogue"],
+        [PAT  => "Patrons"],
+        [ACQ  => "Acquisition"],
+        [ACC  => "Accounts"],
+        [SER  => "Serials"],
+    );
+
+    return "CASE report_area " .
+    join (" ", map "WHEN '$_->[0]' THEN '$_->[1]'", @REPORT_AREA) .
+    " END AS areaname";
+}
+
+sub get_report_areas {
+
+    my $report_areas = [ 'CIRC', 'CAT', 'PAT', 'ACQ', 'ACC', 'SER' ];
+
+    return $report_areas;
+}
+
+sub get_table_areas {
+    return (
+    CIRC => [ 'borrowers', 'statistics', 'items', 'biblioitems' ],
+    CAT  => [ 'items', 'biblioitems', 'biblio' ],
+    PAT  => ['borrowers'],
+    ACQ  => [ 'aqorders', 'biblio', 'items' ],
+    ACC  => [ 'borrowers', 'accountlines' ],
+    SER  => [ 'serial', 'serialitems', 'subscription', 'subscriptionhistory', 'subscriptionroutinglist', 'biblioitems', 'biblio', 'aqbooksellers' ],
+    );
+}
+
+=head2 get_report_types
 
 This will return a list of all the available report types
 
@@ -145,29 +131,36 @@ sub get_report_types {
 
 }
 
-=item get_report_areas()
+=head2 get_report_groups
 
-This will return a list of all the available report areas
+This will return a list of all the available report areas with groups
 
 =cut
 
-sub get_report_areas {
+sub get_report_groups {
     my $dbh = C4::Context->dbh();
 
-    # FIXME these should be in the database
-    my @reports = ( 'Circulation', 'Catalog', 'Patrons', 'Acquisitions', 'Accounts');
-    my @reports2;
-    for ( my $i = 0 ; $i < 5 ; $i++ ) {
-        my %hashrep;
-        $hashrep{id}   = $i + 1;
-        $hashrep{name} = $reports[$i];
-        push @reports2, \%hashrep;
+    my $groups = GetAuthorisedValues('REPORT_GROUP');
+    my $subgroups = GetAuthorisedValues('REPORT_SUBGROUP');
+
+    my %groups_with_subgroups = map { $_->{authorised_value} => {
+                        name => $_->{lib},
+                        groups => {}
+                    } } @$groups;
+    foreach (@$subgroups) {
+        my $sg = $_->{authorised_value};
+        my $g = $_->{lib_opac}
+          or warn( qq{REPORT_SUBGROUP "$sg" without REPORT_GROUP (lib_opac)} ),
+             next;
+        my $g_sg = $groups_with_subgroups{$g}
+          or warn( qq{REPORT_SUBGROUP "$sg" with invalid REPORT_GROUP "$g"} ),
+             next;
+        $g_sg->{subgroups}{$sg} = $_->{lib};
     }
-    return ( \@reports2 );
-
+    return \%groups_with_subgroups
 }
 
-=item get_all_tables()
+=head2 get_all_tables
 
 This will return a list of all tables in the database 
 
@@ -187,7 +180,7 @@ sub get_all_tables {
 
 }
 
-=item get_columns($area)
+=head2 get_columns($area)
 
 This will return a list of all columns for a report area
 
@@ -195,9 +188,12 @@ This will return a list of all columns for a report area
 
 sub get_columns {
 
-    # this calls the internal fucntion _get_columns
-    my ($area,$cgi) = @_;
-    my $tables = $table_areas{$area};
+    # this calls the internal function _get_columns
+    my ( $area, $cgi ) = @_;
+    my %table_areas = get_table_areas;
+    my $tables = $table_areas{$area}
+      or die qq{Unsuported report area "$area"};
+
     my @allcolumns;
     my $first = 1;
     foreach my $table (@$tables) {
@@ -229,7 +225,7 @@ sub _get_columns {
     return (@columns);
 }
 
-=item build_query($columns,$criteria,$orderby,$area)
+=head2 build_query($columns,$criteria,$orderby,$area)
 
 This will build the sql needed to return the results asked for, 
 $columns is expected to be of the format tablename.columnname.
@@ -239,8 +235,24 @@ This is what get_columns returns.
 
 sub build_query {
     my ( $columns, $criteria, $orderby, $area, $totals, $definition ) = @_;
+
+    my %keys = (
+        CIRC => [ 'statistics.borrowernumber=borrowers.borrowernumber',
+                  'items.itemnumber = statistics.itemnumber',
+                  'biblioitems.biblioitemnumber = items.biblioitemnumber' ],
+        CAT  => [ 'items.biblioitemnumber=biblioitems.biblioitemnumber',
+                  'biblioitems.biblionumber=biblio.biblionumber' ],
+        PAT  => [],
+        ACQ  => [ 'aqorders.biblionumber=biblio.biblionumber',
+                  'biblio.biblionumber=items.biblionumber' ],
+        ACC  => ['borrowers.borrowernumber=accountlines.borrowernumber'],
+        SER  => [ 'serial.serialid=serialitems.serialid', 'serial.subscriptionid=subscription.subscriptionid', 'serial.subscriptionid=subscriptionhistory.subscriptionid', 'serial.subscriptionid=subscriptionroutinglist.subscriptionid', 'biblioitems.biblionumber=serial.biblionumber', 'biblio.biblionumber=biblioitems.biblionumber', 'subscription.aqbooksellerid=aqbooksellers.id'],
+    );
+
+
 ### $orderby
     my $keys   = $keys{$area};
+    my %table_areas = get_table_areas;
     my $tables = $table_areas{$area};
 
     my $sql =
@@ -301,7 +313,7 @@ sub _build_query {
     return ($query);
 }
 
-=item get_criteria($area,$cgi);
+=head2 get_criteria($area,$cgi);
 
 Returns an arraref to hashrefs suitable for using in a tmpl_loop. With the criteria and available values.
 
@@ -310,6 +322,34 @@ Returns an arraref to hashrefs suitable for using in a tmpl_loop. With the crite
 sub get_criteria {
     my ($area,$cgi) = @_;
     my $dbh    = C4::Context->dbh();
+
+    # have to do someting here to know if its dropdown, free text, date etc
+    my %criteria = (
+        CIRC => [ 'statistics.type', 'borrowers.categorycode', 'statistics.branch',
+                  'biblioitems.publicationyear|date', 'items.dateaccessioned|date' ],
+        CAT  => [ 'items.itemnumber|textrange', 'items.biblionumber|textrange',
+                  'items.barcode|textrange', 'biblio.frameworkcode',
+                  'items.holdingbranch', 'items.homebranch',
+                  'biblio.datecreated|daterange', 'biblio.timestamp|daterange',
+                  'items.onloan|daterange', 'items.ccode',
+                  'items.itemcallnumber|textrange', 'items.itype', 'items.itemlost',
+                  'items.location' ],
+        PAT  => [ 'borrowers.branchcode', 'borrowers.categorycode' ],
+        ACQ  => ['aqorders.datereceived|date'],
+        ACC  => [ 'borrowers.branchcode', 'borrowers.categorycode' ],
+        SER  => ['subscription.startdate|date', 'subscription.enddate|date', 'subscription.periodicity', 'subscription.callnumber', 'subscription.location', 'subscription.branchcode'],
+    );
+
+    # Adds itemtypes to criteria, according to the syspref
+    if ( C4::Context->preference('item-level_itypes') ) {
+        unshift @{ $criteria{'CIRC'} }, 'items.itype';
+        unshift @{ $criteria{'CAT'} }, 'items.itype';
+    } else {
+        unshift @{ $criteria{'CIRC'} }, 'biblioitems.itemtype';
+        unshift @{ $criteria{'CAT'} }, 'biblioitems.itemtype';
+    }
+
+
     my $crit   = $criteria{$area};
     my $column_defs = _get_column_defs($cgi);
     my @criteria_array;
@@ -351,13 +391,17 @@ sub get_criteria {
             my $list;
             $list='branches' if $column eq 'branchcode' or $column eq 'holdingbranch' or $column eq 'homebranch';
             $list='categorycode' if $column eq 'categorycode';
-            $list='itemtype' if $column eq 'itype';
+            $list='itemtypes' if $column eq 'itype';
             $list='ccode' if $column eq 'ccode';
             # TODO : improve to let the librarian choose the description at runtime
-            push @values, { availablevalues => "<<$column".($list?"|$list":'').">>" };
+            push @values, {
+                availablevalues => "<<$column" . ( $list ? "|$list" : '' ) . ">>",
+                display_value   => "<<$column" . ( $list ? "|$list" : '' ) . ">>",
+            };
             while ( my $row = $sth->fetchrow_hashref() ) {
+                if ($row->{'availablevalues'} eq '') { $row->{'default'} = 1 }
+                else { $row->{display_value} = _get_display_value( $row->{'availablevalues'}, $column ); }
                 push @values, $row;
-                if ($row->{'availablevalues'} eq '') { $row->{'default'} = 1 };
             }
             $sth->finish();
 
@@ -368,12 +412,11 @@ sub get_criteria {
 
             push @criteria_array, \%temp;
         }
-
     }
     return ( \@criteria_array );
 }
 
-sub nb_rows($) {
+sub nb_rows {
     my $sql = shift or return;
     my $sth = C4::Context->dbh->prepare($sql);
     $sth->execute();
@@ -381,24 +424,27 @@ sub nb_rows($) {
     return scalar (@$rows);
 }
 
-=item execute_query
+=head2 execute_query
+
+  ($sth, $error) = execute_query($sql, $offset, $limit[, \@sql_params])
 
-  ($results, $total, $error) = execute_query($sql, $offset, $limit)
 
+This function returns a DBI statement handler from which the caller can
+fetch the results of the SQL passed via C<$sql>.
 
-When passed C<$sql>, this function returns an array ref containing a result set
-suitably formatted for display in html or for output as a flat file when passed in
-C<$format> and C<$id>. It also returns the C<$total> records available for the
-supplied query. If passed any query other than a SELECT, or if there is a db error,
-C<$errors> an array ref is returned containing the error after this manner:
+If passed any query other than a SELECT, or if there is a DB error,
+C<$errors> is returned, and is a hashref containing the error after this
+manner:
 
 C<$error->{'sqlerr'}> contains the offending SQL keyword.
-C<$error->{'queryerr'}> contains the native db engine error returned for the query.
+C<$error->{'queryerr'}> contains the native db engine error returned
+for the query.
 
-Valid values for C<$format> are 'text,' 'tab,' 'csv,' or 'url. C<$sql>, C<$type>,
-C<$offset>, and C<$limit> are required parameters. If a valid C<$format> is passed
-in, C<$offset> and C<$limit> are ignored for obvious reasons. A LIMIT specified by
-the user in a user-supplied SQL query WILL apply in any case.
+C<$offset>, and C<$limit> are required parameters.
+
+C<\@sql_params> is an optional list of parameter values to paste in.
+The caller is responsible for making sure that C<$sql> has placeholders
+and that the number placeholders matches the number of parameters.
 
 =cut
 
@@ -407,7 +453,7 @@ the user in a user-supplied SQL query WILL apply in any case.
 #  ~ remove any LIMIT clause
 #  ~ repace SELECT clause w/ SELECT count(*)
 
-sub select_2_select_count ($) {
+sub select_2_select_count {
     # Modify the query passed in to create a count query... (I think this covers all cases -crn)
     my ($sql) = strip_limit(shift) or return;
     $sql =~ s/\bSELECT\W+(?:\w+\W+){1,}?FROM\b|\bSELECT\W\*\WFROM\b/SELECT count(*) FROM /ig;
@@ -453,9 +499,11 @@ sub strip_limit {
     }
 }
 
-sub execute_query ($;$$$) {
+sub execute_query {
+
+    my ( $sql, $offset, $limit, $sql_params, $report_id ) = @_;
 
-    my ( $sql, $offset, $limit, $no_count ) = @_;
+    $sql_params = [] unless defined $sql_params;
 
     # check parameters
     unless ($sql) {
@@ -488,16 +536,18 @@ sub execute_query ($;$$$) {
     }
     $sql .= " LIMIT ?, ?";
 
-    my $sth = C4::Context->dbh->prepare($sql);
-    $sth->execute($offset, $limit);
+    my $dbh = C4::Context->dbh;
+
+    $dbh->do( 'UPDATE saved_sql SET last_run = NOW() WHERE id = ?', undef, $report_id ) if $report_id;
+
+    my $sth = $dbh->prepare($sql);
+    $sth->execute(@$sql_params, $offset, $limit);
+
+    return ( $sth, { queryerr => $sth->errstr } ) if ($sth->err);
     return ( $sth );
-    # my @xmlarray = ... ;
-    # my $url = "/cgi-bin/koha/reports/guided_reports.pl?phase=retrieve%20results&id=$id";
-    # my $xml = XML::Dumper->new()->pl2xml( \@xmlarray );
-    # store_results($id,$xml);
 }
 
-=item save_report($sql,$name,$type,$notes)
+=head2 save_report($sql,$name,$type,$notes)
 
 Given some sql and a name this will saved it so that it can reused
 Returns id of the newly created report
@@ -505,115 +555,116 @@ Returns id of the newly created report
 =cut
 
 sub save_report {
-    my ( $borrowernumber, $sql, $name, $type, $notes, $cache_expiry, $public ) = @_;
-    $cache_expiry ||= 300;
+    my ($fields) = @_;
+    my $borrowernumber = $fields->{borrowernumber};
+    my $sql = $fields->{sql};
+    my $name = $fields->{name};
+    my $type = $fields->{type};
+    my $notes = $fields->{notes};
+    my $area = $fields->{area};
+    my $group = $fields->{group};
+    my $subgroup = $fields->{subgroup};
+    my $cache_expiry = $fields->{cache_expiry} || 300;
+    my $public = $fields->{public};
+
     my $dbh = C4::Context->dbh();
-    $sql =~ s/(\s*\;\s*)$//; # removes trailing whitespace and /;/
-    my $query =
-"INSERT INTO saved_sql (borrowernumber,date_created,last_modified,savedsql,report_name,type,notes,cache_expiry, public)  VALUES (?,now(),now(),?,?,?,?,?,?)";
-    $dbh->do( $query, undef, $borrowernumber, $sql, $name, $type, $notes, $cache_expiry, $public );
+    $sql =~ s/(\s*\;\s*)$//;    # removes trailing whitespace and /;/
+    my $query = "INSERT INTO saved_sql (borrowernumber,date_created,last_modified,savedsql,report_name,report_area,report_group,report_subgroup,type,notes,cache_expiry,public)  VALUES (?,now(),now(),?,?,?,?,?,?,?,?,?)";
+    $dbh->do($query, undef, $borrowernumber, $sql, $name, $area, $group, $subgroup, $type, $notes, $cache_expiry, $public);
+
     my $id = $dbh->selectrow_array("SELECT max(id) FROM saved_sql WHERE borrowernumber=? AND report_name=?", undef,
                                    $borrowernumber, $name);
     return $id;
 }
 
 sub update_sql {
-    my $id = shift || croak "No Id given";
-    my $sql = shift;
-    my $reportname = shift;
-    my $notes = shift;
-    my $cache_expiry = shift;
-    my $public = shift;
+    my $id         = shift || croak "No Id given";
+    my $fields     = shift;
+    my $sql = $fields->{sql};
+    my $name = $fields->{name};
+    my $notes = $fields->{notes};
+    my $group = $fields->{group};
+    my $subgroup = $fields->{subgroup};
+    my $cache_expiry = $fields->{cache_expiry};
+    my $public = $fields->{public};
 
-    # not entirely a magic number, Cache::Memcached::Set assumed any expiry >= (60*60*24*30) is an absolute unix timestamp (rather than relative seconds)
     if( $cache_expiry >= 2592000 ){
       die "Please specify a cache expiry less than 30 days\n";
     }
 
-    my $dbh = C4::Context->dbh();
-    $sql =~ s/(\s*\;\s*)$//; # removes trailing whitespace and /;/
-    my $query = "UPDATE saved_sql SET savedsql = ?, last_modified = now(), report_name = ?, notes = ?, cache_expiry = ?, public = ? WHERE id = ? ";
-    my $sth = $dbh->prepare($query);
-    $sth->execute( $sql, $reportname, $notes, $cache_expiry, $public, $id );
-    $sth->finish();
+    my $dbh        = C4::Context->dbh();
+    $sql =~ s/(\s*\;\s*)$//;    # removes trailing whitespace and /;/
+    my $query = "UPDATE saved_sql SET savedsql = ?, last_modified = now(), report_name = ?, report_group = ?, report_subgroup = ?, notes = ?, cache_expiry = ?, public = ? WHERE id = ? ";
+    $dbh->do($query, undef, $sql, $name, $group, $subgroup, $notes, $cache_expiry, $public, $id );
 }
 
 sub store_results {
-       my ($id,$xml)=@_;
-       my $dbh = C4::Context->dbh();
-       my $query = "SELECT * FROM saved_reports WHERE report_id=?";
-       my $sth = $dbh->prepare($query);
-       $sth->execute($id);
-       if (my $data=$sth->fetchrow_hashref()){
-               my $query2 = "UPDATE saved_reports SET report=?,date_run=now() WHERE report_id=?";
-               my $sth2 = $dbh->prepare($query2);
-           $sth2->execute($xml,$id);
-       }
-       else {
-               my $query2 = "INSERT INTO saved_reports (report_id,report,date_run) VALUES (?,?,now())";
-               my $sth2 = $dbh->prepare($query2);
-               $sth2->execute($id,$xml);
-       }
+    my ( $id, $json ) = @_;
+    my $dbh = C4::Context->dbh();
+    $dbh->do(q|
+        INSERT INTO saved_reports ( report_id, report, date_run ) VALUES ( ?, ?, NOW() );
+    |, undef, $id, $json );
 }
 
 sub format_results {
-       my ($id) = @_;
-       my $dbh = C4::Context->dbh();
-       my $query = "SELECT * FROM saved_reports WHERE report_id = ?";
-       my $sth = $dbh->prepare($query);
-       $sth->execute($id);
-       my $data = $sth->fetchrow_hashref();
-       my $dump = new XML::Dumper;
-       my $perl = $dump->xml2pl( $data->{'report'} );
-       foreach my $row (@$perl) {
-               my $htmlrow="<tr>";
-               foreach my $key (keys %$row){
-                       $htmlrow .= "<td>$row->{$key}</td>";
-               }
-               $htmlrow .= "</tr>";
-               $row->{'row'} = $htmlrow;
-       }
-       $sth->finish;
-       $query = "SELECT * FROM saved_sql WHERE id = ?";
-       $sth = $dbh->prepare($query);
-       $sth->execute($id);
-       $data = $sth->fetchrow_hashref();
-       return ($perl,$data->{'report_name'},$data->{'notes'}); 
-}      
+    my ( $id ) = @_;
+    my $dbh = C4::Context->dbh();
+    my ( $report_name, $notes, $json, $date_run ) = $dbh->selectrow_array(q|
+       SELECT ss.report_name, ss.notes, sr.report, sr.date_run
+       FROM saved_sql ss
+       LEFT JOIN saved_reports sr ON sr.report_id = ss.id
+       WHERE sr.id = ?
+    |, undef, $id);
+    return {
+        report_name => $report_name,
+        notes => $notes,
+        results => from_json( $json ),
+        date_run => $date_run,
+    };
+}
 
 sub delete_report {
-       my ( $id ) = @_;
-       my $dbh = C4::Context->dbh();
-       my $query = "DELETE FROM saved_sql WHERE id = ?";
-       my $sth = $dbh->prepare($query);
-       $sth->execute($id);
-}      
+    my (@ids) = @_;
+    return unless @ids;
+    foreach my $id (@ids) {
+        my $data = Koha::Reports->find($id);
+        logaction( "REPORTS", "DELETE", $id, $data->report_name." | ".$data->savedsql ) if C4::Context->preference("ReportsLog");
+    }
+    my $dbh = C4::Context->dbh;
+    my $query = 'DELETE FROM saved_sql WHERE id IN (' . join( ',', ('?') x @ids ) . ')';
+    my $sth = $dbh->prepare($query);
+    return $sth->execute(@ids);
+}
+
+sub get_saved_reports_base_query {
+    my $area_name_sql_snippet = get_area_name_sql_snippet;
+    return <<EOQ;
+SELECT s.*, $area_name_sql_snippet, av_g.lib AS groupname, av_sg.lib AS subgroupname,
+b.firstname AS borrowerfirstname, b.surname AS borrowersurname
+FROM saved_sql s
+LEFT JOIN saved_reports r ON r.report_id = s.id
+LEFT OUTER JOIN authorised_values av_g ON (av_g.category = 'REPORT_GROUP' AND av_g.authorised_value = s.report_group)
+LEFT OUTER JOIN authorised_values av_sg ON (av_sg.category = 'REPORT_SUBGROUP' AND av_sg.lib_opac = s.report_group AND av_sg.authorised_value = s.report_subgroup)
+LEFT OUTER JOIN borrowers b USING (borrowernumber)
+EOQ
+}
 
-# $filter is either { date => $d, author => $a, keyword => $kw }
-# or $keyword. Optional.
-my $DATE_FORMAT = "%d/%m/%Y";
 sub get_saved_reports {
+# $filter is either { date => $d, author => $a, keyword => $kw, }
+# or $keyword. Optional.
     my ($filter) = @_;
     $filter = { keyword => $filter } if $filter && !ref( $filter );
+    my ($group, $subgroup) = @_;
 
     my $dbh   = C4::Context->dbh();
+    my $query = get_saved_reports_base_query;
     my (@cond,@args);
-    my $query = "SELECT saved_sql.id, report_id, report,
-                        date_run, date_created, last_modified, savedsql, last_run,
-                        report_name, type, notes,
-                        borrowernumber, surname as borrowersurname, firstname as borrowerfirstname,
-                        cache_expiry, public
-                 FROM saved_sql 
-                 LEFT JOIN saved_reports ON saved_reports.report_id = saved_sql.id
-                 LEFT OUTER JOIN borrowers USING (borrowernumber)";
     if ($filter) {
         if (my $date = $filter->{date}) {
-            $date = format_date_in_iso($date);
-            push @cond, "DATE(date_run) = ? OR
-                         DATE(date_created) = ? OR
-                         DATE(last_modified) = ? OR
+            $date = eval { output_pref( { dt => dt_from_string( $date ), dateonly => 1, dateformat => 'iso' }); };
+            push @cond, "DATE(last_modified) = ? OR
                          DATE(last_run) = ?";
-            push @args, $date, $date, $date, $date;
+            push @args, $date, $date, $date;
         }
         if (my $author = $filter->{author}) {
             $author = "%$author%";
@@ -622,77 +673,33 @@ sub get_saved_reports {
             push @args, $author, $author;
         }
         if (my $keyword = $filter->{keyword}) {
-            $keyword = "%$keyword%";
-            push @cond, "report LIKE ? OR
-                         report_name LIKE ? OR
-                         notes LIKE ? OR
-                         savedsql LIKE ?";
-            push @args, $keyword, $keyword, $keyword, $keyword;
+            push @cond, q|
+                       report LIKE ?
+                    OR report_name LIKE ?
+                    OR notes LIKE ?
+                    OR savedsql LIKE ?
+                    OR s.id = ?
+            |;
+            push @args, "%$keyword%", "%$keyword%", "%$keyword%", "%$keyword%", $keyword;
+        }
+        if ($filter->{group}) {
+            push @cond, "report_group = ?";
+            push @args, $filter->{group};
+        }
+        if ($filter->{subgroup}) {
+            push @cond, "report_subgroup = ?";
+            push @args, $filter->{subgroup};
         }
     }
     $query .= " WHERE ".join( " AND ", map "($_)", @cond ) if @cond;
     $query .= " ORDER by date_created";
     
     my $result = $dbh->selectall_arrayref($query, {Slice => {}}, @args);
-    $_->{date_created} = format_date($_->{date_created}) foreach @$result;
 
     return $result;
 }
 
-sub get_saved_report {
-    my $dbh   = C4::Context->dbh();
-    my $query;
-    my $sth;
-    my $report_arg;
-    if ($#_ == 0 && ref $_[0] ne 'HASH') {
-        ($report_arg) = @_;
-        $query = " SELECT * FROM saved_sql WHERE id = ?";
-    } elsif (ref $_[0] eq 'HASH') {
-        my ($selector) = @_;
-        if ($selector->{name}) {
-            $query = " SELECT * FROM saved_sql WHERE report_name = ?";
-            $report_arg = $selector->{name};
-        } elsif ($selector->{id} || $selector->{id} eq '0') {
-            $query = " SELECT * FROM saved_sql WHERE id = ?";
-            $report_arg = $selector->{id};
-        } else {
-            return;
-        }
-    } else {
-        return;
-    }
-    $sth   = $dbh->prepare($query);
-    $sth->execute($report_arg);
-    my $data = $sth->fetchrow_hashref();
-    return ( $data->{'savedsql'}, $data->{'type'}, $data->{'report_name'}, $data->{'notes'}, $data->{'cache_expiry'}, $data->{'public'}, $data->{'id'} );
-}
-
-=item create_compound($masterID,$subreportID)
-
-This will take 2 reports and create a compound report using both of them
-
-=cut
-
-sub create_compound {
-       my ($masterID,$subreportID) = @_;
-       my $dbh = C4::Context->dbh();
-       # get the reports
-       my ($mastersql,$mastertype) = get_saved_report($masterID);
-       my ($subsql,$subtype) = get_saved_report($subreportID);
-       
-       # now we have to do some checking to see how these two will fit together
-       # or if they will
-       my ($mastertables,$subtables);
-       if ($mastersql =~ / from (.*) where /i){ 
-               $mastertables = $1;
-       }
-       if ($subsql =~ / from (.*) where /i){
-               $subtables = $1;
-       }
-       return ($mastertables,$subtables);
-}
-
-=item get_column_type($column)
+=head2 get_column_type($column)
 
 This takes a column name of the format table.column and will return what type it is
 (free text, set values, date)
@@ -706,7 +713,7 @@ sub get_column_type {
        my $catalog;
        my $schema;
 
-       # mysql doesnt support a column selection, set column to %
+    # mysql doesn't support a column selection, set column to %
        my $tempcolumn='%';
        my $sth = $dbh->column_info( $catalog, $schema, $table, $tempcolumn ) || die $dbh->errstr;
        while (my $info = $sth->fetchrow_hashref()){
@@ -720,7 +727,7 @@ sub get_column_type {
        }
 }
 
-=item get_distinct_values($column)
+=head2 get_distinct_values($column)
 
 Given a column name, return an arrary ref of hashrefs suitable for use as a tmpl_loop 
 with the distinct values of the column
@@ -739,9 +746,9 @@ sub get_distinct_values {
 }      
 
 sub save_dictionary {
-       my ($name,$description,$sql,$area) = @_;
-       my $dbh = C4::Context->dbh();
-       my $query = "INSERT INTO reports_dictionary (name,description,saved_sql,area,date_created,date_modified)
+    my ( $name, $description, $sql, $area ) = @_;
+    my $dbh   = C4::Context->dbh();
+    my $query = "INSERT INTO reports_dictionary (name,description,saved_sql,report_area,date_created,date_modified)
   VALUES (?,?,?,?,now(),now())";
     my $sth = $dbh->prepare($query);
     $sth->execute($name,$description,$sql,$area) || return 0;
@@ -749,33 +756,32 @@ sub save_dictionary {
 }
 
 sub get_from_dictionary {
-       my ($area,$id) = @_;
-       my $dbh = C4::Context->dbh();
-       my $query = "SELECT * FROM reports_dictionary";
-       if ($area){
-               $query.= " WHERE area = ?";
-       }
-       elsif ($id){
-               $query.= " WHERE id = ?"
-       }
-       my $sth = $dbh->prepare($query);
-       if ($id){
-               $sth->execute($id);
-       }
-       elsif ($area) {
-               $sth->execute($area);
-       }
-       else {
-               $sth->execute();
-       }
-       my @loop;
-       my @reports = ( 'Circulation', 'Catalog', 'Patrons', 'Acquisitions', 'Accounts');
-       while (my $data = $sth->fetchrow_hashref()){
-               $data->{'areaname'}=$reports[$data->{'area'}-1];
-               push @loop,$data;
-               
-       }
-       return (\@loop);
+    my ( $area, $id ) = @_;
+    my $dbh   = C4::Context->dbh();
+    my $area_name_sql_snippet = get_area_name_sql_snippet;
+    my $query = <<EOQ;
+SELECT d.*, $area_name_sql_snippet
+FROM reports_dictionary d
+EOQ
+
+    if ($area) {
+        $query .= " WHERE report_area = ?";
+    } elsif ($id) {
+        $query .= " WHERE id = ?";
+    }
+    my $sth = $dbh->prepare($query);
+    if ($id) {
+        $sth->execute($id);
+    } elsif ($area) {
+        $sth->execute($area);
+    } else {
+        $sth->execute();
+    }
+    my @loop;
+    while ( my $data = $sth->fetchrow_hashref() ) {
+        push @loop, $data;
+    }
+    return ( \@loop );
 }
 
 sub delete_definition {
@@ -786,6 +792,13 @@ sub delete_definition {
        $sth->execute($id);
 }
 
+=head2 get_sql($report_id)
+
+Given a report id, return the SQL statement for that report.
+Otherwise, it just returns.
+
+=cut
+
 sub get_sql {
        my ($id) = @_ or return;
        my $dbh = C4::Context->dbh();
@@ -796,30 +809,258 @@ sub get_sql {
        return $data->{'savedsql'};
 }
 
+sub get_results {
+    my ( $report_id ) = @_;
+    my $dbh = C4::Context->dbh;
+    return $dbh->selectall_arrayref(q|
+        SELECT id, report, date_run
+        FROM saved_reports
+        WHERE report_id = ?
+    |, { Slice => {} }, $report_id);
+}
+
 sub _get_column_defs {
-       my ($cgi) = @_;
-       my %columns;
-       my $columns_def_file = "columns.def";
-       my $htdocs = C4::Context->config('intrahtdocs');                       
-       my $section='intranet';
-       my ($theme, $lang) = C4::Templates::themelanguage($htdocs, $columns_def_file, $section,$cgi);
-
-       my $full_path_to_columns_def_file="$htdocs/$theme/$lang/$columns_def_file";    
-       open (COLUMNS,$full_path_to_columns_def_file);
-       while (my $input = <COLUMNS>){
-               chomp $input;
-               my @row =split(/\t/,$input);
-               $columns{$row[0]}= $row[1];
-       }
+    my ($cgi) = @_;
+    my %columns;
+    my $columns_def_file = "columns.def";
+    my $htdocs = C4::Context->config('intrahtdocs');
+    my $section = 'intranet';
+
+    # We need the theme and the lang
+    # Since columns.def is not in the modules directory, we cannot sent it for the $tmpl var
+    my ($theme, $lang, $availablethemes) = C4::Templates::themelanguage($htdocs, 'about.tt', $section, $cgi);
+
+    my $full_path_to_columns_def_file="$htdocs/$theme/$lang/$columns_def_file";
+    open (my $fh, '<:encoding(utf-8)', $full_path_to_columns_def_file);
+    while ( my $input = <$fh> ){
+        chomp $input;
+        if ( $input =~ m|<field name="(.*)">(.*)</field>| ) {
+            my ( $field, $translation ) = ( $1, $2 );
+            $columns{$field} = $translation;
+        }
+    }
+    close $fh;
+    return \%columns;
+}
+
+=head2 GetReservedAuthorisedValues
+
+    my %reserved_authorised_values = GetReservedAuthorisedValues();
+
+Returns a hash containig all reserved words
+
+=cut
+
+sub GetReservedAuthorisedValues {
+    my %reserved_authorised_values =
+            map { $_ => 1 } ( 'date',
+                              'branches',
+                              'itemtypes',
+                              'cn_source',
+                              'categorycode',
+                              'biblio_framework' );
 
-       close COLUMNS;
-       return \%columns;
+   return \%reserved_authorised_values;
 }
+
+
+=head2 IsAuthorisedValueValid
+
+    my $is_valid_ath_value = IsAuthorisedValueValid($authorised_value)
+
+Returns 1 if $authorised_value is on the reserved authorised values list or
+in the authorised value categories defined in
+
+=cut
+
+sub IsAuthorisedValueValid {
+
+    my $authorised_value = shift;
+    my $reserved_authorised_values = GetReservedAuthorisedValues();
+
+    if ( exists $reserved_authorised_values->{$authorised_value} ||
+         Koha::AuthorisedValues->search({ category => $authorised_value })->count ) {
+        return 1;
+    }
+
+    return 0;
+}
+
+=head2 GetParametersFromSQL
+
+    my @sql_parameters = GetParametersFromSQL($sql)
+
+Returns an arrayref of hashes containing the keys name and authval
+
+=cut
+
+sub GetParametersFromSQL {
+
+    my $sql = shift ;
+    my @split = split(/<<|>>/,$sql);
+    my @sql_parameters = ();
+
+    for ( my $i = 0; $i < ($#split/2) ; $i++ ) {
+        my ($name,$authval) = split(/\|/,$split[$i*2+1]);
+        push @sql_parameters, { 'name' => $name, 'authval' => $authval };
+    }
+
+    return \@sql_parameters;
+}
+
+=head2 ValidateSQLParameters
+
+    my @problematic_parameters = ValidateSQLParameters($sql)
+
+Returns an arrayref of hashes containing the keys name and authval of
+those SQL parameters that do not correspond to valid authorised names
+
+=cut
+
+sub ValidateSQLParameters {
+
+    my $sql = shift;
+    my @problematic_parameters = ();
+    my $sql_parameters = GetParametersFromSQL($sql);
+
+    foreach my $sql_parameter (@$sql_parameters) {
+        if ( defined $sql_parameter->{'authval'} ) {
+            push @problematic_parameters, $sql_parameter unless
+                IsAuthorisedValueValid($sql_parameter->{'authval'});
+        }
+    }
+
+    return \@problematic_parameters;
+}
+
+=head2 EmailReport
+
+    my ( $emails, $arrayrefs ) = EmailReport($report_id, $letter_code, $module, $branch, $email)
+
+Take a report and use it to process a Template Toolkit formatted notice
+Returns arrayrefs containing prepared letters and errors respectively
+
+=cut
+
+sub EmailReport {
+
+    my $params     = shift;
+    my $report_id  = $params->{report_id};
+    my $from       = $params->{from};
+    my $email      = $params->{email};
+    my $module     = $params->{module};
+    my $code       = $params->{code};
+    my $branch     = $params->{branch} || "";
+
+    my @errors = ();
+    my @emails = ();
+
+    return ( undef, [{ FATAL => "MISSING_PARAMS" }] ) unless ($report_id && $module && $code);
+
+    return ( undef, [{ FATAL => "NO_LETTER" }] ) unless
+    my $letter = Koha::Notice::Templates->find({
+        module     => $module,
+        code       => $code,
+        branchcode => $branch,
+        message_transport_type => 'email',
+    });
+    $letter = $letter->unblessed;
+
+    my $report = Koha::Reports->find( $report_id );
+    my $sql = $report->savedsql;
+    return ( { FATAL => "NO_REPORT" } ) unless $sql;
+
+    my ( $sth, $errors ) = execute_query( $sql ); #don't pass offset or limit, hardcoded limit of 999,999 will be used
+    return ( undef, [{ FATAL => "REPORT_FAIL" }] ) if $errors;
+
+    my $counter = 1;
+    my $template = $letter->{content};
+
+    while ( my $row = $sth->fetchrow_hashref() ) {
+        my $email;
+        my $err_count = scalar @errors;
+        push ( @errors, { NO_BOR_COL => $counter } ) unless defined $row->{borrowernumber};
+        push ( @errors, { NO_EMAIL_COL => $counter } ) unless ( (defined $email && defined $row->{$email}) || defined $row->{email} );
+        push ( @errors, { NO_FROM_COL => $counter } ) unless defined ( $from || $row->{from} );
+        push ( @errors, { NO_BOR => $row->{borrowernumber} } ) unless Koha::Patrons->find({borrowernumber=>$row->{borrowernumber}});
+
+        my $from_address = $from || $row->{from};
+        my $to_address = $email ? $row->{$email} : $row->{email};
+        push ( @errors, { NOT_PARSE => $counter } ) unless my $content = _process_row_TT( $row, $template );
+        $counter++;
+        next if scalar @errors > $err_count; #If any problems, try next
+
+        $letter->{content}       = $content;
+        $email->{borrowernumber} = $row->{borrowernumber};
+        $email->{letter}         = $letter;
+        $email->{from_address}   = $from_address;
+        $email->{to_address}     = $to_address;
+
+        push ( @emails, $email );
+    }
+
+    return ( \@emails, \@errors );
+
+}
+
+
+
+=head2 ProcessRowTT
+
+   my $content = ProcessRowTT($row_hashref, $template);
+
+Accepts a hashref containing values and processes them against Template Toolkit
+to produce content
+
+=cut
+
+sub _process_row_TT {
+
+    my ($row, $template) = @_;
+
+    return 0 unless ($row && $template);
+    my $content;
+    my $processor = Template->new();
+    $processor->process( \$template, $row, \$content);
+    return $content;
+
+}
+
+sub _get_display_value {
+    my ( $original_value, $column ) = @_;
+    if ( $column eq 'periodicity' ) {
+        my $dbh = C4::Context->dbh();
+        my $query = "SELECT description FROM subscription_frequencies WHERE id = ?";
+        my $sth   = $dbh->prepare($query);
+        $sth->execute($original_value);
+        return $sth->fetchrow;
+    }
+    return $original_value;
+}
+
+
+=head3 convert_sql
+
+my $updated_sql = C4::Reports::Guided::convert_sql( $sql );
+
+Convert a sql query using biblioitems.marcxml to use the new
+biblio_metadata.metadata field instead
+
+=cut
+
+sub convert_sql {
+    my ( $sql ) = @_;
+    my $updated_sql = $sql;
+    if ( $sql =~ m|biblioitems| and $sql =~ m|marcxml| ) {
+        $updated_sql =~ s|biblioitems|biblio_metadata|g;
+        $updated_sql =~ s|marcxml|metadata|g;
+    }
+    return $updated_sql;
+}
+
 1;
 __END__
 
-=back
-
 =head1 AUTHOR
 
 Chris Cormack <crc@liblime.com>