bfea553204fcfd88ad184f0e77c48276845f05ee
[tine20] / tine20 / Calendar / Import / CalDav / Client.php
1 <?php
2 //./tine20.php --username unittest --method Calendar.importCalDav url="https://osx-testfarm-mavericks-server.hh.metaways.de:8443" caldavuserfile=caldavuserfile.csv
3
4 /**
5  * Tine 2.0
6  * 
7  * @package     Calendar
8  * @subpackage  Import
9  * @license     http://www.gnu.org/licenses/agpl.html AGPL Version 3
10  * @author      Paul Mehrer <p.mehrer@metaways.de>
11  * @copyright   Copyright (c) 2014 Metaways Infosystems GmbH (http://www.metaways.de)
12  */
13
14 /**
15  * Calendar_Import_CalDAV
16  * 
17  * @package     Calendar
18  * @subpackage  Import
19  */
20 class Calendar_Import_CalDav_Client extends Tinebase_Import_CalDav_Client
21 {
22     protected $calendars = array();
23     protected $calendarICSs = array();
24     protected $existingRecordIds = array();
25     protected $maxBulkRequest = 20;
26     protected $mapToDefaultContainer = 'calendar';
27     protected $decorator = null;
28     
29     protected $component = 'VEVENT';
30     protected $skipComonent = 'VTODO';
31     protected $modelName = 'Calendar_Model_Event';
32     protected $appName = 'Calendar';
33     protected $webdavFrontend = 'Calendar_Frontend_WebDAV_Event';
34     
35     const findAllCalendarsRequest =
36 '<?xml version="1.0"?>
37 <d:propfind xmlns:d="DAV:">
38   <d:prop>
39     <d:resourcetype />
40     <d:acl />
41     <d:displayname />
42     <x:supported-calendar-component-set xmlns:x="urn:ietf:params:xml:ns:caldav"/>
43   </d:prop>
44 </d:propfind>';
45     
46     const findAllCalendarICSsRequest = 
47 '<?xml version="1.0"?>
48 <d:propfind xmlns:d="DAV:">
49   <d:prop>
50     <x:calendar-data xmlns:x="urn:ietf:params:xml:ns:caldav"/>
51   </d:prop>
52 </d:propfind>';
53     
54     const getAllCalendarDataRequest =
55 '<?xml version="1.0"?>
56 <b:calendar-multiget xmlns:a="DAV:" xmlns:b="urn:ietf:params:xml:ns:caldav">
57   <a:prop>
58     <b:calendar-data />
59     <a:getetag />
60   </a:prop>
61 ';
62     
63     const getEventETagsRequest =
64 '<?xml version="1.0"?>
65 <b:calendar-multiget xmlns:a="DAV:" xmlns:b="urn:ietf:params:xml:ns:caldav">
66   <a:prop>
67     <a:getetag />
68   </a:prop>
69 ';
70     
71     public function __construct(array $a, $flavor)
72     {
73         parent::__construct($a);
74         
75         $flavor = 'Calendar_Import_CalDav_Decorator_' . $flavor;
76         $this->decorator = new $flavor($this);
77     }
78     
79     public function findAllCalendars()
80     {
81         if ('' == $this->calendarHomeSet && ! $this->findCalendarHomeSet())
82             return false;
83         
84         //issue with follow location in curl!?!?
85         if ($this->calendarHomeSet[strlen($this->calendarHomeSet)-1] !== '/')
86             $this->calendarHomeSet .= '/';
87         
88         try {
89             $result = $this->calDavRequest('PROPFIND', $this->calendarHomeSet, $this->decorator->preparefindAllCalendarsRequest(self::findAllCalendarsRequest), 1);
90         } catch (Tinebase_Exception $te) {
91             if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
92                 Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' request failed');
93             Tinebase_Exception::log($te);
94             return false;
95         }
96         
97         foreach ($result as $uri => $response) {
98             if (isset($response['{DAV:}resourcetype']) && isset($response['{urn:ietf:params:xml:ns:caldav}supported-calendar-component-set']) && 
99                     $response['{DAV:}resourcetype']->is('{urn:ietf:params:xml:ns:caldav}calendar') &&
100                     in_array($this->component, $response['{urn:ietf:params:xml:ns:caldav}supported-calendar-component-set']->getValue())) {
101                 $this->calendars[$uri]['acl'] = $response['{DAV:}acl'];
102                 $this->calendars[$uri]['displayname'] = $response['{DAV:}displayname'];
103                 $this->decorator->processAdditionalCalendarProperties($this->calendars[$uri], $response);
104                 $this->resolvePrincipals($this->calendars[$uri]['acl']->getPrivileges());
105             }
106         }
107         
108         if (count($this->calendars) > 0) {
109             return true;
110         } else {
111             if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
112                 Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' couldn\'t find a calendar');
113             return false;
114         }
115     }
116     
117     public function findAllCalendarICSs()
118     {
119         if (count($this->calendars) < 1 && ! $this->findAllCalendars())
120             return false;
121         
122         foreach ($this->calendars as $calUri => $calendar) {
123             $result = $this->calDavRequest('PROPFIND', $calUri, self::findAllCalendarICSsRequest, 1);
124             foreach ($result as $ics => $value) {
125                 if (strpos($ics, '.ics') !== FALSE)
126                     $this->calendarICSs[$calUri][] = $ics;
127             }
128         }
129         
130         if (count($this->calendarICSs) > 0) {
131             return true;
132         } else {
133             if (Tinebase_Core::isLogLevel(Zend_Log::NOTICE))
134                 Tinebase_Core::getLogger()->notice(__METHOD__ . '::' . __LINE__ . ' all found calendars are empty');
135             return false;
136         }
137     }
138     
139     /**
140      * findContainerForCalendar
141      * 
142      * @param unknown $calendarUri
143      * @param unknown $displayname
144      * @param unknown $defaultCalendarsName
145      * @param unknown $type
146      * @param string $application_id
147      */
148     protected function findContainerForCalendar($calendarUri, 
149             $displayname, $defaultCalendarsName, $type = Tinebase_Model_Container::TYPE_PERSONAL,
150             $application_id = null)
151     {
152         if (! $application_id) {
153             $application_id = Tinebase_Application::getInstance()->getApplicationByName($this->appName)->getId();
154         }
155         
156         // sha1() the whole calendar uri as it is very hard to separate a uuid string from the uri otherwise
157         $uuid = sha1($calendarUri);
158         
159         if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . ' ' . __LINE__
160                 . ' $calendarUri = ' . $calendarUri . ' / $displayname = ' . $displayname 
161                 . ' / $defaultCalendarsName = ' . $defaultCalendarsName . ' / $uuid = ' . $uuid);
162         
163         $filter = new Tinebase_Model_ContainerFilter(array(
164             array(
165                 'field' => 'uuid', 
166                 'operator' => 'equals', 
167                 'value' => $uuid
168             ),
169             array(
170                 'field' => 'model', 
171                 'operator' => 'equals', 
172                 'value' => $this->modelName
173             ),
174         ));
175         $existingCalendar = Tinebase_Container::getInstance()->search($filter)->getFirstRecord();
176         if ($existingCalendar) {
177             if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . ' ' . __LINE__
178                 . ' Found existing container ' . $existingCalendar->name . ' (id: ' . $existingCalendar->getId() . ')');
179             return $existingCalendar;
180         }
181         
182         $counter = '';
183         
184         if ($defaultCalendarsName == $displayname) {
185             $existingCalendar = Tinebase_Container::getInstance()->getDefaultContainer($this->modelName);
186             if (! $existingCalendar->uuid) {
187                 if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . ' ' . __LINE__
188                     . ' Found existing calendar with the same name');
189                 $existingCalendar->uuid = $uuid;
190                 return $existingCalendar;
191             }
192             $existingCalendar = null;
193             $counter = 1;
194         }
195         
196         try {
197             while (true) {
198                 $existingCalendar = Tinebase_Container::getInstance()->getContainerByName($this->appName, $displayname . $counter, $type, Tinebase_Core::getUser());
199                 
200                 if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
201                     . ' Got calendar: ' . $existingCalendar->name . ' (id: ' . $existingCalendar->getId() . ')');
202                 
203                 if (! $existingCalendar->uuid) {
204                     $existingCalendar->uuid = $uuid;
205                     return $existingCalendar;
206                 }
207                 $counter += 1;
208             }
209         } catch (Tinebase_Exception_NotFound $e) {
210             $newContainer = new Tinebase_Model_Container(array(
211                 'name'              => $displayname . $counter,
212                 'type'              => $type,
213                 'backend'           => 'Sql',
214                 'application_id'    => $application_id,
215                 'model'             => $this->modelName,
216                 'uuid'              => $uuid
217             ));
218             
219             if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
220                     . ' Adding container: ' . $newContainer->name . ' for model ' . $this->modelName);
221             
222             return Tinebase_Container::getInstance()->addContainer($newContainer);
223         }
224     }
225     
226     public function importAllCalendars()
227     {
228         if (count($this->calendars) < 1 && ! $this->findAllCalendars()) {
229             return false;
230         }
231         
232         if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__ 
233             . ' Importing all calendars for user ' . $this->userName);
234         
235         Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->sendNotifications(false);
236         Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->useNotes(false);
237         Sabre\VObject\Component\VCalendar::$propertyMap['ATTACH'] = '\\Calendar_Import_CalDav_SabreAttachProperty';
238         
239         $this->decorator->initCalendarImport();
240         
241         $defaultCalendarsName = $this->_getDefaultCalendarsName();
242         
243         if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . ' ' . __LINE__
244             . ' Calendar uris to import: ' . print_r(array_keys($this->calendars), true));
245         if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . ' ' . __LINE__
246             . ' Calendars to import: ' . print_r($this->calendars, true));
247         
248         foreach ($this->calendars as $calUri => $cal) {
249             $container = $this->findContainerForCalendar($calUri, $cal['displayname'], $defaultCalendarsName);
250             
251             $this->decorator->setCalendarProperties($container, $this->calendars[$calUri]);
252             
253             $grants = $this->getCalendarGrants($calUri);
254             Tinebase_Container::getInstance()->setGrants($container->getId(), $grants, TRUE, FALSE);
255         }
256     }
257     
258     /**
259      * decide which calendar to use as default calendar
260      * if there is a remote default calendar, use that. If not, use the first we find
261      * 
262      * @return string
263      */
264     protected function _getDefaultCalendarsName() 
265     {
266         $defaultCalendarsName = '';
267         foreach ($this->calendarICSs as $calUri => $calICSs) {
268             if ($this->mapToDefaultContainer == $this->calendars[$calUri]['displayname']) {
269                 return $this->calendars[$calUri]['displayname'];
270             } elseif ($defaultCalendarsName === '') {
271                 $defaultCalendarsName = $this->calendars[$calUri]['displayname'];
272             }
273         }
274         return $defaultCalendarsName;
275     }
276     
277     /**
278      * 
279      * @param string $onlyCurrentUserOrganizer
280      * @return boolean
281      */
282     public function updateAllCalendarData($onlyCurrentUserOrganizer = false)
283     {
284         if (count($this->calendarICSs) < 1 && ! $this->findAllCalendarICSs()) {
285             if (Tinebase_Core::isLogLevel(Zend_Log::INFO))
286                 Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' no calendars found for: ' . $this->userName);
287             return false;
288         }
289         
290         $newICSs = array();
291         $newEventCount = 0;
292         $updateEventCount = 0;
293         $deleteEventCount = 0;
294         
295         if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__
296                 . ' Looking for updates in ' . count($this->calendarICSs). ' calendars ...');
297         
298         foreach ($this->calendarICSs as $calUri => $calICSs) {
299             $updateResult = $this->updateCalendar($calUri, $calICSs);
300             if (count($updateResult['ics']) > 0) {
301                 $newICSs[$calUri] = $updateResult['ics'];
302             }
303             
304             if (! empty($updateResult['todelete'])) {
305                 if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' '
306                         . ' Deleting ' . count($updateResult['todelete']) . ' ' . $this->modelName . ' in calendar '  . $calUri);
307                 if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . '::' . __LINE__ . ' '
308                         . ' ' . print_r($updateResult['todelete'], true));
309                 
310                 $recordBackend->delete($updateResult['todelete']);
311             }
312             
313             $newEventCount += $updateResult['toadd'];
314             $updateEventCount += $updateResult['toupdate'];
315             $deleteEventCount += count($updateResult['todelete']);
316         }
317         
318         if (($count = count($newICSs)) > 0) {
319             if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' ' 
320                     . $count . ' calendar(s) changed for: ' . $this->userName
321                     . ' (' . $newEventCount . '/' . $updateEventCount . '/' . $deleteEventCount . ' records add/update/delete): '
322                     . print_r(array_keys($newICSs), true));
323             if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . '::' . __LINE__ . ' ' 
324                     . 'Events changed: ' . print_r($newICSs, true));
325             
326             $this->calendarICSs = $newICSs;
327             $this->importAllCalendarData($onlyCurrentUserOrganizer, /* $update = */ true);
328         } else {
329             if (Tinebase_Core::isLogLevel(Zend_Log::NOTICE))
330                 Tinebase_Core::getLogger()->notice(__METHOD__ . '::' . __LINE__ . ' no changes found for: ' . $this->userName);
331         }
332     }
333     
334     protected function updateCalendar($calUri, $calICSs)
335     {
336         $updateResult = array(
337             'ics'       => array(),
338             'toupdate'  => 0,
339             'toadd'     => 0,
340             'todelete'  => array(), // of record ids
341         );
342         
343         $serverEtags = $this->_fetchServerEtags($calUri, $calICSs);
344         
345         // get current tine20 id/etags of records
346         $recordBackend = Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->getBackend();
347         $defaultCalendarsName = $this->_getDefaultCalendarsName();
348         $container = $this->findContainerForCalendar($calUri, $this->calendars[$calUri]['displayname'], $defaultCalendarsName);
349         $containerEtags = $recordBackend->getEtagsForContainerId($container->getId());
350         
351         if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . '::' . __LINE__ . ' '
352                 . ' Got ' . count($serverEtags) . ' server etags for container ' . $container->name);
353         if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . '::' . __LINE__ . ' '
354                 . ' server etags: ' . print_r($serverEtags, true));
355         if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . '::' . __LINE__ . ' '
356                 . ' tine20 etags: ' . print_r($containerEtags, true));
357         
358         // handle add/updates
359         foreach ($serverEtags as $ics => $data) {
360             if (isset($containerEtags[$data['id']])) {
361                 $tine20Etag = $containerEtags[$data['id']];
362         
363                 // remove from $containerEtags list to be able to tell deletes
364                 unset($containerEtags[$data['id']]);
365         
366                 if ($tine20Etag == $data['etag']) {
367                     continue; // same
368                 } else if (empty($tine20Etag)) {
369                     // event has been added in tine -> don't overwrite/delete
370                     continue;
371                 } else {
372                     $eventExists = true; // different
373                 }
374             } else {
375                 try {
376                     // might be a delegated event from another container/organizer
377                     $recordBackend->checkETag($data['id'], $data['etag']);
378                     continue; // ignore update here
379                 } catch (Tinebase_Exception_NotFound $tenf) {
380                     $eventExists = false; // new record;
381                 }
382             }
383         
384             if (! isset($this->existingRecordIds[$calUri])) {
385                 if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . '::' . __LINE__ . ' '
386                         . ' Found changed event(s) for container ' . $container->name);
387         
388                 $this->existingRecordIds[$calUri] = array();
389             }
390             $updateResult['ics'][] = $ics;
391             if ($eventExists) {
392                 $this->existingRecordIds[$calUri][] = $data['id'];
393                 $updateResult['toupdate']++;
394             } else {
395                 $updateResult['toadd']++;
396             }
397         }
398         
399         // handle deletes
400         foreach ($containerEtags as $id => $etag) {
401             if (! empty($etag)) {
402                 // record has been deleted on server
403                 $updateResult['todelete'][] = $id;
404             } else {
405                 if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . '::' . __LINE__ . ' '
406                         . ' Record has been added in tine: ' . $id);
407             }
408         }
409         
410         return $updateResult;
411     }
412     
413     protected function _fetchServerEtags($calUri, $calICSs)
414     {
415         $start = 0;
416         $max = count($calICSs);
417         
418         $etags = array();
419         do {
420             $requestEnd = '';
421             for ($i = $start; $i < $max && $i < ($this->maxBulkRequest+$start); ++$i) {
422                 $requestEnd .= '  <a:href>' . $calICSs[$i] . "</a:href>\n";
423             }
424             $start = $i;
425             $requestEnd .= '</b:calendar-multiget>';
426             $result = $this->calDavRequest('REPORT', $calUri, self::getEventETagsRequest . $requestEnd, 1);
427         
428             foreach ($result as $key => $value) {
429                 if (isset($value['{DAV:}getetag'])) {
430                     $name = explode('/', $key);
431                     $name = end($name);
432                     $id = $this->_getEventIdFromName($name);
433                     $etags[$key] = array( 'id' => $id, 'etag' => $value['{DAV:}getetag']);
434                 }
435             }
436         } while($start < $max);
437
438         return $etags;
439     }
440     
441     protected function _getEventIdFromName($name)
442     {
443         $id = ($pos = strpos($name, '.')) === false ? $name : substr($name, 0, $pos);
444         if (strlen($id) > 40) {
445             $id = sha1($id);
446         }
447         return $id;
448     }
449     
450     public function importAllCalendarData($onlyCurrentUserOrganizer = false, $update = false)
451     {
452         if (count($this->calendarICSs) < 1 && ! $this->findAllCalendarICSs()) {
453             return false;
454         }
455         
456         if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
457             . ' Importing all calendar data for user ' . $this->userName . ' with ics uris: ' . print_r(array_keys($this->calendarICSs), true));
458         
459         Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->sendNotifications(false);
460         Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->useNotes(false);
461         Sabre\VObject\Component\VCalendar::$propertyMap['ATTACH'] = '\\Calendar_Import_CalDav_SabreAttachProperty';
462         
463         $this->decorator->initCalendarImport();
464         
465         $application_id = Tinebase_Application::getInstance()->getApplicationByName($this->appName)->getId();
466         $type = Tinebase_Model_Container::TYPE_PERSONAL;
467         $defaultContainer = Tinebase_Container::getInstance()->getDefaultContainer($this->modelName);
468         
469         $defaultCalendarsName = $this->_getDefaultCalendarsName();
470         
471         foreach ($this->calendarICSs as $calUri => $calICSs) {
472             if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
473                 . ' Processing calendar ' . print_r($this->calendars[$calUri], true));
474             
475             $container = $this->findContainerForCalendar($calUri, $this->calendars[$calUri]['displayname'], $defaultCalendarsName,
476                     $type, $application_id);
477             
478             if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . ' ' . __LINE__
479                     . ' User container: ' . print_r($container->toArray(), true));
480             
481             $this->decorator->setCalendarProperties($container, $this->calendars[$calUri]);
482             
483             // we shouldnt do the grants here as the caldav user file may not contain all users, so setting the grants wont work properly!
484             // use importAllCalendars to have the grants set
485             //$grants = $this->getCalendarGrants($calUri);
486             //Tinebase_Container::getInstance()->setGrants($container->getId(), $grants, TRUE, FALSE);
487             
488             $start = 0;
489             $max = count($calICSs);
490             do {
491                 $etags = array();
492                 $requestEnd = '';
493                 for ($i = $start; $i < $max && $i < ($this->maxBulkRequest+$start); ++$i) {
494                     $requestEnd .= '  <a:href>' . $calICSs[$i] . "</a:href>\n";
495                 }
496                 $start = $i;
497                 $requestEnd .= '</b:calendar-multiget>';
498                 $result = $this->calDavRequest('REPORT', $calUri, self::getAllCalendarDataRequest . $requestEnd, 1);
499                 
500                 foreach ($result as $key => $value) {
501                     if (! isset($value['{urn:ietf:params:xml:ns:caldav}calendar-data'])) {
502                         continue;
503                     }
504                     
505                     $data = $value['{urn:ietf:params:xml:ns:caldav}calendar-data'];
506                     
507                     if (strpos($data, 'BEGIN:' . $this->skipComonent) !== false) {
508                         if (Tinebase_Core::isLogLevel(Zend_Log::INFO))
509                             Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' Skipping ' . $this->skipComonent);
510                         continue;
511                     }
512                     
513                     $name = explode('/', $key);
514                     $name = end($name);
515                     $id = $this->_getEventIdFromName($name);
516                     try {
517                         if ($update && in_array($id, $this->existingRecordIds[$calUri])) {
518                             $webdavFrontend = new $this->webdavFrontend($container, $id);
519                             // @todo move this to separate fn
520                             if ($onlyCurrentUserOrganizer && $this->modelName === 'Calendar_Model_Event') {
521                                 // assert current user is organizer
522                                 if ($webdavFrontend->getRecord()->organizer && $webdavFrontend->getRecord()->organizer == Tinebase_Core::getUser()->contact_id) {
523                                     $webdavFrontend->put($data);
524                                 } else {
525                                     continue;
526                                 }
527                             } else {
528                                 $webdavFrontend->put($data);
529                             }
530                             
531                         } else {
532                             $webdavFrontend = call_user_func_array(array($this->webdavFrontend, 'create'), array(
533                                 $container,
534                                 $name,
535                                 $data,
536                                 $onlyCurrentUserOrganizer
537                             ));
538                         }
539                         
540                         if ($webdavFrontend) {
541                             $etags[$webdavFrontend->getRecord()->getId()] = $value['{DAV:}getetag'];
542                         }
543                     } catch (Exception $e) {
544                         if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
545                             Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' Could not create event from data: ' . $data);
546                         Tinebase_Exception::log($e);
547                     }
548                 }
549                 
550                 $this->_setEtags($etags);
551             } while($start < $max);
552         }
553         return true;
554     }
555     
556     protected function _setEtags($etags)
557     {
558         $recordBackend = Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->getBackend();
559         $recordBackend->setETags($etags);
560     }
561     
562     /**
563      * get Tine 2.0 group for given principal (by display name)
564      * - result is cached for 1 week
565      * 
566      * @param string $principal
567      * @return null|Tinebase_Model_Group
568      */
569     protected function _getGroupForPrincipal($principal)
570     {
571         $cacheId = convertCacheId('_getGroupForPrincipal' . $principal);
572         if (Tinebase_Core::getCache()->test($cacheId)) {
573             $group = Tinebase_Core::getCache()->load($cacheId);
574             if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
575                     . ' Loading principal group from cache: ' . $group->name);
576             return $group;
577         }
578         
579         $group = null;
580         
581         $result = $this->calDavRequest('PROPFIND', $principal, self::resolvePrincipalRequest);
582         if (count($result['{DAV:}group-member-set']->getPrincipals()) > 0 && isset($result['{DAV:}displayname'])) {
583             $groupDescription = $result['{DAV:}displayname'];
584             try {
585                 $group = Tinebase_Group::getInstance()->getGroupByPropertyFromSqlBackend('description',$groupDescription);
586                 if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
587                         . ' Found matching group ' . $group->name . ' (' . $group->description .') for principal ' . $principal);
588                 Tinebase_Core::getCache()->save($group, $cacheId, array(), /* 1 week */ 24*3600*7);
589             } catch (Tinebase_Exception_Record_NotDefined $ternd) {
590                 if (Tinebase_Core::isLogLevel(Zend_Log::NOTICE)) Tinebase_Core::getLogger()->notice(__METHOD__ . ' ' . __LINE__
591                         . ' Group not found: ' . $groupDescription . ' ' . print_r($result, true));
592             }
593         }
594         
595         return $group;
596     }
597     
598     /**
599      * get grants for cal uri
600      * 
601      * @param string $calUri
602      * @return Tinebase_Record_RecordSet
603      */
604     public function getCalendarGrants($calUri)
605     {
606         $grants = array();
607         $user = array();
608         $type = array();
609         $privilege = array();
610         foreach ($this->calendars[$calUri]['acl']->getPrivileges() as $ace)
611         {
612             if ('{DAV:}authenticated' == $ace['principal']) {
613                 $user[] = 0;
614                 $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_ANYONE;
615                 $privilege[] = $ace['privilege'];
616             } elseif (isset($this->principals[$ace['principal']])) {
617                 $user[] = $this->principals[$ace['principal']]->getId();
618                 $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_USER;
619                 $privilege[] = $ace['privilege'];
620             } elseif (isset($this->principalGroups[$ace['principal']])) {
621                 foreach($this->principalGroups[$ace['principal']] as $principal) {
622                     if ('{DAV:}authenticated' == $principal) {
623                         $user[] = 0;
624                         $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_ANYONE;
625                         $privilege[] = $ace['privilege'];
626                     } elseif (isset($this->principals[$principal])) {
627                         $user[] = $this->principals[$principal]->getId();
628                         $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_USER;
629                         $privilege[] = $ace['privilege'];
630                     } else {
631                         $group = $this->_getGroupForPrincipal($principal);
632                         if ($group) {
633                             $user[] = $group->getId();
634                             $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_GROUP;
635                             $privilege[] = $ace['privilege'];
636                         } else {
637                             if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
638                                 Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ 
639                                     . ' There is an unresolved principal: ' . $principal . ' in group: ' . $ace['principal']);
640                         }
641                     }
642                 }
643             } else {
644                 if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
645                     Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' Couldn\'t resolve principal: '.$ace['principal']);
646             }
647         }
648         for ($i=0; $i<count($user); ++$i) {
649             switch ($privilege[$i]) {
650                 case '{DAV:}all':
651                     $grants[$user[$i]] = $this->_getAllGrants();
652                     break;
653                 case '{urn:ietf:params:xml:ns:caldav}read-free-busy':
654                     $grants[$user[$i]] = $this->_getFreeBusyGrants();
655                     break;
656                 case '{DAV:}read':
657                     $grants[$user[$i]] = $this->_getReadGrants();
658                     break;
659                 case '{DAV:}write':
660                     $grants[$user[$i]] = $this->_getWriteGrants();
661                     break;
662                 case '{DAV:}read-current-user-privilege-set':
663                     continue;
664                 default:
665                     if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
666                         Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' unknown privilege: ' . $privilege[$i]);
667                     continue;
668             }
669             $grants[$user[$i]]['account_id'] = $user[$i];
670             $grants[$user[$i]]['account_type'] = $type[$i];
671         }
672         
673         if (Tinebase_Core::isLogLevel(Zend_Log::INFO))
674             Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' found ' . count($grants) . ' grants for calendar: ' . $calUri);
675         if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG))
676             Tinebase_Core::getLogger()->debug(__METHOD__ . '::' . __LINE__ . ' grants: ' . print_r($grants, true));
677         
678         return new Tinebase_Record_RecordSet('Tinebase_Model_Grants', $grants, TRUE);
679     }
680     
681     protected function _getAllGrants()
682     {
683         return array(
684             Tinebase_Model_Grants::GRANT_READ => true,
685             Tinebase_Model_Grants::GRANT_ADD=> true,
686             Tinebase_Model_Grants::GRANT_EDIT=> true,
687             Tinebase_Model_Grants::GRANT_DELETE=> true,
688             Tinebase_Model_Grants::GRANT_EXPORT=> true,
689             Tinebase_Model_Grants::GRANT_SYNC=> true,
690             Tinebase_Model_Grants::GRANT_ADMIN=> true,
691             Tinebase_Model_Grants::GRANT_FREEBUSY=> true,
692             Tinebase_Model_Grants::GRANT_PRIVATE=> true,
693         );
694     }
695
696     protected function _getFreeBusyGrants()
697     {
698         return array(
699             Tinebase_Model_Grants::GRANT_FREEBUSY=> true,
700         );
701     }
702
703     protected function _getReadGrants()
704     {
705         return array(
706             Tinebase_Model_Grants::GRANT_READ=> true,
707             Tinebase_Model_Grants::GRANT_EXPORT=> true,
708             Tinebase_Model_Grants::GRANT_SYNC=> true,
709             Tinebase_Model_Grants::GRANT_FREEBUSY=> true,
710         );
711     }
712
713     protected function _getWriteGrants()
714     {
715         return array(
716             Tinebase_Model_Grants::GRANT_READ=> true,
717             Tinebase_Model_Grants::GRANT_ADD=> true,
718             Tinebase_Model_Grants::GRANT_EDIT=> true,
719             Tinebase_Model_Grants::GRANT_DELETE=> true,
720         );
721     }
722     
723     public function updateAllCalendarDataForUsers(array $users)
724     {
725         $result = true;
726         // first only update/import events where the current user is also the organizer
727         foreach ($users as $username => $pwd) {
728             $this->clearCurrentUserCalendarData();
729             $this->userName = $username;
730             $this->password = $pwd;
731             if (!$this->updateAllCalendarData(true)) {
732                 $result = false;
733             }
734         }
735         // then update all events again
736         foreach ($users as $username => $pwd) {
737             $this->clearCurrentUserCalendarData();
738             $this->userName = $username;
739             $this->password = $pwd;
740             if (!$this->updateAllCalendarData(false)) {
741                 $result = false;
742             }
743         }
744         return $result;
745     }
746     
747     public function importAllCalendarDataForUsers(array $users)
748     {
749         $result = true;
750         // first only import events where the current user is also the organizer
751         foreach ($users as $username => $pwd) {
752             $this->clearCurrentUserCalendarData();
753             $this->userName = $username;
754             $this->password = $pwd;
755             if (!$this->importAllCalendarData(true)) {
756                 $result = false;
757             }
758         }
759         // then import all events again
760         foreach ($users as $username => $pwd) {
761             $this->clearCurrentUserCalendarData();
762             $this->userName = $username;
763             $this->password = $pwd;
764             if (!$this->importAllCalendarData(false)) {
765                 $result = false;
766             }
767         }
768         return $result;
769     }
770     
771     public function importAllCalendarsForUsers(array $users)
772     {
773         if (!$this->findCurrentUserPrincipalForUsers($users)) {
774             return false;
775         }
776         
777         $result = true;
778         foreach ($users as $username => $pwd) {
779             $this->clearCurrentUserCalendarData();
780             $this->userName = $username;
781             $this->password = $pwd;
782             if (!$this->importAllCalendars()) {
783                 $result = false;
784             }
785         }
786         return $result;
787     }
788     
789     public function clearCurrentUserCalendarData()
790     {
791         $this->clearCurrentUserData();
792         $this->calendars = array();
793         $this->calendarICSs = array();
794     }
795 }